Pearson Correlation

Pearson Correlation là một phương pháp thống kê dùng để đo mức độ và hướng của mối liên hệ tuyến tính giữa hai biến số.

Kết quả thường được biểu diễn bằng Pearson correlation coefficient và ký hiệu là r.

Giá trị của r nằm trong khoảng:

-1 ≤ r ≤ 1

Nếu r gần 1 thì hai biến có xu hướng tăng cùng nhau theo một mối liên hệ tuyến tính mạnh.

Nếu r gần -1 thì khi một biến tăng biến còn lại có xu hướng giảm theo mối liên hệ tuyến tính mạnh.

Nếu r gần 0 thì mối liên hệ tuyến tính giữa hai biến yếu hoặc không rõ.

Từ tuyến tính rất quan trọng.

Pearson Correlation không đo mọi loại mối quan hệ giữa hai biến.

Hai biến có thể liên hệ rất mạnh theo một đường cong nhưng Pearson r vẫn gần bằng 0.

Do đó câu:

r bằng 0 nên hai biến không liên quan

là một kết luận quá mạnh.

Điều chính xác hơn là:

Không quan sát được mối liên hệ tuyến tính đáng kể theo Pearson correlation trong dữ liệu đang xét.

Đây là lý do trước khi tính Pearson r nên nhìn dữ liệu bằng scatter plot.

Scatter plot giúp quan sát hình dạng thực sự của mối quan hệ.

Các điểm có thể tạo thành một đường đi lên.

Một đường đi xuống.

Một hình cong.

Nhiều cụm.

Hoặc chứa một vài outlier rất mạnh.

Một hệ số duy nhất có thể che mất những đặc điểm này.

Ví dụ nếu các điểm gần nằm trên một đường thẳng đi lên thì r có thể gần 1.

Nếu các điểm gần nằm trên một đường thẳng đi xuống thì r có thể gần -1.

Nếu các điểm rải ngẫu nhiên không có xu hướng tuyến tính rõ thì r thường gần 0.

Nhưng độ lớn của r không nên được diễn giải bằng một bảng cố định trong mọi lĩnh vực.

Các ngưỡng như 0.3 là yếu 0.5 là vừa hoặc 0.7 là mạnh đôi khi được dùng như quy ước tham khảo.

Nhưng ý nghĩa thực tế phụ thuộc vào domain sample size mục tiêu phân tích và độ nhiễu của dữ liệu.

Một correlation 0.2 có thể rất đáng chú ý trong một lĩnh vực.

Trong lĩnh vực khác nó gần như không tạo giá trị thực tế.

Pearson r cũng không nói một biến thay đổi bao nhiêu đơn vị khi biến kia tăng một đơn vị.

Đó là câu hỏi gần với regression hơn.

Correlation không có đơn vị.

Nó đo mức độ hai biến cùng biến động theo một pattern tuyến tính chuẩn hóa.

Pearson correlation có mối liên hệ chặt với covariance.

Covariance cho biết hai biến có xu hướng biến động cùng chiều hay ngược chiều.

Nhưng covariance phụ thuộc vào đơn vị đo nên độ lớn khó so sánh giữa các dataset.

Pearson correlation chuẩn hóa covariance bằng độ lệch chuẩn của hai biến.

Nhờ đó kết quả luôn nằm từ -1 đến 1.

Có thể hiểu khái quát:

Pearson r = covariance đã được chuẩn hóa.

Pearson correlation cũng nhạy với outlier.

Một điểm nằm rất xa phần lớn dữ liệu có thể làm r thay đổi đáng kể.

Ví dụ phần lớn các điểm không có quan hệ rõ.

Nhưng một điểm cực lớn nằm xa theo đúng hướng đường thẳng có thể kéo hệ số correlation lên.

Ngược lại một outlier cũng có thể làm yếu đi một mối quan hệ vốn khá rõ.

Do đó không nên tính r rồi bỏ qua visualization.

Nhưng cũng không nên xóa outlier chỉ để r đẹp hơn.

Outlier phải được kiểm tra nguyên nhân.

Nó có thể là lỗi nhập dữ liệu.

Cũng có thể là một quan sát hoàn toàn có thật.

Pearson correlation thường phù hợp nhất khi hai biến là biến định lượng và mối liên hệ quan tâm có tính tuyến tính.

Việc sử dụng Pearson cho suy luận thống kê còn phụ thuộc thêm vào thiết kế dữ liệu và các giả định của phương pháp kiểm định hoặc khoảng tin cậy đang sử dụng.

Không nên gom mọi yêu cầu thành một câu đơn giản rằng “dữ liệu phải phân phối chuẩn thì mới được dùng Pearson”.

Đây là một cách nói quá thô.

Việc tính hệ số r và việc suy luận thống kê từ r là hai chuyện cần phân biệt.

Trong thực hành cần xem sample design independence linearity outlier và mục tiêu phân tích thay vì chỉ kiểm tra một điều kiện duy nhất.

Một phương pháp thường được so sánh với Pearson là Spearman Correlation.

Spearman dựa trên thứ hạng của các quan sát.

Nó phù hợp khi muốn đánh giá mối quan hệ đơn điệu mà không yêu cầu quan hệ phải tuyến tính giống Pearson.

Ví dụ nếu X tăng thì Y luôn có xu hướng tăng nhưng tốc độ tăng không đều Spearman vẫn có thể phản ánh mối quan hệ mạnh.

Pearson trong trường hợp đó có thể thấp hơn do dữ liệu không đi theo đường thẳng.

Tuy nhiên không nên chọn Spearman chỉ vì dữ liệu “không đẹp”.

Cần xác định câu hỏi đang muốn đo loại quan hệ nào.

Pearson hỏi về linear association.

Spearman hỏi về monotonic association thông qua thứ hạng.

Đó là khác biệt quan trọng.

Pearson Correlation cũng không chứng minh causation.

Nếu r giữa ngân sách quảng cáo và doanh thu bằng 0.9 thì điều đó cho thấy hai biến có liên hệ tuyến tính mạnh trong dữ liệu đang quan sát.

Nó vẫn chưa chứng minh tăng quảng cáo là nguyên nhân tạo ra toàn bộ mức tăng doanh thu.

Mùa vụ chương trình khuyến mãi hoặc tăng số cửa hàng đều có thể tác động đến cả hai biến.

Đây là vấn đề của confounding.

Correlation mô tả association.

Causal inference cần bằng chứng và thiết kế mạnh hơn.

Reverse causality cũng cần được xem xét.

Ví dụ một công ty thấy chi phí chăm sóc khách hàng và số khiếu nại có tương quan dương.

Điều này không có nghĩa chi nhiều tiền cho CSKH làm khách khiếu nại nhiều hơn.

Có thể khiếu nại tăng khiến công ty phải tăng chi phí xử lý.

Pearson r không cho biết chiều nhân quả.

Nó cũng không phân biệt nguyên nhân với kết quả.

Sample size ảnh hưởng mạnh tới cách diễn giải Pearson correlation.

Một r bằng 0.8 được tính từ 5 quan sát cần được nhìn rất khác với r bằng 0.8 trên 10000 quan sát.

Sample nhỏ tạo ra mức độ không chắc chắn lớn hơn.

Khi cần suy luận nên xem thêm confidence interval và kiểm định phù hợp.

Mặt khác dataset rất lớn có thể khiến một correlation rất nhỏ đạt statistical significance.

Nhưng statistically significant không đồng nghĩa practically important.

Ví dụ r bằng 0.03 có thể đạt p-value rất nhỏ trên hàng triệu quan sát.

Nhưng quan hệ đó có thể gần như vô nghĩa đối với quyết định kinh doanh.

Đây là lý do không nên chỉ hỏi:

Correlation có significant không?

Cần hỏi thêm:

Độ lớn của mối quan hệ có đủ quan trọng trong thực tế không?

Pearson correlation cũng có thể bị ảnh hưởng bởi range restriction.

Nếu sample chỉ chứa một khoảng giá trị rất hẹp thì correlation quan sát được có thể khác nhiều so với toàn population.

Ví dụ nếu chỉ phân tích những người có chiều cao gần như nhau thì mối quan hệ chiều cao và cân nặng có thể yếu hơn so với khi xem toàn bộ dải chiều cao.

Đây là lý do sample selection rất quan trọng.

Correlation cũng có thể thay đổi khi chia dữ liệu thành các segment.

Một mối quan hệ rất rõ trong dữ liệu tổng có thể yếu hoặc đảo chiều trong từng nhóm.

Điều này liên quan đến những hiện tượng như Simpson's paradox.

Ví dụ một website có thể thấy traffic và conversion có correlation dương trên toàn bộ dữ liệu.

Nhưng khi chia theo mobile và desktop pattern có thể khác.

Aggregation đôi khi che mất cấu trúc thực sự của dữ liệu.

Với time series cần thận trọng hơn nữa.

Hai chuỗi cùng tăng theo thời gian thường có thể tạo Pearson correlation cao.

Nhưng chúng chưa chắc có quan hệ trực tiếp.

Trend chung có thể tạo ra spurious correlation.

Ví dụ hai metric đều tăng do quy mô doanh nghiệp tăng qua từng năm.

Correlation cao giữa chúng có thể chỉ phản ánh xu hướng chung đó.

Trong time series có thể cần kiểm tra trend seasonality autocorrelation và các đặc điểm khác trước khi diễn giải Pearson r.

Pearson correlation cũng thường xuất hiện trong correlation matrix.

Correlation matrix cho biết hệ số tương quan giữa nhiều cặp biến.

Nó hữu ích trong exploratory data analysis.

Nhưng một matrix lớn rất dễ tạo ra correlation ngẫu nhiên.

Nếu kiểm tra hàng nghìn cặp biến rồi chỉ chọn vài cặp r cao nhất để kể câu chuyện thì nguy cơ false discovery rất lớn.

Đây là một dạng data dredging.

Nên có giả thuyết hoặc ít nhất một bước kiểm chứng độc lập trước khi diễn giải quá mạnh.

Trong Machine Learning Pearson correlation có thể được sử dụng để khám phá mối quan hệ giữa các feature.

Hai biến có correlation rất cao có thể mang thông tin tương tự.

Trong một số mô hình điều này liên quan đến vấn đề multicollinearity.

Nhưng correlation cao không có nghĩa phải tự động xóa một feature.

Cần xem mục tiêu mô hình loại model ý nghĩa nghiệp vụ và các chỉ số chẩn đoán khác.

Pearson correlation cũng không phát hiện đầy đủ redundancy phi tuyến giữa các feature.

Do đó chỉ dùng correlation matrix để chọn feature có thể quá đơn giản.

Một quy trình sử dụng Pearson Correlation thực tế có thể đi theo thứ tự:

Xác định câu hỏi → kiểm tra loại biến → vẽ scatter plot → kiểm tra linearity → kiểm tra outlier → tính Pearson r → xem sample size → đánh giá uncertainty → kiểm tra confounder → đánh giá ý nghĩa thực tế → không suy diễn causation nếu chưa có bằng chứng.

Một số câu hỏi nên hỏi trước khi tin một Pearson r rất đẹp:

Dữ liệu có thật sự tuyến tính không?

Có outlier kéo hệ số không?

Sample có đủ lớn và đại diện không?

Có trend theo thời gian tạo correlation giả không?

Có segment nào có pattern khác không?

Có confounder nào chưa được xem xét không?

Correlation có ý nghĩa thực tế hay chỉ có ý nghĩa thống kê?

Mình đang mô tả association hay đang vô tình tuyên bố causation?

Nếu chỉ nhớ một điều về Pearson Correlation thì nên nhớ:

Pearson r đo mức độ hai biến nằm gần một mối quan hệ tuyến tính chứ không chứng minh một biến gây ra biến kia.

Tag Pearson Correlation tổng hợp các bài viết và kiến thức về hệ số tương quan Pearson scatter plot covariance linear relationship outlier sample size statistical significance confounding và cách diễn giải Pearson r đúng trong thống kê và phân tích dữ liệu.