Tương quan

Tương quan hay correlation mô tả mức độ hai biến có xu hướng thay đổi cùng nhau.

Nếu một biến tăng và biến còn lại cũng thường tăng thì chúng có thể có tương quan dương.

Nếu một biến tăng trong khi biến còn lại thường giảm thì chúng có thể có tương quan âm.

Nếu không quan sát được mối liên hệ rõ ràng thì tương quan có thể yếu hoặc gần bằng không tùy phương pháp đo.

Ví dụ chiều cao và cân nặng trong một population có thể có tương quan dương.

Người cao hơn thường có xu hướng nặng hơn.

Nhưng không phải mọi người cao đều nặng hơn mọi người thấp.

Tương quan mô tả một pattern trong dữ liệu.

Nó không đưa ra một luật tuyệt đối cho từng quan sát.

Một trong những thước đo phổ biến nhất là Pearson correlation coefficient.

Hệ số này thường được ký hiệu là r.

Giá trị của r nằm từ -1 đến 1.

Giá trị gần 1 cho thấy hai biến có mối liên hệ tuyến tính dương mạnh hơn.

Giá trị gần -1 cho thấy mối liên hệ tuyến tính âm mạnh hơn.

Giá trị gần 0 cho thấy mối liên hệ tuyến tính yếu hoặc không rõ.

Từ tuyến tính rất quan trọng.

Pearson correlation chủ yếu đo mức độ hai biến có quan hệ gần với một đường thẳng.

Nếu hai biến có mối quan hệ mạnh nhưng cong thì Pearson correlation vẫn có thể thấp.

Ví dụ một biến tăng đến một mức rồi giảm có thể tạo ra mối quan hệ rõ ràng nhưng correlation tuyến tính lại gần bằng 0.

Vì vậy correlation bằng 0 không có nghĩa hai biến hoàn toàn không liên quan.

Nó có thể chỉ có nghĩa không tồn tại mối liên hệ tuyến tính rõ theo thước đo đang sử dụng.

Đây là lý do scatter plot rất hữu ích khi phân tích correlation.

Trước khi chỉ nhìn một hệ số nên xem các điểm dữ liệu thực sự phân bố như thế nào.

Một con số duy nhất có thể che mất pattern quan trọng.

Scatter plot giúp quan sát hình dạng của mối quan hệ.

Các điểm có thể tạo thành một dải đi lên.

Một dải đi xuống.

Một đường cong.

Nhiều cụm riêng biệt.

Hoặc không có pattern rõ.

Những cấu trúc này không phải lúc nào cũng được thể hiện đầy đủ bằng một hệ số correlation.

Một loại khác là Spearman rank correlation.

Spearman correlation dựa trên thứ hạng của dữ liệu thay vì trực tiếp sử dụng khoảng cách giữa các giá trị như Pearson.

Nó thường hữu ích khi mối quan hệ giữa hai biến là monotonic nhưng không nhất thiết tuyến tính.

Monotonic có thể hiểu đơn giản là khi một biến tăng thì biến kia nhìn chung tiếp tục tăng hoặc tiếp tục giảm.

Mức tăng không cần cố định.

Spearman cũng có thể phù hợp với một số loại dữ liệu thứ hạng.

Không nên chọn Pearson hay Spearman chỉ vì một công thức quen thuộc hơn.

Cần nhìn vào loại dữ liệu và câu hỏi phân tích.

Một khái niệm cực kỳ quan trọng là:

Correlation does not imply causation.

Tương quan không chứng minh quan hệ nhân quả.

Ví dụ doanh thu tăng cùng lúc với ngân sách quảng cáo.

Điều đó chưa đủ để kết luận quảng cáo đã gây ra toàn bộ mức tăng doanh thu.

Có thể đang vào mùa cao điểm.

Có thể doanh nghiệp vừa giảm giá.

Có thể số cửa hàng tăng.

Có thể một chiến dịch PR khác đang diễn ra.

Nhiều biến có thể cùng tác động.

Đây được gọi là vấn đề confounding.

Một biến thứ ba có thể ảnh hưởng đến cả hai biến đang quan sát.

Ví dụ doanh số kem và số ca cháy nắng có thể cùng tăng vào mùa hè.

Ăn kem không phải nguyên nhân gây cháy nắng.

Nhiệt độ là một yếu tố liên quan đến cả hai.

Đây là ví dụ đơn giản nhưng logic tương tự xuất hiện rất nhiều trong dữ liệu kinh doanh.

Một trường hợp khác là reverse causality.

Ngay cả khi hai biến thực sự có quan hệ nhân quả thì hướng nguyên nhân có thể không giống điều ta tưởng.

Ví dụ một doanh nghiệp thấy số nhân viên hỗ trợ tăng cùng số lượng khiếu nại.

Không thể kết luận tuyển thêm nhân viên hỗ trợ làm khách hàng khiếu nại nhiều hơn.

Cũng có thể doanh nghiệp tăng nhân sự vì khiếu nại đã tăng.

Thứ tự nguyên nhân cần được kiểm tra.

Tương quan cũng có thể xuất hiện hoàn toàn do trùng hợp.

Khi kiểm tra đủ nhiều biến một số cặp có thể cho correlation cao chỉ do ngẫu nhiên.

Đây là lý do không nên tạo một ma trận hàng nghìn biến rồi chọn vài cặp đẹp nhất để kể câu chuyện.

Cách làm đó dễ dẫn đến data dredging hoặc cherry picking.

Một giả thuyết nên có lý do nghiệp vụ hoặc khoa học trước khi correlation được diễn giải quá sâu.

Outlier cũng có thể ảnh hưởng mạnh đến correlation.

Một điểm cực đoan đôi khi làm hệ số Pearson tăng hoặc giảm đáng kể.

Đó là lý do cần xem scatter plot thay vì chỉ nhìn r.

Ví dụ phần lớn điểm dữ liệu có thể không có mối quan hệ gì.

Nhưng một outlier nằm rất xa có thể tạo cảm giác có correlation.

Ngược lại một outlier cũng có thể che mất mối quan hệ vốn khá rõ của phần lớn dữ liệu.

Không nên xóa outlier chỉ để hệ số correlation đẹp hơn.

Cần xác minh nguyên nhân trước.

Sample size cũng rất quan trọng.

Một correlation cao trên 8 quan sát không có cùng mức độ thuyết phục với cùng hệ số trên hàng nghìn quan sát.

Nhưng sample lớn cũng không tự động biến correlation thành causation.

Nó chỉ giúp ước lượng mối liên hệ ổn định hơn trong những điều kiện phù hợp.

Khi làm thống kê suy luận người phân tích còn có thể xem confidence interval và kiểm định liên quan đến hệ số correlation.

Không nên chỉ nhìn hệ số r rồi bỏ qua độ không chắc chắn.

Statistical significance cũng không đồng nghĩa với practical significance.

Với dataset rất lớn một correlation rất nhỏ vẫn có thể đạt ý nghĩa thống kê.

Nhưng mức ảnh hưởng có thể nhỏ đến mức gần như không có giá trị thực tế.

Do đó cần xem cả effect size và business context.

Một correlation 0.1 có thể rất quan trọng trong một bài toán.

Trong bài toán khác nó có thể gần như không đáng quan tâm.

Không tồn tại một bảng cố định kiểu:

0.3 luôn là yếu.

0.5 luôn là trung bình.

0.8 luôn là mạnh.

Những ngưỡng như vậy chỉ có thể là quy ước tham khảo trong một số lĩnh vực.

Ý nghĩa thực tế phải dựa vào domain.

Tương quan cũng có thể bị ảnh hưởng bởi range restriction.

Nếu chỉ lấy dữ liệu trong một khoảng rất hẹp thì correlation có thể thấp hơn so với toàn bộ population.

Ví dụ nếu chỉ phân tích những người có chiều cao gần bằng nhau thì mối liên hệ giữa chiều cao và cân nặng có thể khó quan sát hơn.

Cách chọn sample vì vậy ảnh hưởng đến kết quả.

Một vấn đề khác là Simpson's paradox.

Mối quan hệ quan sát trên dữ liệu tổng hợp có thể thay đổi hoặc đảo chiều khi chia dữ liệu thành các nhóm phù hợp.

Ví dụ conversion rate tổng thể của một kênh có thể thấp hơn kênh khác.

Nhưng khi chia theo mobile và desktop kết quả trong từng nhóm lại có thể khác.

Điều này nhắc rằng aggregation có thể che mất cấu trúc quan trọng.

Tương quan cũng có thể thay đổi theo thời gian.

Hai biến có correlation cao trong năm nay chưa chắc giữ nguyên trong năm sau.

Thị trường hành vi khách hàng hoặc hệ thống có thể thay đổi.

Vì vậy không nên xem correlation lịch sử như một quy luật bất biến.

Với time series còn phải đặc biệt cẩn thận.

Hai chuỗi cùng tăng theo thời gian có thể tạo correlation cao dù chúng không thực sự có quan hệ trực tiếp.

Ví dụ lượng người dùng Internet và một chỉ số kinh tế nào đó đều có thể tăng theo năm.

Xu hướng chung theo thời gian có thể tạo ra spurious correlation.

Khi phân tích time series có thể cần xử lý trend seasonality autocorrelation và các yếu tố khác trước khi diễn giải mối quan hệ.

Correlation cũng không nói trực tiếp một biến thay đổi bao nhiêu khi biến kia thay đổi.

Đó là nơi regression có thể hữu ích hơn.

Regression có thể mô hình hóa mối quan hệ và ước lượng mức thay đổi của biến phụ thuộc theo các biến giải thích dưới những giả định cụ thể.

Nhưng regression cũng không tự động chứng minh causation.

Một mô hình hồi quy phức tạp vẫn có thể chỉ mô tả association.

Muốn suy luận nhân quả cần thiết kế nghiên cứu và giả định phù hợp.

A/B Testing là một công cụ thường hữu ích hơn khi mục tiêu là kiểm tra quan hệ nhân quả trong sản phẩm hoặc kinh doanh.

Nếu người dùng được phân bổ ngẫu nhiên hợp lý vào hai nhóm và chỉ khác nhau ở một can thiệp thì việc so sánh kết quả có cơ sở nhân quả mạnh hơn chỉ quan sát correlation.

Tuy nhiên experiment cũng cần được thiết kế đúng.

Randomization sample size metric selection và interference đều có thể ảnh hưởng đến kết quả.

Tương quan vì vậy phù hợp nhất với vai trò:

Phát hiện mối quan hệ đáng quan tâm → hình thành giả thuyết → tiếp tục kiểm tra.

Nó hiếm khi nên là bước cuối cùng để tuyên bố nguyên nhân.

Trong Machine Learning correlation cũng thường được sử dụng để khám phá dữ liệu hoặc kiểm tra mối quan hệ giữa các feature.

Hai feature có correlation rất cao có thể chứa thông tin gần giống nhau trong một số bài toán.

Điều này có thể liên quan đến multicollinearity trong các mô hình nhất định.

Nhưng cũng không nên tự động xóa một feature chỉ vì correlation cao.

Cần xem loại model mục tiêu dự báo và ý nghĩa của từng biến.

Tương quan còn có thể được dùng trong Data Quality.

Nếu hai metric vốn thường di chuyển cùng nhau nhưng một ngày đột nhiên tách rời thì có thể có thay đổi nghiệp vụ hoặc lỗi dữ liệu.

Correlation lúc này trở thành một tín hiệu để điều tra.

Không phải bằng chứng tự động rằng pipeline đã hỏng.

Một quy trình phân tích correlation đơn giản có thể đi theo thứ tự:

Xác định câu hỏi → hiểu loại dữ liệu → vẽ scatter plot → kiểm tra outlier → chọn phương pháp correlation → tính hệ số → xem sample size và uncertainty → kiểm tra confounder → đánh giá ý nghĩa thực tế → tránh kết luận causation nếu chưa có bằng chứng.

Một số câu hỏi nên hỏi khi thấy một correlation rất đẹp:

Hai biến có thực sự liên quan về mặt nghiệp vụ không?

Có biến thứ ba nào giải thích cả hai không?

Có outlier đang kéo hệ số không?

Dữ liệu có bị aggregate quá mức không?

Mối quan hệ có tuyến tính không?

Sample có đại diện không?

Mối quan hệ có ổn định theo thời gian không?

Nếu muốn nói về nguyên nhân thì bằng chứng nào còn thiếu?

Đây chính là phần tư duy quan trọng hơn việc bấm nút CORREL trong Excel.

Tính correlation rất nhanh.

Diễn giải đúng mới khó.

Tag Tương quan tổng hợp các bài viết và kiến thức về correlation Pearson Spearman scatter plot causation confounding outlier regression và cách đọc mối quan hệ giữa các biến đúng trong thống kê và phân tích dữ liệu.