Correlation

Correlation là thuật ngữ tiếng Anh của tương quan trong thống kê.

Nó mô tả mức độ và hướng mà hai biến có xu hướng thay đổi cùng nhau.

Nếu một biến tăng và biến còn lại cũng có xu hướng tăng thì có thể tồn tại tương quan dương.

Nếu một biến tăng trong khi biến kia có xu hướng giảm thì có thể tồn tại tương quan âm.

Nếu không có mối liên hệ rõ theo phương pháp đang sử dụng thì tương quan có thể yếu hoặc gần bằng không.

Tuy nhiên cần nhớ một nguyên tắc rất quan trọng:

Correlation does not imply causation.

Tương quan không tự chứng minh quan hệ nhân quả.

Hai biến cùng thay đổi chưa đủ để kết luận biến này gây ra biến kia.

Ví dụ ngân sách quảng cáo và doanh thu có thể cùng tăng.

Nhưng doanh thu tăng cũng có thể chịu ảnh hưởng từ mùa vụ khuyến mãi giá sản phẩm thị trường hoặc nhiều yếu tố khác.

Một biến thứ ba ảnh hưởng đến cả hai biến đang quan sát được gọi là một confounder trong bối cảnh suy luận nhân quả.

Đây là lý do correlation thường hữu ích để phát hiện một mối quan hệ đáng nghiên cứu nhưng chưa phải bước cuối để kết luận nguyên nhân.

Một phương pháp phổ biến là Pearson correlation.

Pearson correlation coefficient thường được ký hiệu bằng r và có giá trị từ -1 đến 1.

Giá trị gần 1 biểu thị mối liên hệ tuyến tính dương mạnh hơn.

Giá trị gần -1 biểu thị mối liên hệ tuyến tính âm mạnh hơn.

Giá trị gần 0 cho thấy mối liên hệ tuyến tính yếu hoặc không rõ.

Từ tuyến tính rất quan trọng.

Correlation gần bằng 0 không có nghĩa hai biến chắc chắn không liên quan.

Chúng có thể có một mối quan hệ phi tuyến mà hệ số Pearson không mô tả tốt.

Vì vậy không nên chỉ nhìn một con số correlation.

Scatter plot thường rất hữu ích để nhìn trực tiếp hình dạng của dữ liệu.

Một scatter plot có thể cho thấy mối quan hệ tuyến tính đường cong nhiều cụm hoặc những điểm ngoại lệ mà một hệ số đơn lẻ dễ che mất.

Outlier cũng có thể ảnh hưởng mạnh đến correlation.

Một điểm nằm rất xa phần còn lại có thể làm hệ số Pearson thay đổi đáng kể.

Không nên tự động xóa điểm đó chỉ để correlation đẹp hơn.

Cần xác minh xem nó là lỗi dữ liệu hay một quan sát có thật.

Một loại correlation phổ biến khác là Spearman rank correlation.

Spearman sử dụng thứ hạng của các giá trị và thường phù hợp với những quan hệ đơn điệu không nhất thiết tuyến tính.

Pearson và Spearman vì vậy không phải hai phiên bản tốt và xấu của cùng một phép tính.

Chúng phù hợp với những đặc điểm dữ liệu và câu hỏi khác nhau.

Correlation cũng cần được diễn giải cùng sample size.

Một hệ số cao được tính từ rất ít quan sát cần được nhìn thận trọng hơn.

Ngược lại dataset rất lớn có thể khiến một mối liên hệ rất nhỏ trở nên có ý nghĩa thống kê nhưng chưa chắc có nhiều ý nghĩa thực tế.

Statistical significance và practical significance không phải một.

Một correlation nhỏ vẫn có thể quan trọng trong một số lĩnh vực.

Một correlation tương đối cao cũng có thể không mang nhiều giá trị cho quyết định nếu nó không liên quan đến câu hỏi thực tế.

Không nên áp dụng máy móc các bảng phân loại kiểu 0.3 là yếu 0.5 là trung bình và 0.8 là mạnh cho mọi lĩnh vực.

Bối cảnh rất quan trọng.

Correlation còn có thể bị ảnh hưởng bởi cách dữ liệu được phân nhóm.

Mối quan hệ trên dữ liệu tổng có thể khác với mối quan hệ khi chia dữ liệu thành các segment.

Một ví dụ liên quan là Simpson's paradox khi xu hướng tổng thể có thể thay đổi hoặc đảo chiều khi dữ liệu được phân nhóm phù hợp.

Đây là lý do người phân tích cần nhìn cả aggregate và segment khi cần thiết.

Với dữ liệu chuỗi thời gian càng phải thận trọng.

Hai biến cùng tăng theo thời gian có thể tạo correlation cao chỉ vì chúng cùng có trend.

Điều đó chưa chứng minh hai biến có mối quan hệ trực tiếp.

Hiện tượng như vậy có thể dẫn đến spurious correlation.

Correlation cũng khác với regression.

Correlation chủ yếu mô tả mức độ association giữa các biến.

Regression có thể được sử dụng để mô hình hóa mối quan hệ và ước lượng kết quả theo những biến giải thích dưới các giả định nhất định.

Nhưng regression cũng không tự động chứng minh causation.

Prediction và causal inference là những mục tiêu khác nhau.

Nếu mục tiêu là trả lời câu hỏi:

Hai biến có liên quan không?

Correlation có thể hữu ích.

Nếu mục tiêu là:

Nếu chủ động thay đổi A thì B sẽ thay đổi bao nhiêu?

Câu hỏi đã chuyển sang causal inference.

Khi đó cần thiết kế experiment hoặc phương pháp suy luận nhân quả phù hợp.

Trong phân tích dữ liệu correlation nên được xem như một công cụ khám phá.

Nó có thể giúp phát hiện pattern hình thành giả thuyết và xác định những mối quan hệ đáng điều tra tiếp.

Một quy trình đơn giản có thể là:

Đặt câu hỏi → hiểu dữ liệu → vẽ scatter plot → kiểm tra outlier → chọn phương pháp correlation → tính hệ số → kiểm tra sample → xem confounder → đánh giá ý nghĩa thực tế → tránh kết luận nhân quả quá mức.

Một số câu hỏi đáng hỏi khi thấy correlation cao:

Có hợp lý về mặt nghiệp vụ không?

Có biến thứ ba tác động đến cả hai không?

Có outlier kéo kết quả không?

Quan hệ có thực sự tuyến tính không?

Sample có đại diện không?

Mối quan hệ có ổn định ở các segment khác nhau không?

Mình đang nói về association hay causation?

Câu cuối cùng thường quan trọng nhất.

Tag Correlation tổng hợp các bài viết và kiến thức về tương quan Pearson correlation Spearman correlation scatter plot outlier confounding causation và cách diễn giải mối quan hệ giữa các biến đúng trong thống kê và phân tích dữ liệu.