Confounding

Confounding là tình huống trong đó một biến thứ ba ảnh hưởng đến cách chúng ta quan sát hoặc ước lượng mối quan hệ giữa hai biến khác.

Biến đó thường được gọi là confounder.

Đây là một trong những lý do phổ biến khiến correlation bị hiểu nhầm thành causation.

Ví dụ đơn giản:

Doanh số kem tăng.

Số trường hợp cháy nắng cũng tăng.

Nếu chỉ nhìn hai biến này ta có thể thấy correlation dương.

Nhưng ăn kem không phải nguyên nhân làm người ta cháy nắng.

Một yếu tố khác là nhiệt độ.

Trời nóng làm nhiều người mua kem hơn.

Trời nóng cũng khiến nhiều người ra ngoài và tiếp xúc với ánh nắng nhiều hơn.

Nhiệt độ vì vậy có thể đóng vai trò confounder trong ví dụ này.

Nó có liên quan đến cả biến đang được xem như nguyên nhân và kết quả đang quan sát.

Đây là ý tưởng cốt lõi của confounding.

Một confounder có thể khiến một mối quan hệ trông mạnh hơn thực tế.

Nó cũng có thể làm mối quan hệ trông yếu đi.

Trong một số trường hợp nó thậm chí có thể làm hướng của mối quan hệ thay đổi.

Vì vậy confounding không chỉ là một chi tiết thống kê.

Nó có thể thay đổi hoàn toàn kết luận.

Trong kinh doanh confounding xuất hiện rất thường xuyên.

Ví dụ doanh nghiệp thấy những khách hàng nhận cuộc gọi chăm sóc có tỷ lệ mua lại cao hơn.

Thoạt nhìn có thể kết luận:

Cuộc gọi chăm sóc làm tăng tỷ lệ mua lại.

Nhưng giả sử đội sales chỉ gọi những khách hàng có lịch sử mua nhiều và được đánh giá có khả năng quay lại cao.

Khi đó nhóm được gọi vốn đã khác nhóm không được gọi.

Khả năng mua lại ban đầu có thể là một yếu tố confounding.

Nếu không xử lý yếu tố này ta có thể gán cho cuộc gọi một tác động lớn hơn thực tế.

Đây là khác biệt giữa:

Những người được gọi mua lại nhiều hơn.

và:

Cuộc gọi khiến họ mua lại nhiều hơn.

Hai câu nghe khá giống.

Nhưng câu thứ hai là một causal claim và cần bằng chứng mạnh hơn.

Confounding thường xuất hiện trong observational data.

Trong dữ liệu quan sát treatment không được phân bổ ngẫu nhiên.

Con người doanh nghiệp bác sĩ hoặc hệ thống tự lựa chọn ai nhận treatment.

Cách lựa chọn này có thể liên quan đến outcome.

Vì vậy các nhóm thường khác nhau từ trước khi treatment xảy ra.

Ví dụ khách hàng nhận voucher có thể là nhóm sắp churn.

Khách hàng được gọi chăm sóc có thể là nhóm VIP.

Người nhận một chương trình đào tạo có thể là những nhân viên chủ động hơn.

Những đặc điểm đó có thể ảnh hưởng đến kết quả.

Nếu không xem xét chúng ta có thể nhầm tác động vốn có của nhóm với tác động của intervention.

Randomization là một trong những cách mạnh để giảm confounding.

Trong một randomized experiment treatment được phân bổ ngẫu nhiên theo thiết kế phù hợp.

Mục tiêu là làm cho các đặc điểm khác được phân bố tương đối cân bằng giữa các nhóm.

Khi đó một confounder tiềm năng ít có khả năng tập trung có hệ thống vào một nhóm hơn.

Đây là lý do randomized controlled trial và A/B Testing có giá trị lớn trong causal inference.

Tuy nhiên randomization không phải phép thuật.

Sample quá nhỏ vẫn có thể tạo ra mất cân bằng ngẫu nhiên.

Randomization triển khai sai cũng có thể phá hỏng experiment.

Người dùng giữa các nhóm có thể ảnh hưởng lẫn nhau.

Hoặc treatment có thể không được áp dụng đúng như thiết kế.

Do đó experiment vẫn cần kiểm tra.

Trong nhiều tình huống không thể randomize.

Khi đó người phân tích phải cố gắng xử lý confounding từ observational data.

Một cách phổ biến là stratification.

Dữ liệu được chia thành những nhóm theo confounder rồi so sánh treatment và outcome trong từng nhóm.

Ví dụ thay vì so toàn bộ khách hàng được gọi và không được gọi có thể so trong từng nhóm khách hàng có lịch sử mua tương tự.

Điều này giúp giảm khác biệt do yếu tố đó.

Một cách khác là regression adjustment.

Confounder được đưa vào mô hình để cố gắng điều chỉnh ảnh hưởng của nó khi ước lượng mối quan hệ giữa treatment và outcome.

Nhưng có một hiểu nhầm rất nguy hiểm:

Không phải cứ thêm thật nhiều biến vào regression là hết confounding.

Thêm sai biến có thể làm kết quả tệ hơn.

Đây là lý do cần hiểu causal structure.

Một phương pháp khác là matching.

Người phân tích cố gắng ghép những quan sát treatment và control có đặc điểm tương tự nhau.

Ví dụ ghép khách hàng theo độ tuổi lịch sử mua hàng thị trường và mức chi tiêu.

Sau đó so outcome giữa những nhóm tương đồng hơn.

Nhưng matching chỉ có thể cân bằng những biến đã được quan sát và đưa vào quá trình matching.

Nếu tồn tại một confounder quan trọng nhưng không được đo thì bias vẫn có thể còn.

Đây là vấn đề của unmeasured confounding.

Không phải mọi confounder đều nằm sẵn trong database.

Ví dụ động lực cá nhân mức hiểu biết hoặc một đặc điểm hành vi có thể không được ghi nhận.

Nếu yếu tố đó ảnh hưởng đến cả treatment và outcome thì mô hình vẫn có thể bị confounded.

Đây là lý do causal inference luôn dựa trên assumptions.

Dữ liệu không tự nói cho ta toàn bộ causal structure.

Propensity Score là một khái niệm thường được sử dụng khi xử lý confounding trong observational studies.

Propensity score ước lượng xác suất một quan sát nhận treatment dựa trên các biến đã quan sát.

Sau đó có thể dùng matching weighting hoặc các kỹ thuật khác dựa trên propensity score để làm các nhóm tương đồng hơn.

Nhưng propensity score không giải quyết được unmeasured confounding.

Nếu bỏ sót một confounder quan trọng thì kết quả vẫn có thể bị bias.

Confounding cũng cần được phân biệt với mediator.

Mediator nằm trên đường causal từ treatment tới outcome.

Ví dụ:

Chương trình đào tạo → kỹ năng tăng → hiệu suất tăng.

Kỹ năng có thể là mediator.

Nếu mục tiêu là đo tổng tác động của chương trình đào tạo mà lại control kỹ năng thì ta có thể vô tình loại bỏ một phần tác động thật.

Do đó mediator không nên bị coi đơn giản là confounder.

Một khái niệm khác là collider.

Collider là biến bị hai biến khác cùng tác động.

Condition hoặc control collider trong một số cấu trúc có thể tạo ra association giả.

Ví dụ đơn giản:

Năng lực và may mắn đều có thể ảnh hưởng đến việc một ứng viên được tuyển.

Nếu chỉ phân tích những người đã được tuyển ta đã condition trên biến tuyển dụng.

Điều đó có thể tạo ra mối quan hệ giữa năng lực và may mắn dù trong population ban đầu hai biến này độc lập.

Đây gọi là collider bias.

Nó cho thấy điều tưởng như rất hợp lý:

Control thêm nhiều biến cho chắc.

có thể sai.

Cần biết mỗi biến đóng vai trò gì trong causal graph.

DAG hay Directed Acyclic Graph thường được dùng để mô tả causal assumptions.

Mỗi node đại diện cho một biến.

Mũi tên thể hiện giả thuyết về hướng tác động nhân quả.

DAG không chứng minh causal structure đúng.

Nhưng nó buộc người phân tích phải nói rõ mình đang giả định điều gì.

Ví dụ:

Nhiệt độ → mua kem.

Nhiệt độ → cháy nắng.

Không cần mũi tên từ mua kem sang cháy nắng.

Nhìn graph này sẽ thấy ngay tại sao nhiệt độ là confounder của association giữa hai biến còn lại.

DAG cũng giúp xác định biến nào nên control.

Điều này thường chính xác hơn việc chọn covariate chỉ vì chúng có correlation cao với outcome.

Một biến có correlation mạnh chưa chắc là confounder.

Ngược lại một confounder quan trọng đôi khi correlation riêng lẻ không quá nổi bật.

Vai trò causal mới là điều quyết định.

Confounding cũng khác selection bias nhưng hai vấn đề có thể liên quan.

Selection bias xảy ra khi cách dữ liệu được đưa vào sample hoặc analysis tạo ra khác biệt có hệ thống.

Confounding tập trung vào việc một biến gây lẫn lộn mối quan hệ treatment outcome.

Trong thực tế một dataset có thể đồng thời gặp cả hai.

Ví dụ khảo sát chỉ những khách hàng còn sử dụng sản phẩm.

Nhóm đã churn biến mất khỏi sample.

Selection này có thể thay đổi cả phân bố của confounder lẫn outcome.

Confounding cũng có thể thay đổi theo time.

Một biến trước treatment có thể là confounder.

Nhưng chính biến đó nếu được đo sau treatment lại có thể trở thành mediator.

Thời điểm đo biến vì vậy rất quan trọng.

Không thể chỉ nhìn tên cột trong dataset rồi quyết định nó là confounder.

Cần hiểu thứ tự thời gian và causal mechanism.

Ví dụ thu nhập trước khi tham gia chương trình đào tạo có thể ảnh hưởng cả khả năng tham gia và outcome sau này.

Nó có thể là confounder.

Nhưng thu nhập sau chương trình có thể đã bị treatment tác động.

Control nó có thể làm thay đổi câu hỏi causal.

Confounding còn có thể tồn tại dưới dạng time-varying confounding.

Trong nghiên cứu theo thời gian một confounder có thể thay đổi và đồng thời bị treatment trước đó tác động.

Đây là bài toán phức tạp hơn và có thể cần những phương pháp causal inference chuyên biệt.

Điều này cho thấy causal inference không đơn giản chỉ là chạy một regression.

Confounding cũng rất phổ biến trong phân tích marketing.

Ví dụ khách hàng nhìn thấy nhiều quảng cáo hơn thường có tỷ lệ mua cao hơn.

Nhưng có thể hệ thống quảng cáo chủ động hiển thị nhiều quảng cáo hơn cho những người đã thể hiện ý định mua cao.

Intent ban đầu vừa ảnh hưởng ad exposure vừa ảnh hưởng conversion.

Nó là một confounder tiềm năng.

Nếu không xử lý ta dễ đánh giá quá cao hiệu quả quảng cáo.

Đây cũng là lý do attribution và incrementality là hai chuyện khác nhau.

Attribution hỏi:

Giao dịch được gắn cho touchpoint nào?

Incrementality hỏi:

Nếu không có touchpoint đó thì bao nhiêu giao dịch vẫn xảy ra?

Câu thứ hai là causal question.

Confounding nằm ngay giữa sự khác biệt này.

Trong phân tích sản phẩm cũng vậy.

Giả sử những người sử dụng một feature có retention cao hơn.

Không thể lập tức kết luận feature đó làm tăng retention.

Những người dùng sản phẩm thường xuyên hơn có thể vừa có khả năng khám phá feature cao hơn vừa có retention cao hơn.

Engagement ban đầu có thể là confounder.

Muốn biết feature thực sự tạo ra retention hay chỉ được dùng bởi những user vốn đã tốt cần thiết kế phân tích phù hợp.

Confounding cũng có thể xuất hiện trong Machine Learning nhưng cần phân biệt mục tiêu.

Nếu mục tiêu chỉ là prediction một confounder có thể vẫn hữu ích như feature.

Nếu mục tiêu là causal interpretation thì vai trò của biến phải được xem xét kỹ hơn.

Đây là một khác biệt lớn giữa prediction và causal inference.

Một model dự đoán rất chính xác vẫn có thể hoàn toàn sai nếu dùng để trả lời câu hỏi nhân quả.

Ví dụ model dự đoán ai sẽ nhận treatment tốt không có nghĩa treatment đó tạo ra outcome.

Confounding cũng không thể được “giải quyết” chỉ bằng dữ liệu lớn.

Một triệu quan sát bị confounded vẫn là một triệu quan sát bị confounded.

Sample lớn có thể làm estimate rất chính xác.

Nhưng nếu estimate bị bias thì chúng ta chỉ đang rất chính xác về một con số sai.

Đây là một điểm cực kỳ quan trọng.

More data does not automatically remove bias.

Thiết kế nghiên cứu quan trọng hơn số lượng dữ liệu.

Một cách thực tế để suy nghĩ về confounding là hỏi:

Có yếu tố nào tồn tại trước treatment ảnh hưởng cả khả năng nhận treatment và outcome không?

Nếu có thì đó có thể là confounder cần xem xét.

Sau đó nên hỏi:

Biến này có được đo không?

Có nên control nó không?

Nó có phải mediator hoặc collider không?

Có cách thiết kế experiment để giảm vấn đề không?

Nếu không thể experiment thì assumption nào cần chấp nhận?

Một quy trình đơn giản có thể là:

Xác định treatment → xác định outcome → vẽ causal hypothesis → tìm common causes → phân biệt confounder mediator collider → chọn design → kiểm tra balance hoặc assumptions → ước lượng effect → sensitivity analysis → diễn giải thận trọng.

Sensitivity Analysis đặc biệt hữu ích khi lo ngại unmeasured confounding.

Thay vì giả vờ rằng mọi confounder đều đã được đo người phân tích có thể kiểm tra kết luận sẽ thay đổi đến mức nào nếu tồn tại một confounder chưa quan sát với mức tác động nhất định.

Điều này giúp diễn giải kết quả trung thực hơn.

Confounding vì vậy không phải một lỗi có thể nhìn thấy bằng một ô màu đỏ trong spreadsheet.

Nó là vấn đề của causal reasoning.

Dataset không tự ghi:

Cột này là confounder.

Người phân tích phải hiểu hệ thống nghiệp vụ thứ tự thời gian và cơ chế tạo dữ liệu.

Nếu chỉ nhớ một điều về confounding thì nên nhớ:

Một biến thứ ba có thể khiến hai thứ trông như có quan hệ nhân quả dù mối quan hệ thực sự nằm ở nơi khác.

Tag Confounding tổng hợp các bài viết và kiến thức về confounder correlation causation causal inference DAG mediator collider selection bias propensity score và cách kiểm soát các yếu tố gây nhiễu khi phân tích dữ liệu.