Publication bias
Strategy: Khi dùng một nghiên cứu học thuật để justify quyết định sản phẩm (vd. "pattern X tăng conversion theo paper Y"), tìm thêm ít nhất một nghiên cứu replication hoặc kết quả null trước khi coi đó là bằng chứng đủ vững để build.
Publication bias là xu hướng hệ thống khiến các nghiên cứu có kết quả tích cực, có ý nghĩa thống kê, hoặc “thú vị” được công bố nhiều hơn hẳn các nghiên cứu cho kết quả null hoặc tiêu cực — làm méo toàn bộ bức tranh tri thức mà người đọc sau này tiếp cận được, dù từng nghiên cứu riêng lẻ có thể hoàn toàn nghiêm túc về phương pháp.
Vấn đề này được ghi nhận từ rất sớm: năm 1959, nhà thống kê Theodore Sterling phân tích các bài báo tâm lý học và phát hiện khoảng 97% báo cáo kết quả có ý nghĩa thống kê — một tỷ lệ phi thực tế nếu giả định các nghiên cứu null có cùng xác suất được thực hiện và công bố như nghiên cứu dương tính. Hiện tượng “file drawer problem” (Robert Rosenthal, 1979) mô tả chính xác cơ chế: hàng loạt nghiên cứu với kết quả null bị bỏ xó trong ngăn kéo, không bao giờ được viết lại hay gửi đi, vì cả nhà nghiên cứu lẫn tạp chí đều ít động lực với những phát hiện “không có gì để nói”. Vấn đề trở thành tâm điểm chú ý toàn ngành trong “cuộc khủng hoảng tái lập” (replication crisis) thập niên 2010, khi dự án Open Science Collaboration năm 2015 cố gắng tái lập 100 nghiên cứu tâm lý học đã công bố và chỉ thành công với khoảng 36% trong số đó.
Hệ quả thực tế: các phân tích tổng hợp (meta-analysis) nếu không hiệu chỉnh cho publication bias có thể ước lượng quá cao độ lớn hiệu ứng thật sự — vì bộ dữ liệu đầu vào vốn đã bị lọc thiên về phía “có hiệu ứng”. Trong ngành sản phẩm và tăng trưởng, nhiều “phát hiện” về hành vi người dùng lan truyền rộng rãi (một thay đổi nút CTA tăng conversion X%, một dark pattern cụ thể tăng doanh thu Y%) thường bắt nguồn từ một nghiên cứu đơn lẻ, mẫu nhỏ, chưa từng được tái lập độc lập — nhưng được khuếch đại vì nó là câu chuyện hấp dẫn để chia sẻ, đúng cơ chế publication bias vận hành ở quy mô nhỏ hơn trong nội bộ ngành.
Publication bias có cấu trúc tương tự survivorship-bias: cả hai đều khiến ta chỉ nhìn thấy phần “sống sót” của một tập hợp lớn hơn (nghiên cứu được công bố, hoặc người/dự án thành công), rồi suy luận sai lệch về quy luật chung từ mẫu không đại diện đó. Nó cũng tạo điều kiện thuận lợi cho confirmation-bias ở cấp độ cá nhân: khi tài liệu sẵn có đã bị lọc thiên về kết quả dương tính, việc tìm “bằng chứng” ủng hộ một niềm tin có sẵn trở nên dễ dàng hơn hẳn so với việc tìm bằng chứng phản bác nó.