Evidence Hierarchy
Strategy: Trước khi để một bằng chứng làm bạn đổi ý, hỏi nó loại trừ được bao nhiêu lời giải thích khác — chứ không phải nó kể một câu chuyện hay tới đâu.
Evidence hierarchy ra đời trong y học dựa trên bằng chứng, khi giới nghiên cứu cần một cách nói rõ ràng rằng không phải mọi nghiên cứu đều đáng tin như nhau. Thang bậc quen thuộc xếp từ dưới lên: ý kiến chuyên gia và lập luận từ cơ chế; báo cáo ca bệnh và giai thoại; nghiên cứu cắt ngang; nghiên cứu bệnh chứng; nghiên cứu đoàn hệ; thử nghiệm có đối chứng ngẫu nhiên; và trên cùng là tổng quan hệ thống cùng phân tích gộp nhiều thử nghiệm.
Logic đứng sau thứ tự này không phải là “số liệu tốt hơn lời kể”, mà là mỗi bậc cao hơn loại trừ được thêm một nhóm lời giải thích cạnh tranh. Giai thoại không loại trừ được gì: người kể có thể nhớ sai, có thể là ngoại lệ, có thể đã khỏi bệnh vì lý do khác. Nghiên cứu quan sát loại được sự tình cờ thuần túy nhưng không loại được biến gây nhiễu và tự chọn lọc. Ngẫu nhiên hóa mới là bước chặn được tự chọn lọc, vì nó khiến hai nhóm giống nhau về cả những yếu tố ta không nghĩ tới. Làm mù chặn kỳ vọng của người tham gia và người đo. Tổng quan hệ thống chặn việc kết luận từ một mẫu nghiên cứu được chọn có lợi.
Thang bậc này cần được dùng như một danh sách kiểm tra chứ không như một cấp bậc cứng. Một thử nghiệm ngẫu nhiên làm ẩu, mẫu ba mươi người, dừng sớm khi kết quả đẹp, kém tin cậy hơn một nghiên cứu đoàn hệ lớn được thiết kế tốt. Nhiều câu hỏi cũng không thể ngẫu nhiên hóa vì lý do đạo đức hoặc thực tế. Câu hỏi vận hành đúng đắn là: thiết kế này loại trừ được lời giải thích nào, và lời giải thích nào vẫn còn nguyên.
Trong công việc sản phẩm, thang bậc tương ứng gần như một-một. Một câu trích từ phỏng vấn người dùng nằm ở đáy — nó tạo giả thuyết, không xác nhận. Khảo sát tự nguyện nhích lên chút ít nhưng mang nặng thiên lệch tự chọn. So sánh trước–sau sau khi ra mắt tính năng nghe rất thuyết phục nhưng lẫn cả mùa vụ, chiến dịch marketing và thay đổi khác cùng lúc. Phân tích đoàn hệ tách được phần mùa vụ. A/B test có phân bổ ngẫu nhiên và cỡ mẫu tính trước mới là bậc cho phép nói tới quan hệ nhân quả. Và một kết quả A/B đơn lẻ vẫn yếu hơn một chuỗi thử nghiệm lặp lại trên nhiều phân khúc.
Thang bậc này là cách vận hành cụ thể của falsifiability: bậc càng cao thì giả thuyết càng có cơ hội thật sự bị bác bỏ. Nó là công cụ chính của epistemic-humility, vì nó buộc ta nói rõ mình đang đứng ở bậc nào. Nó cảnh báo về publication-bias, lý do vì sao tổng quan hệ thống vẫn có thể lệch. Và nó là liều thuốc trực tiếp cho illusion-of-validity, cảm giác chắc chắn sinh ra từ một câu chuyện mạch lạc chứ không từ chất lượng bằng chứng.