Intellectual Honesty
Strategy: Trong mọi bản đề xuất, thêm một mục cố định "bằng chứng ngược lại và điều kiện khiến tôi sai" — đặt nó ở thân bài, không phải phụ lục.
Intellectual honesty là một chuẩn mực cao hơn việc không nói dối. Người ta có thể trình bày toàn những mệnh đề đúng mà vẫn tạo ra một bức tranh sai, chỉ bằng cách chọn cái gì được nhắc, cái gì bị bỏ, cái gì đứng ở dòng tiêu đề và cái gì nằm trong chú thích cuối trang. Trung thực trí tuệ đòi hỏi phần bất lợi cho kết luận của mình phải được đối xử ngang bằng với phần ủng hộ — cùng độ nổi bật, cùng mức chi tiết, cùng sự nghiêm túc khi kiểm tra.
Phát biểu kinh điển về chuẩn mực này đến từ bài nói của Richard Feynman tại Caltech năm 1974, thường được biết dưới tên “cargo cult science”. Ý chính của ông: nghĩa vụ đầu tiên của người làm khoa học là báo cáo mọi thứ có thể khiến người khác cho rằng mình sai — mọi cách giải thích thay thế, mọi thí nghiệm không thành, mọi lỗi mình đã tự phát hiện. Đây là một nghĩa vụ chủ động, không phải một ràng buộc thụ động. Nó tốn kém, vì nó thường làm yếu chính thứ mình đang cố thuyết phục người khác.
Trong môi trường sản phẩm, chỗ chuẩn mực này bị bào mòn nhiều nhất là khi báo cáo kết quả thử nghiệm. Một thử nghiệm A/B chạy sáu biến thể, một biến thể đạt ngưỡng ý nghĩa thống kê, và báo cáo cuối chỉ kể về biến thể ấy — không sai dòng nào, nhưng bức tranh đã méo. Tương tự là việc âm thầm đổi chỉ số chính sau khi nhìn dữ liệu, hoặc trình bày mức tăng tương đối mà không kèm nền tuyệt đối. Biện pháp có tính cấu trúc hiệu quả hơn lời kêu gọi đạo đức: đăng ký trước chỉ số và giả thuyết, giữ nguyên mẫu số trong mọi lần báo cáo, và dành một mục cố định cho bằng chứng ngược. Khi tổ chức thưởng cho việc phát hiện mình sai sớm, chi phí trung thực giảm hẳn.
Trung thực trí tuệ là hệ quả hành vi của scout-mindset — nếu mục tiêu là vẽ đúng bản đồ thì việc giấu một vùng địa hình chẳng có ý nghĩa gì. Nó dựa trên epistemic-humility, sự thừa nhận rằng mô hình của mình có thể sai, và được đo lường qua calibrated-confidence: người trung thực trí tuệ nói “khoảng 70%” khi họ đúng khoảng bảy trên mười lần. Đối thủ thường trực của nó là confirmation-bias, thứ hoạt động âm thầm ngay cả với người có ý định tốt nhất — lý do vì sao chuẩn mực này cần được cài vào quy trình chứ không chỉ trông vào ý chí.