Falsifiability
Strategy: Trước khi bắt đầu một thử nghiệm hay một phân tích, hãy viết ra kết quả cụ thể nào sẽ khiến bạn kết luận giả thuyết sai — nếu không viết được, bạn chưa có giả thuyết mà chỉ có một câu chuyện.
Falsifiability là tiêu chí do Karl Popper đề xuất trong Logik der Forschung (1934) để phân định đâu là tuyên bố khoa học. Lập luận của ông xuất phát từ một bất đối xứng logic: không lượng quan sát ủng hộ nào chứng minh được một quy luật phổ quát, nhưng một quan sát phản bác là đủ để bác bỏ nó. Nhìn thấy thêm một nghìn con thiên nga trắng không chứng minh mọi thiên nga đều trắng; nhìn thấy một con đen là kết thúc.
Từ đó Popper đảo ngược cách đánh giá một lý thuyết. Câu hỏi không phải “có bao nhiêu bằng chứng ủng hộ”, mà “lý thuyết này cấm điều gì xảy ra”. Một lý thuyết cấm nhiều thứ là một lý thuyết có nội dung cao và dễ bị bác bỏ — và với Popper, đó là ưu điểm chứ không phải nhược điểm. Ngược lại, một lý thuyết tương thích với mọi kết quả có thể có thì không nói gì về thế giới, dù nó nghe rất thuyết phục.
Cần ghi nhận rằng tiêu chí này đã bị phê phán nghiêm túc. Pierre Duhem và W.V.O. Quine chỉ ra rằng ta không bao giờ kiểm định một giả thuyết đơn lẻ mà luôn kiểm định nó cùng một bó giả định phụ trợ — nên khi kết quả trái ngược, ta luôn có thể cứu giả thuyết chính bằng cách đổ lỗi cho một giả định phụ. Thomas Kuhn thì mô tả thực tế lịch sử khoa học, nơi các lý thuyết không bị vứt bỏ ngay khi gặp phản chứng. Vì vậy khả bác được hiểu tốt nhất như một kỷ luật thực hành, không phải một thuật toán phân định tuyệt đối.
Chính ở dạng kỷ luật thực hành nó có giá trị nhất trong công việc. Một giả thuyết sản phẩm phát biểu là “cải thiện trải nghiệm sẽ tăng gắn kết” thì không khả bác — mọi kết quả đều giải thích được sau đó. Cùng ý tưởng ấy viết lại thành “rút gọn bước xác thực từ ba màn hình xuống một sẽ nâng tỷ lệ hoàn thành đăng ký từ 62% lên ít nhất 68% trong bốn tuần, đo trên nhóm khách mới” thì có thể sai, và vì có thể sai nên nó đáng chạy. Điều kiện đi kèm là ghi trước ngưỡng và thời hạn, vì nếu ngưỡng được chọn sau khi nhìn dữ liệu thì tính khả bác đã bị vô hiệu.
Card này là công cụ đối kháng trực tiếp với confirmation-bias, vốn khiến ta tìm bằng chứng ủng hộ, và với congruence-bias, khiến ta chỉ kiểm định giả thuyết của mình mà không kiểm định phương án thay thế. Nó là biểu hiện có kỷ luật của epistemic-humility, và giải thích vì sao publication-bias làm hỏng kho bằng chứng chung: khi kết quả bác bỏ không được công bố, cơ chế sửa sai của cả hệ thống ngừng hoạt động.