Noise vs Bias
Strategy: Trước khi đi tìm thiên lệch trong đội của bạn, hãy làm một phép kiểm nhiễu: đưa cùng một hồ sơ cho nhiều người chấm độc lập và đo độ phân tán — con số đó thường lớn hơn nhiều so với dự đoán của chính họ.
Noise vs bias là một phân biệt đơn giản nhưng bị bỏ qua một cách đáng ngạc nhiên. Hình dung bốn khẩu súng cùng bắn vào bia. Khẩu thứ nhất bắn chụm và trúng tâm: không nhiễu, không thiên lệch. Khẩu thứ hai bắn chụm nhưng lệch hẳn sang phải: có thiên lệch, không nhiễu. Khẩu thứ ba bắn tản khắp bia nhưng trung bình rơi vào tâm: có nhiễu, không thiên lệch. Khẩu thứ tư vừa tản vừa lệch. Nhìn từ mặt sau tấm bia, nơi chỉ thấy trung bình, khẩu thứ ba trông chẳng khác gì khẩu thứ nhất — và đó chính là lý do nhiễu tồn tại lâu mà không bị phát hiện.
Kahneman, Sibony và Sunstein trình bày chủ đề này có hệ thống trong cuốn Noise (2021). Điểm gây sốc trong các nghiên cứu họ dẫn không phải là nhiễu tồn tại, mà là quy mô của nó. Cùng một hồ sơ bồi thường bảo hiểm, các chuyên viên khác nhau đưa ra mức khác nhau tới vài chục phần trăm. Cùng một bản án, các thẩm phán khác nhau ra hình phạt lệch nhau nhiều năm. Và tổ chức gần như luôn ước lượng mức nhiễu của mình thấp hơn thực tế nhiều lần, vì không ai nhìn thấy phán đoán của người khác về cùng một hồ sơ.
Nhiễu còn được tách nhỏ. Nhiễu cấp độ là việc một người nhìn chung khắt khe hơn hoặc dễ dãi hơn đồng nghiệp. Nhiễu mẫu hình là việc mỗi người phản ứng khác nhau với từng loại hồ sơ cụ thể — thường là thành phần lớn nhất. Nhiễu tình huống là việc chính một người cho kết quả khác nhau tùy buổi sáng hay chiều muộn, đói hay no, sau một chuỗi hồ sơ tốt hay xấu.
Điều quan trọng với người làm sản phẩm là hai loại sai số này đòi hỏi hai loại can thiệp khác nhau. Thiên lệch được chữa bằng cách nhận diện hướng lệch rồi hiệu chỉnh. Nhiễu được chữa bằng vệ sinh quyết định: dùng thang chấm có định nghĩa rõ cho từng bậc, tách một phán đoán lớn thành nhiều đánh giá thành phần độc lập, thu thập ý kiến riêng trước khi thảo luận chung, và ở nơi phù hợp thì thay bằng quy tắc hoặc mô hình đơn giản — vốn có ưu điểm lớn nhất là luôn cho cùng một đầu ra với cùng một đầu vào.
Trong ngân hàng, đây là lập luận cốt lõi cho việc chuẩn hóa thẩm định tín dụng thủ công: mục tiêu ban đầu không phải làm cho quyết định thông minh hơn, mà làm cho hai chuyên viên nhìn cùng hồ sơ ra cùng kết luận. Trong nghiên cứu người dùng, cùng logic áp dụng cho rubric chấm mức độ nghiêm trọng của vấn đề usability.
Nhìn thấy nhiễu trong chính phán đoán của mình đòi hỏi metacognition, và đo được nó là bước đầu của calibrated-confidence. Nhiễu tình huống chính là nơi decision-fatigue thể hiện thành số liệu. Và cảm giác rằng mình chấm nhất quán, dù dữ liệu nói ngược lại, là một dạng của illusion-of-validity.