Kiểm định hoán vị

Kiểm định hoán vị (permutation test) là cách kiểm xem một "quy luật" tìm thấy trong dữ liệu có thể chỉ là tình cờ hay không: xáo trộn dữ liệu nhiều lần, áp đúng phép đo cũ lên từng bản xáo, rồi xem bản thật nổi bật đến mức nào so với đám bản xáo. Đám bản xáo ấy gọi là mô hình null (mô hình "không có gì đặc biệt").

Vì sao cần

Trong huyền học, rất dễ "thấy" quy luật. Bảng chỉ có mười dòng, mà cách so sánh thì vô số: xoay, lật, dịch, đối cung, cộng trừ... Thử đủ nhiều cách thì kiểu gì cũng có cách khớp. Câu hỏi đúng không phải "có khớp không", mà là "một bảng ngẫu nhiên có khớp tốt như vậy không".

Cách làm, từng bước

1. Chốt phép đo trước. Ví dụ: "số can rơi đúng cung sao Hóa Lộc của nó, lấy cách đặt tốt nhất trong mọi cách xoay, lật".
2. Đo trên dữ liệu thật. Được một con số, gọi là điểm thật.
3. Xáo dữ liệu. Giữ nguyên mọi thứ trừ phần đang nghi ngờ. Ví dụ giữ mười sao Lộc, nhưng gán ngẫu nhiên vào mười can.
4. Đo lại trên bản xáo, bằng đúng phép đo ở bước 1, kể cả bước "chọn cách đặt tốt nhất".
5. Lặp hàng nghìn lần, đếm tỉ lệ bản xáo đạt điểm bằng hoặc cao hơn điểm thật. Tỉ lệ đó là giá trị p.

Giá trị p nhỏ (ví dụ dưới 1%) nghĩa là: nếu bảng chỉ là ngẫu nhiên thì hiếm khi được điểm cao như vậy. Nó không nói xác suất giả thuyết đúng, càng không nói người xưa đã dựng bảng theo cách đó.

Ví dụ: bảng Tứ Hóa

Bài Tứ Hóa có "hàm số" không dùng phép thử này hai lần:

Bước 4 rất quan trọng: vì bộ dò được quyền chọn cách đặt tốt nhất cho bảng thật, nó cũng phải được quyền ấy với mỗi bảng xáo. Bỏ bước này thì p sẽ nhỏ giả tạo.

Ba cái bẫy

• Vòng luẩn quẩn: dựng mô hình từ chính đáp án rồi ngạc nhiên vì nó khớp đáp án. Ví dụ "phép chiếu" được định nghĩa bằng cách tra xem sao Lộc nằm đâu. Không phép thử nào cứu được lỗi này.
• Thử nhiều hướng rồi chỉ báo hướng thắng (còn gọi là "khu vườn những lối rẽ"). Nếu đã thử 50 ý tưởng, một ý đạt p = 1% chẳng có gì lạ. Cách xử lý: nói rõ đã thử bao nhiêu hướng, hoặc kiểm lại trên dữ liệu mới.
• Tinh chỉnh sau khi xem dữ liệu: thêm luật phụ như "hai can trật thì dời 7 cung" làm mô hình khớp hơn nhưng làm p mất ý nghĩa, vì luật phụ không được đưa vào bộ dò cho bản xáo.

Vì vậy bài Tứ Hóa kết luận dè dặt: con số 0,1% là cận dưới, mức tình cờ thật sự cao hơn.

Dùng ở đâu khác

Cùng logic được dùng khi kiểm chiêm tinh (xáo ngày sinh giữa các người để xem "cung Mặt Trời ảnh hưởng nghề nghiệp" có còn đứng không, xem Chiêm tinh có khoa học không), khi kiểm tỉ lệ "đoán trúng" của một phép bói, hay khi so ngày tốt xấu với số liệu thật. Đó là công cụ tốt nhất để tách cấu trúc thật khỏi cảm giác "trùng hợp quá".

Xem thêm Tứ Hóa trong Tử Vi và Phong thủy có khoa học không.