Robustness checky nie sú rituál — ale filtrujú len ak sú testy nezávislé
Nedokážeš, že kauzálny efekt je skutočný - len sleduješ, ako prežíva prísne testy. Prežitie viacerých nezávislých by malo ostro znížiť šancu, že ide o falošný pozitív; to je učebnicové (Ioannidisova positive predictive value). Háčik: reálne robustness checky zdieľajú tie isté dáta a identifikačný predpoklad, takže nie sú nezávislé - a zdieľané skreslenie môže spraviť päť checkov horšími než jeden poctivý test.
V kauzálnej inferencii nikdy nedokážeš, že efekt je skutočný. Môžeš ho len podrobiť prísnym testom - placebo-v-čase, placebo-v-priestore, leave-one-out, kontroly pre-trendov - a veriť odhadu o niečo viac vždy, keď jeden prežije. To je korroborácia Karla Poppera a severe testing Deborah Mayo: tvrdenie si získava dôveryhodnosť nie dôkazom, ale prežitím čestných pokusov ho zabiť. Otázka, ktorú praktici málokedy kvantifikujú: koľko ti vlastne prežitie ďalšieho testu prinesie?
Aritmetika je učebnicová. Vezmi populáciu kandidátskych kauzálnych tvrdení, v ktorej je 70 % falošných - zámerne tvrdá základná miera, no nie nereálna: replikačné audity reprodukujú len asi 36 % výsledkov v psychológii a 61 % v ekonómii. Prežeň každé tvrdenie piatimi nezávislými falzifikačnými testami, kde skutočne reálny efekt prežije ktorýkoľvek jeden test asi v 85 % prípadov a falošný asi v 45 %. Každý test je tak vierohodnostný pomer 0,85/0,45 ≈ 1,9 v prospech tvrdenia a päť z nich sa reťazí cez Bayesovo pravidlo. Spomedzi tvrdení, ktoré prežijú práve k z piatich, podiel stále falošných - posteriórne riziko falošného pozitívu, jedna mínus positive predictive value - klesá takto:
| Prežité nezávislé testy (z 5) | Posteriórne riziko falošného pozitívu |
|---|---|
| 0 | ~100% |
| 1 | ~99.6% |
| 2 | ~97% |
| 3 | ~82% |
| 4 | ~40% |
| 5 | ~9% |
Prežitie všetkých piatich zníži riziko falošného pozitívu zo 70 % pod 10 %. Je to jednoducho výpočet Johna Ioannidisa „prečo je väčšina publikovaných nálezov falošných“ spustený dopredu: každé nezávislé potvrdenie násobí šance. Takže remeselný zvyk spúšťať robustness checky nie je v princípe rituál - vie získať dôveru. (Spustiteľný model reprodukuje každé číslo.)
Ale je tu nosné slovo a nesie celý výsledok: nezávislé. Päť variantov tej istej placebo kontroly zdieľa slepú škvrnu - ak skryté skreslenie nechá falošný efekt prejsť cez jeden, prejde cez všetkých päť naraz a filter skolabuje na silu jediného testu: riziko falošného pozitívu asi 55 %, len o málo lepšie než 70 %, kde si začal. Je to survey design effect v inom prevleku - korelované testy sa počítajú ako menej nezávislých testov („efektívny počet testov,“ Cheverud 2001; Nyholt 2004), presne ako korelované pozorovania zmenšujú efektívnu veľkosť vzorky.
Ako rýchlo kolabuje? Modelovali sme to dvoma spôsobmi. Najprv nech päť výsledkov zdieľa spoločnú zložku s koreláciou ρ (Gaussova kopula):
| Korelácia testov ρ | Riziko falošného pozitívu po prežití všetkých 5 |
|---|---|
| 0 | ~9% |
| 0.2 | ~20% |
| 0.4 | ~30% |
| 0.6 | ~38% |
| 0.8 | ~45% |
| 0.95 | ~51% |
A to škodu podceňuje, lebo Gaussova kopula nemá tail dependence - nikdy nenechá testy zlyhať v dokonalom súlade. Reálne robustness checky zdieľajú jeden identifikačný predpoklad, takže čistejší model je deterministický zdieľaný confounder: podiel φ falošných tvrdení ním oklame a prejdú každým testom naraz. To dáva neredukovateľné dno pod rizikom falošného pozitívu a to dno stúpa rýchlo - φ = 0,05 dáva ~26 % a φ = 0,3 dáva ~62 %, horšie než jeden poctivý test. Robustness príloha postavená na jednom zdieľanom predpoklade nenásobí tvoj dôkaz; kopíruje ho.
A toto je stále optimistický prípad, lebo predpokladá, že vidíš každý spustený test. V praxi si autor vyberá checky aj pozná odpoveď, takže zlyhávajúce špecifikácie ticho zmiznú z prílohy. Pri takom cenzurovaní môže byť „prežilo to všetky naše robustness checky“ takmer neinformatívne bez ohľadu na to, aké nezávislé checky sú - preto sa placebo testy reportujú ako podporujúce dizajn asi v 99 % prípadov (Dreber, Johannesson a Yang, 2024).
Čo to je a čo nie je
Toto je zámerne minimálny model, nie terénne dáta, a mechanizmus je učebnicový: Bayesovská positive predictive value pri (ne)závislých testoch, tá istá logika design effectu ako za našou kalibračnou prácou. Neobjavili sme ju. Čestná, publikovaná forma „veľa prísnych testov, spoločne a transparentne“ už existuje - specification-curve analysis (Simonsohn, Simmons & Nelson 2020) a multiverse analysis (Steegen et al. 2016), ktoré reportujú celú distribúciu obhájiteľných špecifikácií namiesto vyberanej tabuľky. Čo stojí za zapamätanie je tvar kompromisu: dôveryhodnosť pochádza z diverzity tvojich testov, nie z ich počtu - päť korelovaných robustness checkov má hodnotu asi jedného. Je to lekcia, ktorú William Whewell v roku 1840 nazval konsiliencia: dôkaz je silný, keď sa zbieha z naozaj nezávislých smerov.
Čo by zmenilo náš názor - a čo zmeriame ďalej: pridaj podiel reportovania f (koľko spustených checkov sa naozaj ukáže) a zmapuj riziko falošného pozitívu cez koreláciu ρ aj f. Otvorená otázka je, či predregistrácia množiny checkov, a nie ich diverzifikácia, je to, čo naozaj obnoví filter.
(Čísla oboch tabuliek pochádzajú z predpokladaných vstupov a hračkového modelu, nie terénnych dát - ilustrujú logiku korroborácie; miery replikácie (36 %, 61 %) a miera reportovania placeba (99 %) sú reálne a citované. „Riziko falošného pozitívu“ je tu Bayesovský posterior P(falošné | prežilo) = 1 − positive predictive value, nie Benjamini-Hochberg FDR pri viacnásobnom testovaní.)
FAQ
Filtrujú robustness checky naozaj falošné nálezy? Len ak sú testy nezávislé. V idealizovanom prípade - päť nezávislých prísnych testov - posteriórne riziko falošného pozitívu klesne zo 70 % pod 10 %. Ale reálne robustness checky zdieľajú dáta a identifikačné predpoklady, takže realistický filter je omnoho slabší a zdieľané skreslenie ho môže vytlačiť nad ~55 % jedného poctivého testu.
Koľko pomôže každý prísny test? Nezávislý test s ~85 % prežitia reálneho a ~45 % prežitia falošného je vierohodnostný pomer asi 1,9; reťazenie piatich dáva ostrý pokles vyššie. Závislé testy pridajú takmer nič nad prvý.
Prečo musia byť testy nezávislé? Korelované kontroly znova testujú tú istú slabinu - placebo-v-čase a leave-one-out na tej istej regresii zlyhajú spolu, ak je identifikačný predpoklad zlý. To je design effect: korelované testy sa počítajú ako menej efektívnych nezávislých testov (Cheverud 2001; Nyholt 2004).
Je „riziko falošného pozitívu“ to isté ako false discovery rate? Nie celkom. Tu je to Bayesovský posterior P(falošné | prežilo) = 1 − positive predictive value (Ioannidis 2005), nie Benjamini-Hochberg FDR pri viacnásobnom testovaní. Používame „riziko falošného pozitívu“ (Colquhoun 2017), aby sme ich odlíšili.
Čo to znamená pre prax? Reportuj, ktoré nezávislé testy tvrdenie prežilo; preferuj iný dataset alebo dizajn (skutočnú replikáciu) pred ďalším variantom tej istej regresie; a predregistruj množinu checkov, aby zlyhané testy nemohli zmiznúť. Alebo použi specification-curve / multiverse analýzu, ktoré to robia transparentne.