Viac dát, viac sebavedomo mimo: 95% interval (bayesovský či frekventistický) stráca pokrytie pri skrytom konfaundri
95% interval (bayesovský či frekventistický) pôsobí ako záruka — ale pri skrytom konfaundri meria výberový šum, nie chybu modelu: pokrytie pravdy skolabovalo z 1,4 % pri n=50 na 0 % pri n=200, a viac dát kupuje len viac falošnej istoty.
95% bayesovský kredibilný interval pôsobí ako záruka: „je 95 % šanca, že pravá hodnota leží tu." Toto čítanie platí, len keď je model správne špecifikovaný. Pri nesprávnej špecifikácii, ktorá je v reálnych dátach bežná — najčastejšie vynechaný konfaunder — interval meria tvoj výberový šum, nie chybu modelu, a jeho skutočné pokrytie pravdy môže spadnúť hlboko pod 95 %. Horšie: zhoršuje sa, čím viac dát nazbieraš. Toto je etablovaný výsledok: to, že nesprávne špecifikovaný posterior sa koncentruje na nesprávnu (KL-pseudo-pravú) hodnotu a jeho kredibilné množiny prestanú byť platnými konfidenčnými množinami, je obsahom nesprávne špecifikovanej Bernsteinovej–von Misesovej vety (Kleijn & van der Vaart 2012; Müller 2013), a bias z vynechaného konfaundra, ktorý to poháňa, je učebnicový (s rastúcim n nemizne). Čo pridávame, je spustiteľný doklad na to, ako rýchlo pokrytie skolabuje.
Jedno čestné spresnenie (slovo „bayesovský" v titulku môže zavádzať): toto nie je bayesovsky-špecifická chyba — frekventistický konfidenčný interval tu zlyhá identicky. Je to bias z vynechanej premennej, čiže neidentifikovateľnosť: po vynechaní konfaundra je odhad konzistentný pre koeficient najlepšieho lineárneho prediktora (v tomto nastavení ≈1,6), a — keďže Gaussovská, homoskedastická štruktúra tu spôsobuje, že model-based a sandwich variancie splývajú — ten istý interval skutočne pokrýva tú pseudo-pravú 1,6 na ~95 % naprieč všetkými n (merané); kolabuje jeho pokrytie skutočnej kauzálnej 1,0. (Tá kalibrácia zadarmo je Gaussovská náhoda: pri generickej misšpecifikácii aj pseudo-pravá hodnota potrebuje sandwich korekciu, aby ostala validná — Müller 2013.) A bodový odhad nie je s rastúcim n „viac mimo"; jeho bias je fixný na +0,60. Degraduje sebavedomie intervalu okolo nesprávneho stredu — viac dát kupuje viac falošnej istoty, nie viac chyby.
Metóda. Simulovali sme y = x + z + šum, kde x a z sú korelované (rho = 0,6), potom sme fitli bayesovský model, ktorý z vynecháva, a odčítali 95 % kredibilný interval pre koeficient x (pravá hodnota 1,0). Merali sme, ako často interval skutočne obsahoval pravdu, naprieč veľkosťami vzorky, vždy cez 3 000 datasetov.
Čo sme zistili.
| veľkosť vzorky | pokrytie intervalu | šírka intervalu | bias |
|---|---|---|---|
| 50 | 1,4 % | 0,53 | +0,60 |
| 200 | 0,0 % | 0,26 | +0,60 |
| 1 000 | 0,0 % | 0,12 | +0,60 |
| 20 000 | 0,0 % | 0,03 | +0,60 |
Pokrytie klesne na nulu. Dôvod je štrukturálny: bias z vynechaného konfaundra je fixný (~0,60), kým kredibilný interval sa zmenšuje ako 1/sqrt(n). Viac dát kupuje viac presnosti okolo nesprávnej odpovede. Posterior je súčasne sebavedomejší aj menej správny.
Praktické pravidlo. Šírka kredibilného intervalu kvantifikuje výberovú neistotu, nie chybu modelu — a s n sa zmenšuje len tá prvá. Keď je zlá špecifikácia pravdepodobná (a pri pozorovacích dátach zvyčajne je), nečítaj pokrytie z posterioru. Ohranič efekt podľa štruktúry, ktorú možno vynechávaš (analýza citlivosti), alebo použi dizajn, ktorý efekt identifikuje, namiesto modelu, ktorý ho predpokladá. Kalibrácia na tvojom predpokladanom modeli nie je pokrytie reality.
Čo by nás presvedčilo o opaku. Ak by zle špecifikovaný model udržal 95 % kredibilný interval blízko nominálneho pokrytia, ako n rastie — bias by sa sám vytratil — varovanie by bolo prehnané. Robí pravý opak: pokrytie spadlo na nulu pri n = 200 a tam ostalo.
(Všetky čísla zo simulácie.)
FAQ
Obsahuje 95 % bayesovský kredibilný interval pravdu v 95 % prípadov? Len ak je model správne špecifikovaný. Pri bežnej nesprávnej špecifikácii — vynechanom konfaundri — interval meria výberový šum, nie chybu, takže jeho skutočné pokrytie pravej hodnoty kolabuje: 1,4 % pri n=50 a 0,0 % pri n=200 — a frekventistický konfidenčný interval zlyhá identicky (je to bias z vynechanej premennej, nie bayesovská zvláštnosť).
Prečo to viac dát zhorší? Pretože viac dát zúži interval (šírka 0,53 → 0,03) okolo vychýleného bodu (+0,60 stále). Odhad presnejšie zachytí nesprávnu hodnotu, takže pokrytie padá na nulu, ako n rastie — „viac dát, sebavedomejšie mimo".
Aké nastavenie to vyprodukovalo? Simulovali sme y = x + z + šum s x a z korelovanými (ρ = 0,6), odhadli bayesovský model, ktorý z vynecháva, a čítali 95 % kredibilný interval pre koeficient x naprieč 3 000 datasetoch na veľkosť vzorky.
Aký je záver? Úzky kredibilný interval nie je dôkaz správnosti — kvantifikuje výberový šum za tvojich predpokladov. Skontroluj vynechané konfaundre a nesprávnu špecifikáciu modelu skôr, než uveríš akémukoľvek intervalu, najmä pri veľkom n.