More data, more wrong: a Bayesian credible interval is not coverage under misspecificationViac dát, viac mimo: bayesovský kredibilný interval nie je pokrytie pri zlej špecifikácii
A 95% Bayesian credible interval feels like a guarantee: "there's a 95% chance the true value lies in here." That reading is only valid when the model is correctly specified. Under the kind of misspec95% bayesovský kredibilný interval pôsobí ako záruka: „je 95 % šanca, že pravá hodnota leží tu." Toto čítanie platí len keď je model správne špecifikovaný. Pri zlej špecifikácii, ktorá je v reálnych d
A 95% Bayesian credible interval feels like a guarantee: "there's a 95% chance the true value lies in here." That reading is only valid when the model is correctly specified. Under the kind of misspecification that pervades real data — most commonly an omitted confounder — the credible interval measures your sampling noise, not your model error, and its actual coverage of the truth can fall far below 95%. Worse, it degrades as you collect more data.
Method. We simulated y = x + z + noise with x and z correlated (rho = 0.6), then fit a Bayesian model that omits z and read off the 95% credible interval for x's coefficient (true value 1.0). We measured how often that interval actually contained the truth, across sample sizes, over 3,000 datasets each.
What we found.
| sample size | credible-interval coverage | interval width | bias |
|---|---|---|---|
| 50 | 1.4% | 0.53 | +0.60 |
| 200 | 0.0% | 0.26 | +0.60 |
| 1,000 | 0.0% | 0.12 | +0.60 |
| 20,000 | 0.0% | 0.03 | +0.60 |
Coverage collapses to zero. The reason is structural: the omitted-confounder bias is fixed (~0.60) while the credible interval shrinks like 1/sqrt(n). More data buys more precision around the wrong answer. The posterior becomes more confident and less correct at the same time.
The practical rule. A credible interval's width quantifies sampling uncertainty, not model error — and only the first of those shrinks with n. When misspecification is plausible (and with observational data it usually is), do not read coverage off the posterior. Bound the effect under the structure you might be omitting (sensitivity analysis), or use a design that identifies the effect rather than a model that assumes it away. Calibration on your assumed model is not coverage of reality.
What would change our mind. If a misspecified model's 95% credible interval retained near-nominal coverage as n grew — the bias washing out on its own — the warning would be overstated. It does the opposite: coverage went to zero by n = 200 and stayed there.
(All figures from simulation.)
95% bayesovský kredibilný interval pôsobí ako záruka: „je 95 % šanca, že pravá hodnota leží tu." Toto čítanie platí len keď je model správne špecifikovaný. Pri zlej špecifikácii, ktorá je v reálnych dátach bežná — najčastejšie vynechaný konfaunder — interval meria tvoj výberový šum, nie chybu modelu, a jeho skutočné pokrytie pravdy môže spadnúť hlboko pod 95 %. Horšie: zhoršuje sa, čím viac dát nazbieraš.
Metóda. Simulovali sme y = x + z + šum, kde x a z sú korelované (rho = 0,6), potom sme fitli bayesovský model, ktorý z vynecháva, a odčítali 95 % kredibilný interval pre koeficient x (pravá hodnota 1,0). Merali sme, ako často interval skutočne obsahoval pravdu, naprieč veľkosťami vzorky, vždy cez 3 000 datasetov.
Čo sme zistili.
| veľkosť vzorky | pokrytie intervalu | šírka intervalu | bias |
|---|---|---|---|
| 50 | 1,4 % | 0,53 | +0,60 |
| 200 | 0,0 % | 0,26 | +0,60 |
| 1 000 | 0,0 % | 0,12 | +0,60 |
| 20 000 | 0,0 % | 0,03 | +0,60 |
Pokrytie klesne na nulu. Dôvod je štrukturálny: bias z vynechaného konfaundra je fixný (~0,60), kým kredibilný interval sa zmenšuje ako 1/sqrt(n). Viac dát kupuje viac presnosti okolo nesprávnej odpovede. Posterior je súčasne sebavedomejší aj menej správny.
Praktické pravidlo. Šírka kredibilného intervalu kvantifikuje výberovú neistotu, nie chybu modelu — a s n sa zmenšuje len tá prvá. Keď je zlá špecifikácia pravdepodobná (a pri pozorovacích dátach zvyčajne je), nečítaj pokrytie z posterioru. Ohranič efekt podľa štruktúry, ktorú možno vynechávaš (sensitivity analysis), alebo použi dizajn, ktorý efekt identifikuje, namiesto modelu, ktorý ho predpokladá. Kalibrácia na tvojom predpokladanom modeli nie je pokrytie reality.
Čo by nás presvedčilo o opaku. Ak by zle špecifikovaný model udržal 95 % kredibilný interval blízko nominálneho pokrytia, ako n rastie — bias by sa sám vytratil — varovanie by bolo prehnané. Robí pravý opak: pokrytie spadlo na nulu pri n = 200 a tam ostalo.
(Všetky čísla zo simulácie.)