95 % interval spoľahlivosti, ktorý pokrýva len 31 % prípadov: difference-in-differences s jednou ošetrenou jednotkou
Replikácia: s jednou ošetrenou jednotkou a korelovanými chybami pokrýva 95 % CI metódy DiD len ~31 %; synthetic control obnoví ~89 %, ale za cenu ~4× širších intervalov.
Tvrdenie. Ak robíš difference-in-differences (DiD) s jednou ošetrenou jednotkou a chybami korelovanými v čase, „95 %" interval spoľahlivosti, ktorý ti vyjde, je výrazne prehnane sebavedomý. V čistej replikácii ten nominálne 95 % interval obsahoval skutočný efekt iba v 31 % prípadov. Problémom nie je bodový odhad — problémom je inferencia.
Čo sme zmerali. Spustili sme klasický dizajn s jednou ošetrenou jednotkou a sériovou koreláciou (Bertrand-Duflo-Mullainathan 2004; Conley-Taber 2011): 30 jednotiek, 12 období (8 pred zásahom), presne jedna ošetrená jednotka, skutočný efekt nula, AR(1)-korelované chyby (rho = 0,7), cez 800 simulovaných experimentov. Pri každom jedna otázka: obsahoval 95 % interval danej metódy skutočný (nulový) efekt?
| metóda | pokrytie 95 % CI (nominál 0,95) | priemer abs chyby | RMSE | priemerná šírka CI |
|---|---|---|---|---|
| Difference-in-differences | 0,305 | 0,95 | 1,27 | 0,90 |
| Synthetic control | 0,891 | 0,78 | 1,02 | 3,49 |
Intervaly DiD sú úzke (šírka 0,90) — a presne preto zlyhávajú: sú sebavedomo nesprávne. Synthetic control takmer obnovil nominálne pokrytie (0,89, stále kúsok pod 0,95), ale za cenu zhruba 4× širších intervalov. V tom riadku sa však zmenili dve veci naraz — estimátor aj inferencia: synthetic control získava pokrytie hlavne zo svojej placebo/permutačnej inferencie (Abadie, Diamond & Hainmueller 2010), nie zo SC estimátora ako takého.
Prečo sa to deje. Pri jednej ošetrenej jednotke je v podstate jediný zhluk korelovaných reziduí, takže bežné štandardné chyby nemajú z čoho priemerovať a hrubo podhodnotia skutočnú neistotu. Odhad môže byť zhruba v poriadku, no chybové úsečky sú fikcia. Toto je etablovaný výsledok — podhodnotené pokrytie DiD pri sériovej korelácii ukázali Bertrand, Duflo & Mullainathan (2004, QJE) a inferenciu pri málo ošetrených jednotkách Conley & Taber (2011, REStat); ten dizajn s jednou ošetrenou jednotkou a sériovou koreláciou je ich, Alvarez & Ferman (2020, working paper) skúmajú príbuzný prípad priestorovej korelácie. Čestná oprava nie je „opustiť DiD" — je použiť validnú inferenciu (Conley–Taber alebo randomizáciu/permutáciu) na DiD odhad; synthetic control je jedna cesta, ktorá navyše mení estimand aj šírku intervalov.
Falsifier — čo by nás vyvrátilo. Daj DiD veľa ošetrených jednotiek (aby mala cluster-robustná variancia dosť nezávislých zhlukov), alebo naozaj nezávislé chyby, a pokrytie by malo stúpnuť späť k 95 %. Ak nie, toto vysvetlenie je nesprávne. A oprava cez synthetic control nie je zadarmo: jej intervaly tu boli ~4× širšie.
Praktický záver. Ak DiD výsledok stojí na jednej ošetrenej jednotke — jeden štát, jeden trh, jeden produkt — s časovo korelovanými výstupmi, ber jeho p-hodnotu a interval spoľahlivosti s veľkou nedôverou. Bodový odhad môže byť tá dôveryhodnejšia časť — je zhruba vycentrovaný, hoci s veľkým rozptylom — kým hviezdičky významnosti sú fikcia.
Metóda: simulácia (single-treated-unit DiD so sériovou koreláciou, v duchu Bertrand-Duflo-Mullainathan / Conley-Taber), 800 opakovaní, skutočný efekt = 0; reprodukovateľné v našom lab ledgeri.
FAQ
Môže 95 % interval spoľahlivosti pokrývať pravdu naozaj len v 31 % prípadov? Áno. Pri difference-in-differences s jednou ošetrenou jednotkou a sériovo-korelovanými chybami nominálny 95 % interval pokryl pravdu len v 0,305 prípadov v našej replikácii — je vážne prehnane istý.
Aký dizajn to odhalí? Klasický dizajn s jednou ošetrenou jednotkou a sériovou koreláciou (Bertrand-Duflo-Mullainathan 2004; Conley-Taber 2011): 30 jednotiek, 12 období (8 pred zásahom), presne jedna ošetrená jednotka, skutočný efekt nula. Pri jednej ošetrenej jednotke majú štandardné chyby príliš málo nezávislých zhlukov, takže interval je priúzky.
Vyrieši to synthetic control? Čiastočne — a nie jediný. Synthetic control takmer obnovil pokrytie (0,891) pri asi 4× širších intervaloch, ale získava to hlavne zo svojej placebo/permutačnej inferencie (Abadie, Diamond & Hainmueller 2010), nie z estimátora. Validná inferencia na samotnom DiD odhade — Conley–Taber alebo randomizácia/permutácia — pokrytie tiež obnoví. Reálnou opravou je inferencia, nie opustenie DiD.
Kedy je pokrytie DiD dôveryhodné? Keď máš veľa ošetrených jednotiek (dosť nezávislých zhlukov pre cluster-robust varianciu) alebo naozaj nezávislé chyby. S jednou ošetrenou jednotkou a korelovanými chybami radšej reportuj metódu so správnym pokrytím.