Pre-trend príliš jemný na to, aby bol vidieť, môže skresliť odhad difference-in-differences o ~77 % — a štandardný test to zvyčajne nezachytí
Jemný pre-trend, príliš malý na to, aby bol vidieť, skreslí DiD odhad o 77 % skutočného efektu — a je štrukturálny, takže test pre-trendov ťa môže len varovať pred obyčajným DiD, nie to opraviť. Ten test zachytí porušenie len v ~16 % prípadov. Toto reprodukuje známy poddimenzovaný výsledok Rotha (2022), odmeraný pre dĺžky panelov, aké ľudia reálne používajú.
Difference-in-differences (DiD) je jeden z najpoužívanejších kauzálnych návrhov v ekonómii, politike a produktovej analytike. Jeho dôveryhodnosť stojí na jednom predpoklade: paralelné trendy — že bez zásahu by sa ošetrená a kontrolná skupina hýbali v zhode. Štandardný spôsob obhajoby tohto predpokladu je test pre-trendov: skontroluj, že sa obe skupiny pred zásahom už nerozchádzali. Nevýznamný test pre-trendov sa bežne číta ako „paralelné trendy platia, odhad je čistý".
Postavili sme spustiteľný receipt výsledku, ktorý už etabloval Jonathan Roth (2022) — že toto uistenie je z veľkej časti falošné — odmeraný pre dĺžky panelov, aké ľudia reálne používajú. Jedno spresnenie vopred: čísla 77 % skreslenia / 16 % zachytenia nižšie sú výstupom NAŠEJ simulácie, nie citátom z Rothovho článku. Rothova vlastná kalibrácia sily pochádza z heterogénneho prieskumu reálnych publikovaných DiD dizajnov, nie z jedného kanonického nastavenia; my sme postavili jeden konkrétny, extrémny štylizovaný dizajn (jedna ošetrená jednotka), aby sme jeho mechanizmus urobili konkrétnym a spustiteľným pri reálnej krátkej dĺžke panelu — reprodukujeme kvalitatívny vzor, ktorý etabloval on, s vlastnými číslami, nie jeho.
Čo sme spravili. Simulovali sme DiD dizajn — jedna ošetrená jednotka, 20 kontrol, 6 pred-zásahových a 4 po-zásahové obdobia, skutočný efekt 2,0 — a vstrekli sme tri učebnicové porušenia jeho identifikačných predpokladov, vždy 2 000 Monte Carlo behov (pevný seed, šum jednotky SD = 1). Pre každé porušenie sme merali dve veci: skreslenie, ktoré vnáša do DiD odhadu, a ako často ho test pre-trendov zachytí na 5% hladine, so správnou malovzorkovou Studentovou t kritickou hodnotou (4 stupne voľnosti). Jedna ošetrená jednotka je sama osebe špeciálny prípad: platná inferencia tam vo všeobecnosti vyžaduje predpoklad, že chyby majú rovnaké rozdelenie naprieč ošetrenou a kontrolnými jednotkami (Conley & Taber, 2011) — predpoklad, ktorý vnucujeme konštrukciou (rovnaká SD šumu pre každú jednotku), nie taký, ktorý by reálna štúdia s jednou ošetrenou jednotkou dostala zadarmo.
Čo sme zistili.
- Sotva viditeľný pre-trend spôsobí väčšinu škody — a žiaden test to nedokáže opraviť, len zaznamenať. Mierny diferenciálny drift 0,3 jednotky za obdobie — ľahko prehliadnuteľný v zašumenom pre-období — skreslí odhad o +1,54, čiže 77 % skutočného efektu (strmší drift 0,6/obdobie ho zhruba zdvojnásobí, na 150 %). Toto porušenie je štrukturálne: drift pokračuje aj do po-obdobia, takže jednoduchý pred/po DiD odhad ho nedokáže odlíšiť od efektu zásahu, ani keď o ňom vieš. Úlohou testu pre-trendov tu nie je nechať ťa „opraviť" odhad — je to varovať ťa pred obyčajným DiD v prospech dizajnu, ktorý nepredpokladá nulový drift (trend-upravený odhad, syntetická kontrola, alebo citlivostné ohraničenia Rambachana a Rotha).
- Test, ktorý to má zachytiť, to zvyčajne nezachytí. Proti tomuto porušeniu sa správny malovzorkový test spustí len v ~16 % prípadov — bežný, no nevhodný normálno-aproximačný cutoff by nahlásil ~31 %, čo nadhodnocuje silu, lebo ignoruje, že odhad podopierajú len 4 stupne voľnosti. Tak či tak, väčšina štúdií s takto veľkým skreslením prejde kontrolou a sebavedomo nahlási nesprávne číslo — v zhode s Rothom (2022), ktorý našiel rovnaký poddimenzovaný vzorec v simuláciách kalibrovaných na reálne publikované DiD štúdie, nie len na hračkársky dizajn.
- Pri krátkych paneloch je test aj zle dimenzovaný. Pri iba 6 pred-obdobiach normálno-aproximačný cutoff zamietne dokonale čistý dizajn ~13 % prípadov pri nominálnej 5% hladine — takže aj prepúšťa zlé štúdie aj kričí na poplach pri dobrých; t-test opraví veľkosť, no nie problém so silou.
- Nie všetky porušenia sú rovnaké — a jedno je skutočne opraviteľné. Na rozdiel od driftu vyššie sú „anticipácia" (výsledok sa pohne tesne pred zásahom) a „kompozícia" (úrovňový posun uprostred vzorky) lokalizované na pre-obdobie, takže ak ich test zachytí, môžeš podmieniť alebo vylúčiť postihnuté obdobia a získať čistý odhad. Anticipácia tu skreslila odhad najmenej, a to v opačnom smere — odhad tlmí (−9 % až −17 %), nie nafukuje. Kompozícia skreslila odhad až o ~50 % skutočného efektu, úmerne veľkosti porušenia.
| Porušenie | Skreslenie odhadu | Zachytenie / falošne pozitívna miera (5% hladina) |
|---|---|---|
| Mierny drift (0,3/obdobie) | +77 % skutočného efektu | ~16 % |
| Strmší drift (0,6/obdobie) | ~150 % | (rovnaký test, samostatne neuvedené) |
| Anticipácia | −9 % až −17 % (tlmí) | lokalizované — opraviteľné, ak zachytené |
| Kompozícia (úrovňový posun) | až ~50 % | lokalizované — opraviteľné, ak zachytené |
| Čistý dizajn (bez porušenia) | 0 — správne neskreslené | falošne pozitívne ~13 % (normálna aproximácia, nominálne 5 %) |
Praktické pravidlo. Nevýznamný test pre-trendov je slabý dôkaz paralelných trendov, keď máš málo pred-období — jeho sila proti jedinému najškodlivejšiemu porušeniu je okolo jedna ku šiestim. Presne preto existuje Rambachanov a Rothov prístup „honest DiD" a Rothov vlastný balík pretrends: namiesto pass/fail brány nahlás silu, akú tvoj konkrétny dizajn reálne má, a ohraničiť odhad voči hodnoverným porušeniam, ktoré tá sila nevie vylúčiť. Neber „prešiel test pre-trendov" ako čistý štít — najmä pri krátkom paneli; sila škáluje s počtom pred-období, takže dizajn s 15-20 pred-obdobiami je podstatne bezpečnejší príbeh než 6-obdobový prípad meraný tu.
Čo by zmenilo náš názor. Test pre-trendov, alebo moderná alternatíva, ktorá dosiahne vysokú silu proti porušeniu so sklonom 0,3 pri šiestich či menej pred-obdobiach, by zlomila záver o „slabom štíte" pre krátke panely konkrétne. To by sme publikovali. Jedna živá námietka, ktorú treba spomenúť: Mikhaeil & Harshaw (2025) tvrdia, že celý rámec „poddimenzovanosti" implicitne testuje proti nulovému porušeniu, ktorému nikto reálne neverí, a namiesto toho navrhujú podmienený extrapolačný prah — kontestovaná, nevyriešená alternatíva k Rothovej diagnóze, nie definitívne vyvrátenie.
(Čísla vyššie boli pre tento text premerané od nuly; hodnoty skreslenia tiež sedia s uzavretou kontrolou — drift so sklonom s cez tento dizajn skresľuje DiD o s-krát rozdiel medzi stredmi po- a pred-období, tu s×5.)
FAQ
Môže pre-trend príliš malý na všimnutie skresliť difference-in-differences? Áno. V DiD simulácii (jedna ošetrená jednotka, 20 kontrol, 6 pred- a 4 po-obdobia, skutočný efekt 2,0) jemný diferenciálny drift, ktorý oko aj štandardný test prehliadnu, stále podstatne nafúkne odhad — a keďže je štrukturálny, žiaden test ho nedokáže zvrátiť, len ťa varovať, aby si zmenil dizajn.
Prečo je predpoklad paralelných trendov taký krehký? Pretože dôveryhodnosť DiD na ňom celá stojí, no drift dosť malý na to, aby prešiel testom pre-trendov, stále môže skresliť odhad po-obdobia — predpoklad zlyhá ticho, presne tam, kde to nevidíš.
Vyrieši to dlhšie pred-obdobie? Je to skutočná oprava, nie len pomoc: sila testu pre-trendov škáluje s počtom pred-období, takže 6-obdobový panel ako náš je na nízkosilovom konci tejto krivky. Rothov balík pretrends spočíta silu, akú má tvoj konkrétny panel proti hypotetickému driftu — použi ho pred tým, než uveríš prejdenému testu.
Čo mám reportovať namiesto toho? Reportuj citlivosť efektu na rozsah pravdepodobných pre-trendov — ohraničenia „honest DiD" od Rambachana a Rotha — nie len jednu pre-trends p-hodnotu, ktorej jemné porušenie prekĺzne.
Je toto nový nález? Nie. Jonathan Roth (2022) etabloval, že testy pre-trendov sú poddimenzované proti realistickým porušeniam; čo pridávame, je spustiteľný, dĺžke panelu špecifický receipt, ktorý reprodukuje jeho mechanizmus od nuly, plus uzavretú aritmetiku za tými číslami. Čísla 77 % / 16 % sú výstupom NAŠEJ simulácie ilustrujúcej jeho mechanizmus, nie citátom z jeho článku — jeho kalibrácia použila prieskum reálnych publikovaných dizajnov, nie jedno štylizované nastavenie s jednou ošetrenou jednotkou ako naše.