Prejsť testom pre-trendov je slabý dôkaz — odmerali sme to
Test pre-trendov v difference-in-differences zachytí len asi jedno zo šiestich porušení, ktoré zničia tvoj odhad (prehliadne ~5 zo 6). Odmerané, so simuláciou aj falzifikátorom.
Tvrdenie. Pri difference-in-differences (DiD) — jednom z najpoužívanejších kauzálnych návrhov v ekonómii, politike a produktovej analytike — znie štandardné ubezpečenie: „skontrolovali sme pre-trendy, sú paralelné." Odmerali sme, akú hodnotu tá kontrola naozaj má. Odpoveď: pri dĺžkach panelov, ktoré ľudia reálne používajú, nesignifikantný test pre-trendov prehliadne zhruba päť zo šiestich porušení, ktoré by zničili tvoj odhad. Prejsť ním je slabý dôkaz, nie certifikát čistoty. Je to etablovaný výsledok — Jonathan Roth (2022), Pretest with Caution, ukázal, že testy pre-trendov sú poddimenzované práve proti porušeniam, ktoré biasujú odhad; čo pridávame, je spustiteľný receipt špecifický pre dĺžku panelu, ktorý to reprodukuje.
Nastavenie. Simulovali sme 2 000 panelov na podmienku — jedna ošetrená jednotka, 20 kontrol, 6 pre-období a 4 post-obdobia, skutočný efekt 2,0 — a vstrekli tri druhy porušenia predpokladu rôznej sily. Pri každom sme odmerali (a) skreslenie, ktoré vnesie do DiD odhadu, a (b) ako často ho štandardný test pre-trendov zachytí.
Meranie.
| porušenie | sila | DiD skreslenie | % skutočného efektu | test pre-trendov ho chytí |
|---|---|---|---|---|
| paralelné trendy | sklon 0,3/obdobie | +1,52 | 76 % | len 16 % |
| paralelné trendy | sklon 0,6/obdobie | +3,00 | 150 % | 45 % |
| anticipácia | únik do posl. pre-obdobia | −0,18 až −0,34 | 9–17 % | 6–9 % |
| kompozícia (posun úrovne) | +1,0 až +2,0 | +0,50 až +1,00 | 25–50 % | 12–28 % |
(Miery detekcie používajú správnu Studentovu t kritickú hodnotu so 4 stupňami voľnosti pre-období; skoršia verzia použila normálny cutoff, ktorý nadhodnotil silu — viď výsledok 3.)
Tri výsledky vyčnievajú:
- 1. Porušenie paralelných trendov je zďaleka najškodlivejšie. Mierny, ľahko prehliadnuteľný drift — sklon 0,3 za obdobie — už nafúkne odhad o 76 %. Nepotrebuješ dramatické porušenie, aby bolo smrteľné.
- 2. Test pre-trendov je poddimenzovaný presne tam, kde záleží. Pri porušení spôsobujúcom 76 % skreslenie sa spustí len v ~16 % prípadov. Zhruba päť zo šiestich vážne skreslených štúdií prejde štandardnou kontrolou a sebavedomo nahlási nesprávne číslo. (Toto je Rothov výsledok „pretest with caution" z 2022, odmeraný pri dĺžkach panelov, aké praktici reálne používajú; Roth tiež ukazuje, že podmieňovanie na tom, že test prešiel, ďalej deformuje odhad — druhý mód zlyhania, ktorý tu nemeriame. Tieto miery detekcie sú náš vlastný sim reprodukujúci jeho mechanizmus, nie čísla z jeho práce.)
- 3. Zlyhanie je jednosmerné: nízka sila, nie nadmerné zamietanie. So správnym testom je miera falošných poplachov na čistých dátach nominálnych ~5 % — test čisté panely neoznačuje; len prehliada reálne porušenia. (Skoršia verzia uvádzala ~12 % falošných poplachov; to bol artefakt aplikovania normálnej kritickej hodnoty na t-štatistiku so 4 stupňami voľnosti pre-období. So správnym Studentovým t cutoffom je veľkosť správna na 5 % a poctivý príbeh je jednoduchší a horší: prejsť testom je slabý dôkaz čisto preto, že sila je nízka.)
Prečo je test poddimenzovaný
Zlyhanie je štrukturálne, nie otázka ladenia. Test pre-trendov sa pýta: je rozdiel sklonov v pre-období štatisticky odlíšiteľný od nuly? So šiestimi pre-obdobiami a bežným šumom je štandardná chyba toho sklonu veľká — takže reálny, štúdiu-ničiaci drift môže pohodlne sedieť vnútri intervalu spoľahlivosti a nikdy nedosiahne signifikanciu. To, čo najviac potrebuješ odhaliť (malá, vytrvalá divergencia), je práve to, na čo má krátky panel najmenej sily. Predĺženie pre-obdobia je jediná poctivá náprava, lebo sila škáluje s rozsahom, ktorý pozoruješ, nie s tým, ako sebavedomo predpoklad tvrdíš.
Je tu hlbší vzorec, a je rovnaký naprieč kvázi-experimentálnym dizajnom: skreslenie a sila idú proti sebe, a viažuce obmedzenie je takmer vždy to skreslenie, ktoré nevidíš. V sprievodnom meraní sme zistili, že randomizovaný A/B test poráža DiD práve vtedy, keď nepozorovateľné skreslenie paralelných trendov prekročí vlastnú štandardnú chybu experimentu — je to prah skreslenia, nie otázka veľkosti vzorky. Sebavedomý, „signifikantný" kvázi-experimentálny výsledok na malom skutočnom efekte môže byť čisté skreslenie nosiace znamienko efektu.
Čo robiť namiesto toho
Prestaň brať „skontrolovali sme pre-trendy" ako pass/fail bránu a ber predpoklad ako niečo, čo treba ohraničiť, nie certifikovať:
- 1. Predĺž pre-obdobie, kde sa dá. Je to jediná páka, ktorá kupuje reálnu silu proti malým driftom, na ktorých záleží.
- 2. Reportuj citlivosť na ohraničené porušenia — štýl „honest DiD" (Rambachan & Roth 2023, balík
HonestDiD; Bilinski & Hatfield 2018). Namiesto tvrdenia paralelných trendov uveď najväčší pre-trend, ktorý dáta nevedia vylúčiť, a ukáž, ako sa odhad pod ním pohne. A použi Rothov balíkpretrendsna nahlásenie sily, akú tvoj dizajn reálne má proti hypotetickému trendu — to číslo, ku ktorému sa tento post blíži. Výsledok, čo prežije najhoršie hodnoverné porušenie, je dôveryhodný; ten, čo potrebuje nulové porušenie, nie. - 3. Uprednostni dizajn, ktorý sa o paralelné trendy vôbec neopiera, keď je v hre veľa: randomizovaný A/B test (žiadny predpoklad paralelných trendov na porušenie), alebo synthetic DiD / syntetická kontrola, keď máš jednu ošetrenú jednotku a dlhé, zhodovateľné pre-obdobie.
Prečo to záleží. „Skontrolovali sme pre-trendy" stvrdlo na certifikát čistoty, ktorý recenzenti aj dashboardy berú na prvý pohľad. Pri reálnych dĺžkach panelov je to bližšie k hodu mincou proti jednému porušeniu, na ktorom najviac záleží — a štúdie, čo ním prejdú, nie sú tie bezpečné, sú to tie, ktorých skreslenie bolo príliš tiché na to, aby ho krátky panel počul.
FalzifikátorAk test pre-trendov, alebo moderná alternatíva, dosiahne vysokú silu proti porušeniam so sklonom 0,3 pri šiestich či menej pre-obdobiach, záver o „slabej čistote" padá. Pozývame ten test — je to presne nástroj, ktorý praktici potrebujú a momentálne im chýba.