Causal Inference Has a Phase Diagram: Even Randomized Experiments Fail Near CriticalityKauzálna inferencia má fázový diagram: aj randomizované experimenty zlyhávajú pri kritickom bode
Near a critical point, even a perfectly randomized experiment overstates the effect — by up to 96%. The bias comes from interference, not confounding. Measured on a lattice.Pri kritickom bode aj dokonale randomizovaný experiment nadhodnotí efekt — až o 96 %. Skreslenie pochádza z interferencie, nie zo zmätenia. Odmerané na mriežke.
The claim. The validity of a treatment-effect estimate is not only a property of your study design — it is a property of the system you are studying. As coupling between units approaches a critical point — the regime where every unit influences every other — even a perfectly randomized experiment produces systematically inflated effect estimates. Design choice (A/B test vs difference-in-differences vs synthetic control) is second-order; distance from criticality is first-order, and almost nobody reports it.
The mechanism. Randomization removes confounding — it does not remove interference. The no-interference assumption (SUTVA: my treatment doesn't touch your outcome) is usually argued once and then quietly assumed forever. But interference is exactly what diverges near a critical point: the correlation length grows, treatment effects propagate system-wide, and the "control" group becomes contaminated by the treatment it was supposed to be isolated from. You randomized perfectly; the system leaked the treatment across your assignment anyway.
The measurement. We simulated a linear-in-means outcome process on a 20×20 lattice — 400 units, randomized treatment of half, true effect 2.0 — and measured the naive difference-in-means estimate as the coupling ρ approaches its critical value:
| ρ / ρ_crit | estimated effect (true = 2.0) | bias |
|---|---|---|
| 0.00 | 2.01 | 0.6% |
| 0.50 | 2.14 | 6.9% |
| 0.80 | 2.49 | 24.6% |
| 0.90 | 2.91 | 45.4% |
| 0.95 | 3.15 | 57.4% |
| 0.99 | 3.93 | 96.4% |
At 99% of critical coupling, a randomized experiment reports roughly double the true effect — with no confounding anywhere in the system. The bias is not a flaw in the randomization; it is the randomization measuring a system that no longer has independent units to compare.
Why the bias explodes near the critical point
Below criticality, units are nearly independent: a treated unit's effect stays local, the control group is genuinely untreated, and difference-in-means is roughly right. As coupling rises, the correlation length — the distance over which one unit's state influences another's — grows. Near the critical point it diverges: a perturbation anywhere reaches everywhere. Your control units are now downstream of your treated units, so the "untreated" baseline drifts up with the treatment, and the gap you measure overstates the true effect. This is the same divergence that drives the most-studied phenomena in complex systems — a vanishing percolation threshold when hubs concentrate, a vanishing epidemic threshold in scale-free networks, the critical slowing-down that precedes a tipping point. Causal estimation inherits the physics: the closer the system sits to its critical point, the less any clean comparison exists to be made.
What to do about it
You cannot randomize your way out of interference, but you can measure your distance from it:
- 1. Report the interference regime, not just the identification strategy. A single line — an estimate of how coupled the units are, or how fast effects propagate — tells a reader whether to trust the number. Its absence is the gap.
- 2. Distrust the most-cited effects in the most-connected systems. Viral consumer markets, contagious financial networks, social platforms at peak connectivity — these are precisely the near-critical regimes where interference is strongest, and precisely where many headline effects are estimated.
- 3. Where you can, design for the regime: cluster-randomize at a scale larger than the correlation length, or model the propagation explicitly rather than assuming it away.
Why it matters. The field spends enormous effort arguing identification — confounders, instruments, parallel trends — and almost none on whether the units being compared are independent enough for any of it to mean what it claims. In a near-critical system the cleanest randomized trial can be the most confidently wrong, because it measures a quantity (a between-group difference) that the system has stopped letting exist.
The falsifierFind or construct a near-critical coupled system where difference-in-means bias does not grow with correlation length — interference that cancels symmetrically, or effects that saturate before propagating. One robust counterexample with measured flat bias near criticality kills the generality of this claim. Our own next test: vary the network topology (scale-free vs lattice) — if the bias curve's shape flips with topology, the "phase diagram" framing overclaims, and we will say so.
Tvrdenie. Platnosť odhadu efektu nie je len vlastnosťou tvojho dizajnu — je vlastnosťou systému, ktorý skúmaš. Keď sa previazanosť medzi jednotkami blíži ku kritickému bodu — režimu, kde každá jednotka ovplyvňuje každú — aj dokonale randomizovaný experiment produkuje systematicky nafúknuté odhady. Voľba dizajnu (A/B vs DiD vs syntetická kontrola) je druhoradá; vzdialenosť od kritického bodu je prvoradá, a takmer nikto ju nereportuje.
Mechanizmus. Randomizácia odstraňuje zmätenie (confounding) — neodstraňuje interferenciu. Predpoklad žiadnej interferencie (SUTVA: moja liečba sa nedotýka tvojho výsledku) sa zvyčajne obháji raz a potom sa ticho navždy predpokladá. Lenže interferencia je presne to, čo pri kritickom bode diverguje: korelačná dĺžka rastie, efekty sa šíria celým systémom, a „kontrolná" skupina sa kontaminuje liečbou, od ktorej mala byť izolovaná. Randomizoval si dokonale; systém ti aj tak prepustil liečbu cez priradenie.
Meranie. Simulovali sme linear-in-means proces na mriežke 20×20 — 400 jednotiek, randomizovaná liečba polovice, skutočný efekt 2,0 — a merali naivný rozdiel priemerov, ako sa previazanosť ρ blíži ku kritickej hodnote:
| ρ / ρ_krit | odhadnutý efekt (skutočný = 2,0) | skreslenie |
|---|---|---|
| 0,00 | 2,01 | 0,6 % |
| 0,50 | 2,14 | 6,9 % |
| 0,80 | 2,49 | 24,6 % |
| 0,90 | 2,91 | 45,4 % |
| 0,95 | 3,15 | 57,4 % |
| 0,99 | 3,93 | 96,4 % |
Pri 99 % kritickej previazanosti randomizovaný experiment nahlási zhruba dvojnásobok skutočného efektu — bez akéhokoľvek zmätenia v systéme. Skreslenie nie je chyba randomizácie; je to randomizácia merajúca systém, ktorý už nemá nezávislé jednotky na porovnanie.
Prečo skreslenie pri kritickom bode exploduje
Pod kritickým bodom sú jednotky takmer nezávislé: efekt ošetrenej jednotky ostáva lokálny, kontrolná skupina je naozaj neošetrená a rozdiel priemerov je zhruba správny. Ako previazanosť rastie, korelačná dĺžka — vzdialenosť, na ktorú stav jednej jednotky ovplyvňuje inú — rastie. Pri kritickom bode diverguje: porucha kdekoľvek dosiahne všade. Tvoje kontrolné jednotky sú teraz po prúde od ošetrených, takže „neošetrená" základňa stúpa spolu s liečbou a medzera, ktorú meriaš, nadhodnocuje skutočný efekt. Je to tá istá divergencia, čo poháňa najštudovanejšie javy v komplexných systémoch — miznúci perkolačný prah pri koncentrácii uzlov, miznúci epidemický prah v scale-free sieťach, kritické spomalenie pred bodom zlomu. Kauzálny odhad dedí fyziku: čím bližšie systém sedí pri svojom kritickom bode, tým menej existuje akékoľvek čisté porovnanie.
Čo s tým
Z interferencie sa randomizáciou nevykľučkuješ, ale svoju vzdialenosť od nej zmerať vieš:
- 1. Reportuj režim interferencie, nielen stratégiu identifikácie. Jeden riadok — odhad, ako previazané sú jednotky, alebo ako rýchlo sa efekty šíria — povie čitateľovi, či číslu veriť. Jeho absencia je tá diera.
- 2. Nedôveruj najcitovanejším efektom v najprepojenejších systémoch. Virálne spotrebiteľské trhy, nákazlivé finančné siete, sociálne platformy na vrchole prepojenosti — to sú presne tie takmer-kritické režimy, kde je interferencia najsilnejšia, a presne tam sa odhaduje veľa titulkových efektov.
- 3. Kde sa dá, navrhuj pre režim: klaster-randomizuj v mierke väčšej než korelačná dĺžka, alebo modeluj šírenie explicitne namiesto predpokladania, že nie je.
Prečo to záleží. Odbor míňa obrovské úsilie na hádky o identifikácii — confoundery, inštrumenty, paralelné trendy — a takmer nič na to, či sú porovnávané jednotky dosť nezávislé na to, aby čokoľvek z toho znamenalo, čo tvrdí. V takmer-kritickom systéme môže byť najčistejší randomizovaný pokus najsebavedomejšie nesprávny, lebo meria veličinu (rozdiel medzi skupinami), ktorú systém prestal nechávať existovať.
FalzifikátorNájdi alebo skonštruuj takmer-kritický previazaný systém, kde skreslenie rozdielu priemerov nerastie s korelačnou dĺžkou — interferencia, čo sa symetricky vyruší, alebo efekty, čo nasýtia skôr, než sa rozšíria. Jeden robustný protipríklad s nameraným plochým skreslením pri kritickom bode zabíja všeobecnosť tohto tvrdenia. Náš ďalší test: meniť topológiu siete (scale-free vs mriežka) — ak sa tvar krivky skreslenia s topológiou prevráti, „fázový diagram" preháňa, a povieme to.