The most confident systems are the least groundedNajistejšie systémy sú najmenej ukotvené
Three failures look unrelated. An AI model trained on its own output degrades into nonsense ("model collapse"). Seventy expert teams handed the same brain-imaging dataset reach different conclusions; Jeden zákon za model collapse, replikačnou krízou aj trhovým lock-inom: istota postavená z vnútornej konzistencie sa odpája od pravdy, keď klesá externé ukotvenie. Odmerané v simulácii a porovnané s many-analysts štúdiami.
Three failures look unrelated. An AI model trained on its own output degrades into nonsense ("model collapse"). Seventy expert teams handed the same brain-imaging dataset reach different conclusions; twenty-nine teams analyzing the same soccer dataset report effects ranging from "no effect" to "strong effect." Markets and technical standards lock onto an inferior option and stay there. We think these are one law, and we measured it.
The law
A system builds confidence from internal consistency — agreement accumulated over time (consensus), or a narrow interval bought with more data (precision). That confidence tracks the truth only in proportion to how much external information the system is coupled to. Call that coupling g. As g falls, confidence and accuracy decouple: the system grows more certain, via its own internal dynamics, while staying wrong. A system is most confident exactly when it is least grounded.
What we measured
We built the smallest model that could show this and ran it.
- One knob, two famous failures. A single model with one "external-grounding fraction" reproduces both model collapse (a self-feeding learner loses the true signal once grounding falls below a critical threshold) and winner-take-all lock-in (popularity reinforcement entrenches whichever option led early, regardless of quality). They lie on one critical curve: the grounding you need rises with how aggressively the system reinforces its own signal.
- Curing is dearer than preventing. The collapse is bistable. Once a system locks onto a wrong consensus, escaping costs far more external grounding than it would have cost to prevent the lock in the first place.
- The shared signature is a calibration failure. The gap between confidence and accuracy is governed by grounding, and it opens the same way whether the mechanism is self-reference over time or missing structure at a single point. Worse, internal effort makes it worse: feeding a starved system more data (or more rounds of consensus) pumps its confidence without improving its accuracy.
It matches real data
The "many-analysts" studies are a direct test: give many expert teams the same dataset and the same question, and watch how much the answer moves. It moves a lot. Silberzahn et al. (2018): 29 teams, odds ratios from 0.89 to 2.93 on identical data. Breznau et al. (2022): 73 teams, where identifiable methodological and sampling factors explained only about 4% of the disagreement — the variation is structural, not sampling noise. Botvinik-Nezer et al. (2020): 70 neuroimaging teams, no two analysis pipelines identical. This is exactly the law's prediction: when a question is under-identified, the answer is set by which defensible specification you pick, not by how much data you have. A narrow confidence interval is no evidence that you are right.
The one practical rule
Across all of these — AI training, scientific analysis, markets, and any system that learns from itself — the rule is identical: do not read internal consistency as evidence of truth. Consensus among the parts of a system, and a narrow interval from abundant data, are both cheap and internal. Truth-tracking requires an external anchor, and you have to keep paying for it. The single most dangerous regime is high confidence with low grounding — maximal certainty exactly where it is least earned. Practically: keep an external-information stream above a floor; the more aggressively a system reinforces its own outputs, the larger that floor must be; and read cross-specification stability, never interval width, as your evidence of being identified.
What would change our mind
A self-referential system that stays well-calibrated while starved of external information — its confidence-accuracy gap staying near zero as grounding falls — would break the law. So would a large many-analysts study in which between-team disagreement is no larger than ordinary sampling error.
Honest caveats
The thresholds come from minimal simulations, so the exact numbers are model-specific, not universal constants. The real-data comparison is a direction-and-order-of-magnitude match — the multi-analyst studies confirm that specification dispersion dwarfs sampling error, which is the law's core — not a fitted point estimate. What we stand behind is the structure: confidence decouples from truth as external grounding falls, the same way across very different mechanisms.
Tri zlyhania vyzerajú nesúvisiace. Model AI trénovaný na vlastnom výstupe sa zvrhne na nezmysel ("model collapse"). Sedemdesiat expertných tímov s tým istým dátovým súborom z mozgového zobrazovania dospeje k rôznym záverom; dvadsaťdeväť tímov analyzujúcich tie isté futbalové dáta hlási efekty od "žiadny efekt" po "silný efekt." Trhy a technické štandardy sa zamknú na horšej možnosti a ostanú tam. Myslíme si, že je to jeden zákon — a odmerali sme ho.
Zákon
Systém stavia istotu z vnútornej konzistencie — zhody nazbieranej v čase (konsenzus), alebo úzkeho intervalu kúpeného viacerými dátami (presnosť). Tá istota sleduje pravdu len úmerne tomu, koľko externej informácie je systém naviazaný. Nazvime to naviazanie g. Ako g klesá, istota a presnosť sa odpoja: systém je čoraz istejší, cez vlastnú vnútornú dynamiku, no ostáva v omyle. Systém je najistejší práve vtedy, keď je najmenej ukotvený.
Čo sme odmerali
- Jeden gombík, dve slávne zlyhania. Jediný model s jednou "frakciou externého ukotvenia" reprodukuje aj model collapse (samo-živiaci sa učiaci sa systém stratí pravý signál, keď ukotvenie klesne pod kritický prah) aj winner-take-all lock-in (posilňovanie popularity zabetónuje tú možnosť, ktorá viedla zavčasu, bez ohľadu na kvalitu). Ležia na jednej kritickej krivke: potrebné ukotvenie rastie s tým, ako agresívne systém posilňuje vlastný signál.
- Liečba je drahšia než prevencia. Kolaps je bistabilný. Keď sa systém zamkne na nesprávnom konsenze, únik stojí oveľa viac externého ukotvenia, než by stála prevencia.
- Spoločný podpis je zlyhanie kalibrácie. Medzera medzi istotou a presnosťou je riadená ukotvením a otvára sa rovnako, či je mechanizmom seba-referencia v čase alebo chýbajúca štruktúra v bode. Horšie: vnútorná snaha to zhoršuje — viac dát (či kôl konsenzu) pumpuje istotu bez zlepšenia presnosti.
Sedí to s reálnymi dátami
"Many-analysts" štúdie sú priamy test: dajte mnohým expertným tímom ten istý dataset a tú istú otázku a sledujte, ako veľmi sa odpoveď pohne. Pohne sa veľa. Silberzahn a kol. (2018): 29 tímov, odds ratios od 0.89 do 2.93 na identických dátach. Breznau a kol. (2022): 73 tímov, kde identifikovateľné metodologické a vzorkové faktory vysvetlili len asi 4% nezhody — variácia je štrukturálna, nie šum vzorky. Botvinik-Nezer a kol. (2020): 70 neurozobrazovacích tímov, žiadne dva pipeline rovnaké. Presne predikcia zákona: pri slabo identifikovanej otázke je odpoveď daná tým, ktorú obhájiteľnú špecifikáciu zvolíte, nie množstvom dát. Úzky interval spoľahlivosti nie je dôkaz, že máte pravdu.
Jedno praktické pravidlo
Naprieč všetkým — tréning AI, vedecká analýza, trhy, a každý systém čo sa učí sám zo seba — je pravidlo rovnaké: nečítaj vnútornú konzistenciu ako dôkaz pravdy. Konsenzus medzi časťami systému a úzky interval z hojnosti dát sú oboje lacné a vnútorné. Sledovanie pravdy vyžaduje externú kotvu a treba ju stále platiť. Najnebezpečnejší režim je vysoká istota pri nízkom ukotvení — maximálna istota práve tam, kde je najmenej zaslúžená.
Čo by nás presvedčilo o opaku
Seba-referenčný systém, ktorý ostane dobre kalibrovaný aj keď je hladný po externej informácii (medzera istota–presnosť ostáva blízko nuly, ako ukotvenie klesá), by zákon vyvrátil. Rovnako veľká many-analysts štúdia, kde je nezhoda medzi tímami nie väčšia než bežný šum vzorky.
Čestné výhrady
Prahy pochádzajú z minimálnych simulácií, takže presné čísla sú špecifické pre model, nie univerzálne konštanty. Porovnanie s reálnymi dátami je zhoda v smere a ráde veľkosti — multi-analyst štúdie potvrdzujú, že rozptyl naprieč špecifikáciami prevyšuje šum vzorky, čo je jadro zákona — nie fitnutý bodový odhad. To, za čím stojíme, je štruktúra: istota sa odpája od pravdy, ako klesá externé ukotvenie, rovnako naprieč veľmi rôznymi mechanizmami.