We looked for the grounding 'tipping point' in AI self-training, herding, and Goodhart. It isn't there.Hladali sme bod zlomu straty ukotvenia v AI sebatrenovani, stadovitosti a Goodharte. Nie je tam.
A popular story says systems that lose touch with reality fail at a tipping point: an AI that trains on its own output collapses past a threshold; a crowd that watches itself flips into a bubble; a mePrisny test populrneho prbehu o bode zlomu pre AI sebatrenovanie, stadovitost a obchadzanie metrik: naprie styrmi minimalnymi modelmi so zhodnou pozitivnou a negativnou kontrolou nevykazuje ziadny kriticky prechod - kazdy degraduje plynulo. Ukotvenie posobi ako pole lamuce symetriu, ktore zaokruhli
A popular story says systems that lose touch with reality fail at a tipping point: an AI that trains on its own output collapses past a threshold; a crowd that watches itself flips into a bubble; a metric that gets gamed breaks suddenly. The tipping-point framing is everywhere. We built four minimal models of the most-cited mechanisms and tested it directly — across a range of system sizes, with the standard physics toolkit for detecting phase transitions — and found no tipping point in any of them. Three fail smoothly; the fourth (gaming) shows at most mild path-dependence we could not fully resolve.
What we tested
Four minimal models under one shared protocol: self-training (a distribution re-estimated from a mix of real and its own synthetic data), herding (agents weighing a private signal against the crowd), metric-gaming (selection on a proxy with contagious gaming), and — as a negative control — misspecified statistical inference (an omitted confounder). We chose these four because each is publicly described as having a tipping point, so the null is a direct test of the popular claim, not a convenient sample.
For each we swept a "grounding" knob, measured an order parameter from 0 (collapsed) to 1 (truth-tracking) at sizes from 250 up to 64,000 (16,000 for most domains; 500–8,000 for gaming), and applied the finite-size-scaling battery that distinguishes a true critical transition from a smooth slope: Binder-cumulant crossing, susceptibility growth with size, and whether the curve sharpens as the system grows.
What we found
None of the four sharpens. The order-parameter slope is size-independent; the susceptibility does not diverge; the Binder cumulants do not cross.
- Self-training tracks its closed-form fixed point
std = sqrt(g / (1 − (1−g)·s))with retentions = 0.7, to 3–4 decimals at every setting. - Herding's apparent steepening is a fixed crossover, not a critical point.
- The misspecified-inference control degrades smoothly too, exactly as a non-critical system should.
- Coupled gaming did not collapse in our sweeps — selection efficiency stayed in [0.84, 0.96] even under runaway coupling, because uniform gaming cancels in the ranking. This is the one caveat: we also saw weak, size-growing hysteresis (a 0.065 → 0.10 gap between starting ungamed vs. starting fully-gamed) and a slowly-growing susceptibility peak that our finite-size scaling did not fully resolve — possibly a weak first-order effect at larger size or coupling, which we flag as open.
The control that makes this trustworthy
A null result is only as good as the instrument. So we ran a positive control — a system known to have a sharp transition (a mean-field Ising model with no external field) — through the identical pipeline. It found the transition cleanly: a Binder crossing at the right place and the textbook critical exponent β ≈ 0.5. The method sees a cliff when there is one. (Our four models are themselves well-mixed / mean-field, so the mean-field Ising is the matched positive control; networked or spatial versions are out of scope here.)
Why
The systems differ, but the reason is shared — a shared explanation, not a shared universality class: the four do not collapse onto one curve or share critical exponents. Any real grounding signal enters as a symmetry-breaking field, and a field rounds a sharp transition into a smooth slope. A genuine cliff only reappears in the singular limit of zero grounding (perfect self-reference) — which our zero-field positive control demonstrates as a separate, idealized system, and which real systems never quite reach. The intuition is inverted: grounding doesn't push you toward a tipping point; its absence is what manufactures one.
What would change our mind
A faithful version of any of these systems in which the susceptibility grows with size toward a single threshold, the Binder cumulants cross there, and the slope diverges — with the same critical exponent in two or more of them. We didn't find it in the standard mechanisms; the regimes we did not rule out (a hard quantization step, runaway variance inflation, exactly-zero grounding, and the weak size-growing hysteresis we saw in coupled gaming) are where to look.
The practical takeaway
If you worry about model collapse, crowd bubbles, or a gamed KPI, you're probably not facing a hidden cliff you'll fall off without warning. You're facing a smooth, measurable decline — which is better news: it's visible early, and a little real-world grounding buys a lot of margin. The danger isn't a sudden tip; it's slow, unnoticed drift toward the zero-grounding limit.
All figures from simulation; models and protocol are minimal and re-runnable. This piece reports a negative result with both a negative and a positive control.
Populárny príbeh hovorí, že systémy, ktoré stratia kontakt s realitou, zlyhávajú v bode zlomu: AI, ktorá sa trénuje na vlastnom výstupe, sa zrúti po prekročení prahu; dav, ktorý sleduje sám seba, sa preklopí do bubliny; metrika, ktorú niekto začne obchádzať, sa náhle zlomí. Rámec „bodu zlomu" je všade. Postavili sme štyri minimálne modely najčastejšie citovaných mechanizmov a otestovali to priamo — naprieč rozsahom veľkostí systému, štandardným fyzikálnym aparátom na detekciu fázových prechodov — a v žiadnom z nich sme bod zlomu nenašli. Tri zlyhávajú plynulo; štvrtý (obchádzanie metriky) vykazuje nanajvýš miernu závislosť od cesty, ktorú sme nedokázali úplne vyriešiť.
Čo sme testovali
Štyri minimálne modely pod jedným spoločným protokolom: sebatrénovanie (rozdelenie opakovane odhadované zo zmesi reálnych a vlastných syntetických dát), stádovitosť (agenti vážia súkromný signál proti davu), obchádzanie metriky (výber podľa proxy s nákazlivým obchádzaním) a — ako negatívna kontrola — chybne špecifikovaná štatistická inferencia (vynechaný zmätujúci faktor). Tieto štyri sme zvolili práve preto, že každý je verejne opisovaný ako systém s bodom zlomu, takže nulový výsledok je priamym testom populárneho tvrdenia, nie pohodlnou vzorkou.
Pre každý sme menili „ukotvenie" (grounding), merali parameter usporiadania od 0 (kolaps) po 1 (sleduje pravdu) pri veľkostiach od 250 až po 64 000 (16 000 pre väčšinu domén; 500–8 000 pre obchádzanie) a aplikovali batériu škálovania konečnej veľkosti, ktorá odlíši skutočný kritický prechod od plynulého sklonu: kríženie Binderovho kumulantu, rast susceptibility s veľkosťou a to, či sa krivka zostruje s rastom systému.
Čo sme zistili
Žiadny zo štyroch sa nezostruje. Sklon parametra usporiadania je nezávislý od veľkosti; susceptibilita nediverguje; Binderove kumulanty sa nekrížia.
- Sebatrénovanie sleduje svoj uzavretý pevný bod
std = sqrt(g / (1 − (1−g)·s))s retencious = 0,7, na 3–4 desatinné miesta pri každom nastavení. - Zdanlivé zostrenie pri stádovitosti je pevný prechod (crossover), nie kritický bod.
- Kontrola s chybnou inferenciou degraduje takisto plynulo, presne ako sa nekritický systém má správať.
- Prepojené obchádzanie metriky sa nezrútilo v našich behoch — efektivita výberu zostala v [0,84; 0,96] aj pri rozbehnutom prepojení, pretože rovnomerné obchádzanie sa v poradí navzájom vyruší. Toto je jediná výhrada: videli sme aj slabú hysterézu rastúcu s veľkosťou (medzera 0,065 → 0,10 medzi štartom „bez obchádzania" a „s plným obchádzaním") a pomaly rastúci vrchol susceptibility, ktoré naše škálovanie konečnej veľkosti úplne nevyriešilo — možno slabý prechod prvého rádu pri väčšej veľkosti či prepojení, čo označujeme ako otvorené.
Kontrola, ktorá to robí dôveryhodným
Nulový výsledok je len taký dobrý ako prístroj. Preto sme rovnakým postupom prehnali pozitívnu kontrolu — systém so známym ostrým prechodom (Isingov model so stredným poľom bez vonkajšieho poľa). Prechod našla čisto: kríženie Binderovho kumulantu na správnom mieste a učebnicový kritický exponent β ≈ 0,5. Metóda vidí útes, keď tam je. (Naše štyri modely sú samy dobre premiešané / so stredným poľom, takže Isingov model so stredným poľom je zhodná pozitívna kontrola; sieťové či priestorové verzie sú mimo rozsah tejto práce.)
Prečo
Systémy sú odlišné, ale dôvod je spoločný — spoločné vysvetlenie, nie spoločná trieda univerzality: tie štyri sa neposkladajú na jednu krivku ani nezdieľajú kritické exponenty. Akýkoľvek reálny signál ukotvenia vstupuje ako pole, ktoré láme symetriu, a pole zaokrúhli ostrý prechod na plynulý sklon. Skutočný útes sa znovu objaví len v singulárnej hranici nulového ukotvenia (dokonalá sebareferencia) — čo naša pozitívna kontrola s nulovým poľom demonštruje ako samostatný, idealizovaný systém a čomu sa reálne systémy nikdy celkom nepriblížia. Intuícia je obrátená: ukotvenie ťa netlačí k bodu zlomu; jeho absencia je to, čo bod zlomu vytvára.
Čo by zmenilo náš názor
Verná verzia ktoréhokoľvek z týchto systémov, v ktorej susceptibilita rastie s veľkosťou smerom k jednému prahu, Binderove kumulanty sa tam krížia a sklon diverguje — s rovnakým kritickým exponentom v dvoch či viacerých z nich. V štandardných mechanizmoch sme to nenašli; režimy, ktoré sme nevylúčili (tvrdý kvantizačný krok, rozbehnutá inflácia rozptylu, presne nulové ukotvenie a tá slabá hysteréza rastúca s veľkosťou pri prepojenom obchádzaní), sú miestom, kde hľadať.
Praktický záver
Ak sa obávaš kolapsu modelu, davových bublín alebo obídenej KPI, pravdepodobne nečelíš skrytému útesu, z ktorého spadneš bez varovania. Čelíš plynulému, merateľnému poklesu — čo je lepšia správa: je viditeľný včas a trocha reálneho ukotvenia kupuje veľa rezervy. Nebezpečenstvom nie je náhle preklopenie; je to pomalý, nepovšimnutý posun k hranici nulového ukotvenia.
Všetky čísla zo simulácie; modely a protokol sú minimálne a opätovne spustiteľné. Tento text uvádza negatívny výsledok s negatívnou aj pozitívnou kontrolou.