Vaša AI možno trénuje sama na sebe — odmerali sme dva spôsoby, ako sa to zle skončí
Kolaps modelu, odmeraný. Každý systém, ktorý sa učí z vlastného výstupu, je podivná slučka. Postavili sme najmenší spustiteľný model a našli sme dva spôsoby zlyhania — a dve páky, ktoré im bránia: ~5% kotva reálnych dát stiahne mieru kolapsu z ~94% pod ~10%, a udržanie exponentu sebadôvery p≤1 zabráni trvalému zamknutiu. Obe polovice sú etablované výsledky (Shumailov 2024; Arthur 1989) — pridávame spustiteľné zabalenie.
Tvrdenie. Každý systém, ktorý sa učí z vlastného výstupu, je podivná slučka — model pretrénovaný na syntetických dátach, agent, ktorého pamäť sú jeho vlastné minulé odpovede, RAG sklad indexujúci predchádzajúce generácie systému, odporúčací systém kŕmený klikmi, ktoré sám vytvoril. V roku 2026 to prestalo byť výskumnou kuriozitou: kolaps modelu je teraz zdokumentovaný produkčný problém. Tak sme postavili jeho najmenší poctivý model a odmerali dva spôsoby, ako sebareferenčný systém zlyhá — a dve páky, ktoré každému bránia.
Zlyhanie 1 — kolaps (zákon zmesi dát). Pretrénuj model rekurzívne na jeho vlastných výstupoch a jeho diverzita sa vytratí — „kliatba rekurzie" zdokumentovaná Shumailovom et al. (Nature 2024). V našich minimálnych simuláciách — dvoch nezávislých toy modeloch, ktoré sa zhodujú — sa bez reálnych dát ~92–94% behov zrútilo na takmer nulovú diverzitu. Liekom je minimálny podiel reálnych/externých dát, a ten podiel je nízky: v nefiltrovanej resamplovacej slučke (najhorší prípad; verifier/selection filtrovanie ho vie zvrátiť) ~5% kotva reálnych dát stiahne mieru kolapsu na ~6–10%, a 20% to vyčistí (0–1%) — a recenzovaná teória ten nízky podiel podporuje: iteratívne pretrénovanie je stabilné práve vtedy, keď je podiel reálnych dát dosť veľký (Bertrand et al. 2024). Pointa nie je "nikdy nepoužívaj syntetické dáta" — ale "nikdy nimi nenahrádzaj reálne dáta." Pridávaj, nenahrádzaj — presne to, o čom Gerstgrasser et al. (2024) dokazujú, že udržuje chybu ohraničenú.
Zlyhanie 2 — zamknutie (increasing-returns lock-in, aplikované na sebadôveru). Ak systém váži svoje vlastné predchádzajúce presvedčenie rýchlejšie, než ho čerstvé dôkazy stíhajú opraviť (exponent sebadôvery p > 1), pevný zlomok ľubovoľného počiatočného skreslenia sa nikdy nezmyje. Nie je to nový zákon — je to klasický increasing-returns lock-in (Arthur 1989; Pemantle 2007), ten istý dôvod, prečo stochastická aproximácia potrebuje, aby súčet krokov divergoval, aby zabudla, kde začala. „Uzavretá forma" je len teoréma o nekonečnom súčine: ∏(1 − 1/(n+1)p) je nenulový iff p > 1, teleskopuje presne na 1/2 pri p = 2, ≈0,81 pri p = 3, ≈0,18 pri p = 1,5. Tie čísla sú učebnicová identita pre zvolenú váhu 1/np — nie objavená konštanta, a ten rozvrh je predpoklad, nie nameraná vlastnosť reálneho systému. Naozaj použiteľný je len ten znak: vlož známe skreslenie, prikrmuj nestrannými dátami — ak neklesá, tvoje update pravidlo je super-lineárne sebavážiace.
Poctivá výhrada. Sú to minimálne modely, nie tvoj reálny tréning — ale sú spustiteľné, prahy sú reprodukovateľné a recenzovaná literatúra sa zhoduje na lieku: miešanie/akumulovanie reálnych so syntetickými dátami dokázateľne ohraničuje chybu (Gerstgrasser et al. 2024), kým nahradenie reálnych syntetickými ju nafukuje bez hraníc (Shumailov et al. 2024). Obe polovice sú etablované výsledky, nie naše objavy — kolaps (Shumailov 2024; Gerstgrasser 2024; Alemohammad et al. 2024) a lock-in (Arthur 1989; Pemantle 2007); pridávame len spustiteľné zabalenie. Dve ďalšie poctivé výhrady: (1) číslo ~94% kolapsu je nefiltrovaná slučka (resampling bez filtra kvality) — režim, ktorý málo reálnych pipelinov beží; výber syntetických výstupov (verifier filtering, best-of-N, RL s reward modelom — preto sa systémy ako AlphaZero zlepšujú pri takmer-čistej self-generácii) vstrekuje vonkajší signál a môže kolaps zvrátiť, čo naša jediná páka external_fraction nemodeluje. (2) Tie dve zlyhania sú oddelené mechanizmy (variancia zničená konečným šumom vs. deterministická kontrakcia priemerného biasu), nie dve tváre jedného zákona. Cieľom je premeniť "kolaps modelu" z pocitu na číslo, na ktoré vieš nastaviť prah.
Kontrolu sme zabalili ako selfref: jeden súbor bez závislostí, plus MCP server, aby sa agent mohol — predtým, než sa pretrénuje sám na sebe — opýtať: idem skolabovať alebo sa zamknúť? Je open-core a zadarmo, súrodenec našich nástrojov na pamäť, RAG-čerstvosť a štatistiku. Jedno volanie, audit(external_fraction, self_trust_p), ti dá verdikt a opravu.
FAQ
Čo sa stane, keď sa AI trénuje na vlastnom výstupe? Dve odlišné zlyhania: collapse (zákon zmesi dát), kde výstup degraduje na nezmysel, a lock (zákon sebadôvery), kde systém prehnane dôveruje vlastným minulým odpovediam a prestane sa opravovať voči realite.
Dá sa zabrániť model collapse? V našich minimálnych modeloch áno — lacno. V nefiltrovanej resamplovacej slučke (najhorší prípad; verifier/selection filtrovanie ho zvráti) ~5% kotva reálnych či externých dát stiahne mieru kolapsu z ~94% na ~6–10% a 20% to spraví čisto (0–1%). Potrebné dno reálnych dát je prekvapivo nízke — a recenzovaná teória s tým súhlasí (Bertrand et al. 2024).
Čo je „lock“ sebadôvery? Keď je pamäť systému jeho vlastné predošlé odpovede, zamkne sa na ne — každý cyklus berie včerajší výstup ako dôkaz, takže chyby sa kumulujú namiesto opravy vonkajším signálom.
Kde sa trénovanie na sebe objavuje? V akejkoľvek strange loop: model pretrénovaný na syntetických dátach, agent, ktorého pamäť sú jeho vlastné minulé odpovede, alebo RAG store indexujúci predošlé generácie systému.