Daň za overenie: rýchlosť AI sa mení na dôveru len tam, kde sa výstup dá overiť

Rýchlejší pracovník je produktívnejší len vtedy, ak môžeš jeho práci dôverovať bez toho, aby si ju robil znova. Pri AI je to celá hra: model, čo odpovie za sekundu, ti nič neušetrí, ak musíš minútu kontrolovať, či je odpoveď správna. Číslo, ktoré naozaj rozhoduje, teda nie je rýchlosť ani presnosť na prvý pokus — je to reziduálna chyba po overení: z odpovedí, ktoré AI pokazí, koľko ich prejde kontrolou a dorazí k tebe stále zlých. Odmerali sme to, na lokálnych modeloch plus frontier modeli, bežateľnými testami.

Časť 1 — sebakontrola zachytí len asi tretinu ťažkých chýb

Populárna nádej je, že model si vie "skontrolovať vlastnú prácu". Vie — ale len na správnom type úlohy. Nechali sme model odpovedať a potom overiť vlastnú odpoveď, na úlohách od lacno-overiteľných po otvorené:

Na overiteľnej úlohe sebakontrola zachytí 100% chýb a reziduál je nula — rýchly výstup sa stáva dôveryhodným. Na ťažkom uvažovaní zachytí len asi tretinu (potvrdené pri n=120: priemerný záchyt 0.26). Po tom, čo si model "skontroloval prácu", ~30% jeho odpovedí na ťažké uvažovanie je stále zlých — a on verí, že sú správne.

Časť 2 — silnejší model v tomto nie je lepší

Iste, schopnejší model sa skontroluje lepšie? Pustili sme tú istú sebakontrolu na silnom frontier modeli (glm-5.2). Zachytil nie viac vlastných chýb v ťažkom uvažovaní než malý lokálny model — v našom behu menej (~0.19 vs ~0.34), ale pri n=25 na úlohu sa oba prekrývajú v intervaloch spoľahlivosti a vyššia nameraná chyba glm-5.2 je čiastočne prísnym hodnotením jeho formátu, takže netvrdíme, že je naozaj horší. Jasné je to, čo sa nestalo: schopnosť nekúpila viac sebapoznania (ani raz neoznačil vlastnú odpoveď za zlú v n=25 — nulový počet primalý na to, aby bol vlastnosťou). Toto je publikovaný výsledok, nie nový: LLM sa nevedia spoľahlivo samy opraviť v uvažovaní bez externej spätnej väzby (Huang et al., ICLR 2024). Nádej, že "lepšie modely sa samy opravia do dôveryhodnosti", nie je podložená presne na tej práci, kde by na tom záležalo.

Časť 3 — ani druhý, nezávislý model to nezachráni

Ak sa model nevie skontrolovať sám, zaplatíme nezávislý? Nechali sme silný frontier model skontrolovať odpovede malého modelu. Nezávislý kontrolór zachytil nie viac chýb než vlastná sebakontrola modelu (~0.23 vs ~0.34, opäť v rámci šumu pri n=25). Dôvod je motor pod tým všetkým: chyby LLM korelujú naprieč rodinami modelov — iný model je slepý na mnohé z tých istých ťažkých otázok, takže prikyvuje vierohodne vyzerajúcim zlým odpovediam. Toto je už zdokumentované: modely sa v ~60% prípadov zhodnú, keď sú obidva zlé, a presnejšie modely majú viac korelovaných chýb (Kim et al., ICML 2025). Žiadna kombinácia modelov — sám, silnejší-sám či nezávislý-a-silnejší — neposunula záchyt chýb v ťažkom uvažovaní jasne nad ~1/3.

Časť 4 — kľúč: overiteľnosť, nie obtiažnosť

Doteraz "ťažké" a "neoveriteľné" chodili spolu — aritmetika bola ľahká aj overiteľná, uvažovanie ťažké aj neoveriteľné. Čo z toho daň poháňa? Postavili sme rozhodujúci kontrolný experiment: úlohu, ktorá je ťažká na vyriešenie, ale ľahká na overenie — hľadanie čísla s obmedzeniami ("nájdi 3-ciferné číslo, ktorého číslice dávajú súčet S, deliteľné D, danej parity"). Model musí hľadať, aby ho vyriešil, a na prvý pokus zlyhal v 35% prípadov — naozaj ťažké. Lenže každé obmedzenie sa dá mechanicky overiť a sebakontrola zachytila 100% chýb. Reziduál: nula.

Poctivo čítané, toto potvrdzuje rámec, nie ho objavuje. „Mechanicky overiteľná" úloha je taká, čo má spoľahlivý lacný verifikátor — presne to, čo formalizuje NP (Cook–Levin, 1971): riešenia môžu byť ťažké na vyrobenie, no lacné na overenie. Úloha s takým verifikátorom má nulový reziduál z konštrukcie, takže tento kontrolný test je takmer definičný. Napriek tomu izoluje premennú čisto: daň riadi to, či existuje lacná ground-truth kontrola — nie to, aké ťažké bolo odpoveď vyrobiť.

Vzor

Rýchlosť AI sa mení na dôveru len tam, kde sa výstup dá lacno overiť — a v našich testoch daň nesplatí schopnosť, ale overiteľnosť.

Všade, kde sa odpoveď dá lacno overiť (aritmetika, kód čo zbehne, obmedzenie čo sa dá prepočítať, fakt s vyhľadaním), sa zrýchlenie AI mení na dôveryhodný výstup bez ohľadu na to, aké ťažké bolo ho vyrobiť. Všade, kde sa výstup nedá lacno overiť — otvorené uvažovanie, úsudok, syntéza — existuje pretrvávajúca daň za overenie ~30% reziduálnej chyby (n = 25–120, dva modely), ktorú náš silnejší model neznížil a druhý model neodstránil — v súlade s publikovaným zistením, že vnútorná sebakorekcia nezatvorí medzeru v uvažovaní (Huang et al. 2024). Dva modely z toho nespravia škálovací zákon, takže ju nenazývame neodstrániteľnou; ale na tejto práci ju musí zaplatiť človek, alebo sa jej vyhnúť tým, že prácu obmedzíš na overiteľnú formu.

Čo s tým reálne robiť

• Pri overiteľnej práci dôveruj zrýchleniu. Spáruj model s lacným automatickým overením (spusti kód, prepočítaj obmedzenie, vyhľadaj fakt) a posielaj ďalej — reziduál je naozaj blízko nuly.
• Pri otvorenej ťažkej práci započítaj ľudskú kontrolu ako fixný náklad. V našich testoch bola pretrvávajúca; nečakaj, že ju lepší alebo druhý model odstráni. Zisk z produktivity je reálny, ale stropovaný overením, nie modelom.
• Nekupuj "druhý názor" od iného modelu na úlohách so zdieľanou slepou škvrnou. Zachytí menej chýb než vlastná kontrola modelu, lebo slepé škvrny sú zdieľané.
• Kde sa dá, preveď neoveriteľnú prácu na overiteľnú formu — vynúť medzikroky, žiadaj prepočítateľný artefakt, ukotvi odpoveď v overiteľnom zdroji. Toto je process supervision (Lightman et al., 2024) a funguje z konkrétneho dôvodu: externý kanál — spustenie kódu, vyhľadaný zdroj, mechanicky overiteľný medzikrok — nie je ťahaný z tréningovej distribúcie modelu, takže nezdieľa slepú škvrnu, ktorú zdieľa druhý model. To hýbe reziduálom, nie väčší model.

Otvorená otázka. „Neoveriteľné" tu naozaj znamená „bez lacného ground-truth kanála pri inferencii" — MMLU-Pro a multi-hop položky majú zlaté odpovede, veď sme podľa nich hodnotili. Reziduál teda môže byť vlastnosťou verifikačného kanála, nie samotného ťažkého uvažovania: prežije tých ~30%, keď verifikátor môže konať — spustiť kód, vyhľadať zdroj, rozložiť na mechanicky overiteľné tvrdenia — namiesto len prečítania vlastnej odpovede? To je test, čo by sme spustili ďalej, a tam sa daň pravdepodobne spláca.

Výhrady a prior art: merané na lokálnom modeli (qwen3-coder:30b) a jednom frontier modeli (glm-5.2); n = 25–60 na úlohu (potvrdené bunky n = 60; hľadanie s obmedzeniami n = 40); prísne automatické hodnotenie. Pri týchto n sa cross-model záchyty (~0.34 / ~0.19 / ~0.23) prekrývajú v 95% intervaloch spoľahlivosti, takže poradie modelov nie je štatisticky preukázané — uvádzame ho, ale neopierame sa o „silnejší je horší", a vyššia chyba frontier modelu je čiastočne prísnosťou formátu/hodnotenia. „Záchyt" znamená, že model označí vlastnú odpoveď za zlú; „reziduál = chyba-na-prvý-pokus × (1 − záchyt)" je identita, nie nezávisle meraná konštanta. Toto je meraná LLM inštancia známych výsledkov, nie nový zákon: generation–verification asymetria je definícia NP (Cook–Levin 1971); zlyhanie vnútornej sebakorekcie bez externej spätnej väzby je Huang et al. (ICLR 2024); korelované chyby naprieč rodinami je Kim et al. (ICML 2025); „daň za overenie" je ekonómami popísaná costly state verification (Townsend 1979). Každé číslo pochádza z bežateľného experimentu — probe (protokol, výsledky, intervaly spoľahlivosti) je na research/probes/verification_tax.

FAQ

Čo je verification tax pri AI? Rýchlejší AI pracovník pomôže len ak vieš jeho výstupu veriť bez prerábania. Keď musíš prácu znova overovať, zisk z rýchlosti sa zdaní — a pri ťažkých, neoveriteľných úlohách je daň strmá.

Vie AI spoľahlivo overiť vlastné odpovede? Len keď je výstup lacno overiteľný. Pri aritmetike self-verification zachytí 1.00 chýb (zvyšok 0.00). Pri ťažkých vedomostiach (MMLU-Pro) zachytí len 0.17–0.36 (zvyšok ~0.28); pri multi-hop QA ~0.33–0.36 (zvyšok ~0.3).

Overuje silnejší model lepšie? Nie lepšie. Žiadny stack — vlastný, silnejší vlastný, ani nezávislý-a-silnejší model — neposunul zachytávanie chýb pri ťažkom uvažovaní jasne nad ~1/3. Náš jediný frontier beh (glm-5.2) skóroval nižšie, ale pri n=25 je poradie modelov v rámci šumu a jeho chyba je čiastočne prísne hodnotenie, takže netvrdíme „silnejší je horší". Chyby LLM korelujú naprieč rodinami (Kim et al. 2025), takže nezávislý kontrolór zdieľa tie isté slepé škvrny.

Aký je dôsledok pre používanie AI? Rýchlosť AI sa vyplatí tam, kde je overenie lacné. Pri ťažkom uvažovaní počítaj s pretrvávajúcim nákladom na overenie namiesto predpokladu, že self-checking medzeru zatvorí.

Súvisiaci výskum

• Viac vzoriek, horšie odpovede: kedy best-of-N zlyhá
• Diverzita je šum pre odpovede, signál pre nápady
• Najsebavedomejšie systémy sú najmenej ukotvené