Kedy môže agent veriť vlastnej istote pri abstinencii?
Má agent veriť vlastnej verbalizovanej istote pri rozhodnutí, kedy sa zdržať? Odmerané na úlohe odolnej voči kontaminácii naprieč tiermi: jednorázová verbalizovaná istota sotva prekoná hod mincou pod frontierom (čiastočne preto, že saturuje), rastie so schopnosťou, no ostáva task-závislá (stredný model dorovná frontier na faktickom SimpleQA), a aj frontier strop na reálnom QA je skromný. Spustiteľné premeranie známeho výsledku „kalibrácia rastie so schopnosťou" — praktická páka je rozptyl zo samplingu alebo externá brána vážená cenou chyby.
Krátka verzia. Bežný predpoklad pri návrhu agentov je, že vlastná istota modelu mu povie, kedy konať a kedy sa zdržať — odpovedz ak si istý, zdrž sa ak nie. Otestovali sme lacnú verziu tohto signálu — verbalizovanú, jednorázovú istotu — na úlohe odolnej voči kontaminácii. Na aritmetike istota slabého či stredného modelu sotva oddelí správne od nesprávneho (AUROC ~0,50), kým istota jedného frontier modelu správnosť sleduje dobre (AUROC ~0,90, no len na n=48, 95% CI [0,81; 0,99]). Dva poctivé háčiky rozbíjajú čistý príbeh: tých 0,50 pri slabom modeli je čiastočne artefakt saturácie — tie modely hovoria ~100 % na takmer všetko, a sampling signál diskrimináciu obnoví aj im (~0,97 na aritmetike) — a na ťažšom faktickom benchmarku (SimpleQA, nižšie) sa gradient splošťuje: stredný model dorovná frontier (oba 0,74). Takže poctivé čítanie je užšie než „len frontier môže veriť sebe": verbalizovaná jednorázová istota je slabý signál na abstinenciu, ktorý rastie so schopnosťou, ale je task-závislý, a toto premeriava známy výsledok — kalibrácia a sebapoznanie rastú so schopnosťou (Kadavath 2022, Xiong 2023). Probe aj surové per-item dáta sú verejné, takže každé číslo sa dá overiť.
Nastavenie
Chceme jednu otázku: znamená vyššia istota reálne vyššiu šancu na správnosť? Čistý spôsob merania je AUROC istoty voči správnosti — pravdepodobnosť, že správna odpoveď dostala vyššiu istotu než nesprávna. 0,5 znamená, že istota nenesie žiadny signál (nedá sa prahovať na abstinenciu); 1,0 znamená dokonalé oddelenie správneho od nesprávneho.
Úloha je viackrokový celočíselný výpočet stúpajúcej obťažnosti — generovaný z náhodných čísel, takže je odolný voči kontaminácii (žiadny model si odpovede nezapamätal) a hodnotený presne. Každá položka: model vráti odpoveď a istotu (0–100, jeho vlastnú pravdepodobnosť správnosti).
Jeden metodologický bod dôležitý pre dôveru vo výsledok: AUROC sa počíta len na položkách, kde model vydal reálnu, sparsovanú istotu — parse-zlyhania sú vylúčené, nie defaultnuté. (Skoršia verzia analýzy defaultovala nesparsované odpovede na istotu 0,5-a-zle, čo môže nafúknuť AUROC tým, že oddeľuje sparsované od nesparsovaných namiesto správne od nesprávneho. Zachytili sme to a opravili; čísla nižšie sú čistá verzia.)
Výsledok na aritmetike: diskriminácia rastie so schopnosťou
| model | tier | čisté chyby | nadmerná istota (conf − acc) | AUROC (istota → správnosť) |
|---|---|---|---|---|
| qwen2.5:7b | slabý | 51 | +0,72 | 0,50 |
| qwen3-coder:30b | stredný | 66 | +0,84 | 0,54 |
| glm-5.2 | frontier | 16 | +0,19 | 0,73 * |
| claude-sonnet-4-6 | frontier | 23 | +0,02 | 0,903 |
Slabý a stredný model vydávajú maxnutú istotu (~1,0) takmer na všetkom, vrátane nesprávnych odpovedí (slabý model vrátil presne 1,0 na všetkých 71 čistých položkách) — takže ich verbalizovaná istota nedokáže oddeliť správne od nesprávneho (AUROC ≈ 0,5) a sú extrémne nadmerne sebaistí (+0,7 až +0,8). Jeden poctivý háčik: pri saturovanej škále istoty je tých 0,5 čiastočne degenerovaný odčítok, nie dôkaz, že model nemá vnútornú neistotu — sampling signál diskrimináciu obnoví tým istým modelom (pozri multi-sample poznámku nižšie). Frontier model je takmer dokonale kalibrovaný (nadmerná istota +0,02) a jeho istota sleduje správnosť (AUROC 0,90): v tomto behu dal asi 2 % istoty na väčšinu svojich zlých odpovedí a asi 77 % na správne. Čítaj tú 0,90 aj s jej šírkou: je na n = 48 (25 správnych / 23 zlých), 95% CI ≈ [0,81; 0,99] — jasne nad čiarou hodu mincou, ale bodový odhad, nie presná konštanta, a stojí na jednom čistom frontier modeli. Druhý frontier model, glm-5.2, tiež diskriminuje (AUROC 0,73), ale na 34 % položiek nevydal sparsovateľnú istotu (vylúčenie, čo môže jeho skóre nadhodnotiť), takže za čistú kotvu berieme Claude — ktorý vydal reálnu istotu vždy.
Čo to znamená v praxi (risk–coverage)
Ten istý výsledok bez žargónu: ak model odpovie len na otázky, kde si je najistejší, stúpne mu presnosť? Pri slabom modeli nie — vybrať jeho najistejšiu polovicu nie je o nič lepšie než odpovedať na všetko. Pri frontier modeli presnosť prudko stúpa a vieš bezpečne odpovedať na veľkú časť pri vysokej presnosti:
| model | odpovedz na všetko | najistejšia polovica | najistejšia štvrtina | podiel pri ≥90% presnosti |
|---|---|---|---|---|
| qwen2.5:7b (slabý) | 28% | 28% | 28% | ~1% |
| qwen3-coder:30b (stredný) | 15% | 15% | 15% | ~0% |
| glm-5.2 (frontier) | 80% | 93% | 100% | 63% |
| claude-sonnet-4-6 (frontier) | 52% | 79% | 92% | 44% |
Toto je operačná verzia AUROC tabuľky vyššie: AUROC zhrňuje, či istota radí správnosť; risk–coverage ukazuje, čo tým získaš — koľko vieš odpovedať a pri akej presnosti, ak prahuješ na vlastnú istotu modelu. Pod frontierom prahovanie neprinesie nič; na frontieri veľa.
Ťažší test: SimpleQA (n=150)
Aritmetika je odolná voči kontaminácii, ale je vypočítateľná — model si odpoveď vie odvodiť, čo môže zveličovať, ako čisto istota sleduje správnosť. Tak sme ten istý probe spustili na SimpleQA (zámerne ťažký krátko-odpoveďový faktický benchmark od OpenAI), kde sa modely mýlia na väčšine položiek a čísla sú robustné (AUROC malých modelov už nestojí na hŕstke správnych prípadov). Verbalizovaná istota plus multi-sample signál (vzorkuj N=5, zhoda odpovedí), pri n=150:
| model | bázová presnosť | verbalized AUROC | multi-sample AUROC | najistejšia štvrtina presn. | podiel pri ≥90% |
|---|---|---|---|---|---|
| qwen2.5:7b (slabý) | 5% | 0,47 (≈ náhoda) | 0,57 | 6% | 0% |
| qwen3-coder:30b (stredný) | 8% | 0,74 | 0,63 | 21% | 0% |
| glm-5.2 (frontier) | 23% | 0,74 | 0,71 | 62% | 5% |
Toto spresňuje aritmetický headline dvoma poctivými spôsobmi. Po prvé, verbalizovaná diskriminácia nie je čistý gradient slabý→stredný→frontier: 7B model je stále na úrovni náhody (0,47), ale 30B model dorovnáva frontier v surovom AUROC (oba 0,74). Diskriminácia sa zapne nad ~7B a je sama task-závislá (ten istý 30B mal na aritmetike len 0,54). Po druhé, robustný gradient schopnosti je operačný: prahovanie na najistejšiu štvrtinu zdvihne presnosť 5% → 21% → 62% naprieč tiermi a len frontier vie odpovedať na nejaký podiel pri ≥90% presnosti. Stredný model diskriminuje, no aj tak nevie prahovať na použiteľnú presnosť, lebo nevie dosť — diskriminácia nie je to isté čo použiteľná abstinencia. To je argument pre externý retrieval / grounding aj na modeli, ktorého istota správne radí. (Jedna poctivá poznámka ku kotvám: SimpleQA beh pokrýva slabý / stredný / glm-5.2 — Claude sme na SimpleQA nespustili, takže 0,90 stojí len na aritmetike a žiaden jediný model nekotví zároveň vrchol aritmetického gradientu aj ťažší faktický test.)
Pozn. k multi-sample signálu: na aritmetike sampling-konzistencia silno obnovila diskrimináciu (AUROC ~0,97 aj na malých modeloch). Na SimpleQA nie (0,57–0,71) — opätovné vzorkovanie pomáha, keď model vie odpoveď odvodiť, ale nie keď fakt jednoducho nepozná. Takže multi-sample istota je task-závislá, nie univerzálna barlička pre malé modely.
Prečo na tom záleží: cena konania podľa zlej istoty
Daj tomu cenu. Odmeň správnu odpoveď +1, potrestaj nesprávnu −c, za zdržanie 0. Učebnicovo-racionálne pravidlo je odpovedať, keď istota presiahne c/(1+c). Aplikované na verbalizovanú istotu slabého modelu — ktorá tu nenesie informáciu o tom, ktoré odpovede si nechať — toto pravidlo silno stráca: pri akomkoľvek reálnom treste je jediná utility-pozitívna politika zdržať sa všetkého. Aplikované na aritmetickú istotu frontier modelu je odpovedanie utility-pozitívne a blíži sa najlepšiemu dosiahnuteľnému.
Praktické čítanie nie je jednoducho „malé modely potrebujú externú bránu, frontier nie". Platia dve veci naraz. Po prvé, čím lacnejší je signál vlastnej istoty (verbalizovaný, jednorázový), tým viac schopnosti treba, aby sa mu oplatilo veriť — takže slabý či lokálny agent získa z vlastného čísla málo a viac z externej kontroly (korroborácia naprieč nezávislými zdrojmi, samostatný verifikátor, alebo retrieval voči pravde). Po druhé — a toto je oprava — externá brána je poistka, a poistka sa oceňuje podľa ceny chybného konania, nie podľa schopnosti modelu. Frontier agenti sú nasadení na ťažšie úlohy s vyššími stávkami a menšou zvratnosťou, kde aj dobrá diskriminácia necháva nákladnú zvyškovú chybu, a kde je vlastná istota meraná in-distribution, no na ťažkom / out-of-distribution chvoste degraduje (Kadavathovo vlastné P(IK) pod distribučným posunom klesá). Takže hodnota brány sleduje najprv zvratnosť a stávky, až potom schopnosť modelu. To je princíp za naším pamäťovým jadrom (inspeximus) a benchmarkom (RAMR): korroboračná brána sa vypláca tam, kde je chybný zápis nákladný a vlastná istota nestačí.
Auditovateľné
Probe je jeden súbor a result JSONy obsahujú surové per-item riadky (výraz, odpoveď, správna hodnota, istota, správnosť), takže si to vieš spustiť na vlastných modeloch alebo prerátať každé číslo vyššie: research/probes/overconfidence_tax (MIT).
Čestná prior-art
Toto stojí na dobre spracovanej literatúre a poctivý rámec je premeranie, nie objav. Že kalibrácia a sebapoznanie rastú so škálou, je Kadavath a kol. 2022 (modely „väčšinou vedia, čo vedia"; kalibrácia P(True) rastie). Presne tú veličinu, ktorú hlásime — AUROC verbalizovanej istoty pre predikciu zlyhania, rastúce so schopnosťou — meria Xiong a kol. 2023 (ICLR 2024): jednorázové verbalizované AUROC ≈0,51 (GPT-3) → ≈0,63 (GPT-4), pričom vyššie ≈0,73+ čísla pochádzajú zo samplingu / self-consistency, nie z jednorázového verbálneho čísla. To je poctivý strop nášho vlastného signálu — naša aritmetická 0,90 je best-case na vypočítateľnej úlohe; na faktickom vybavovaní je jednorázový verbalizovaný strop oveľa skromnejší. Tian a kol. 2023 ukázali, že verbalizované istoty RLHF modelov prekonávajú ich tokenové pravdepodobnosti. Rozdiel, o ktorý sa opierame — kalibrácia (zhodujú sa uvádzané pravdepodobnosti s realitou) vs diskriminácia (AUROC — vieš zoradiť správne nad nesprávne) — je učebnicová teória detekcie signálu (Green & Swets 1966), invariantná voči akejkoľvek monotónnej rekalibrácii; pravidlo zdržať-sa-pod-cenovým-prahom je reject option (Chow 1970); a že optimalizačná sila (hlbšie siete, RLHF) znovu láme kalibráciu, je Guo a kol. 2017 a GPT-4 report (predtréning kalibrovaný, RLHF ho zhoršuje). Čo je naše, je úzke: spustiteľné premeranie odolné voči kontaminácii s verejnými per-item dátami, a operačný rámec kedy sa lacný signál vlastnej istoty oplatí veriť vs zaplatiť za externú bránu.
Čestné limity
- Dva typy úloh (aritmetika + faktické vybavovanie SimpleQA), tri modely. Gradient je smerový, nie zákon škálovania. Aritmetika môže zveličovať maxovanie istoty (modely berú výpočet ako deterministický a hovoria ~100 %); SimpleQA (vyššie) bola ťažšia krížová kontrola a tvrdenie spresnila — surová diskriminácia sa môže objaviť pri strednej veľkosti a gradient, ktorý robustne drží, je operačný (na použiteľnú presnosť prahuje len frontier).
- Rozsah: ide o verbalizovanú, jednorázovú istotu — lacný signál, ktorý agentová brána zvyčajne číta (spýtaj sa modelu na istotu, raz). Multi-sample / sampled-consistency istota (napr. Monte-Carlo teplotný sweep: vzorkuj N-krát, zhoda odpovedí = istota) je iný, drahší signál, prediktívnejší na vypočítateľných úlohách (aritmetika AUROC ~0,97 aj na malých modeloch) — ale task-závislý: na faktickom SimpleQA dosiahol len 0,57–0,71. Tvrdenie je teda ohraničené na jednorázové self-reporty a multi-sample nie je univerzálna barlička.
- Falzifikátor (predregistrovaný). Tvrdenie zomrie, ak by AUROC slabého modelu bolo ≫0,5 (jeho istota je predsa použiteľná), alebo ak by AUROC frontier modelu spadlo na ~0,5 v jeho režime chýb (istota nepoužiteľná aj na frontieri → tvrdenie sa stáva „univerzálnym", nie gradientom). Ani jedno sa nestalo: slabý/stredný ≈0,5 (s 51 a 66 čistými chybami), frontier 0,90 (23 čistých chýb, nula parse-zlyhaní).
FAQ
Môže LLM agent veriť vlastnej istote pri rozhodnutí, kedy sa zdržať? Nie spoľahlivo na lacnom signáli. Jeho verbalizovaná, jednorázová istota sotva oddelí správne od nesprávneho pod frontierom (AUROC ~0,5 — čiastočne preto, že saturuje na ~100 %), a hoci diskriminácia rastie so schopnosťou, je task-závislá: na faktickom SimpleQA stredný model dorovná frontier (oba 0,74). Aj frontier strop jednorázovej verbalizovanej istoty na reálnom faktickom QA je skromný (~0,63 v predošlej literatúre). Spoľahlivejšia páka je sampling-konzistencia alebo externá brána viazaná na cenu chybného konania.
Čo je tu AUROC istoty? Pravdepodobnosť, že správna odpoveď dostala vyššiu istotu než nesprávna. 0,5 = istota je nepoužiteľná na rozlíšenie správneho od nesprávneho; 1,0 = dokonalé oddelenie. Je to správna metrika pre selektívnu predikciu / abstinenciu, odlišná od kalibrácie (či „80 % istý" má pravdu v 80 % prípadov).
Sú LLM nadmerne sebaistí? Slabý a stredný model extrémne (istota +0,72 a +0,84 nad ich presnosťou); frontier model bol takmer dokonale kalibrovaný (+0,02). Ale nadmerná istota (medzera kalibrácie) je pre rozhodnutie o abstinencii menej dôležitá než diskriminácia (AUROC) — model môže byť nadmerne sebaistý a predsa radiť svoje správne odpovede nad nesprávne.
Čo má robiť slabý/lokálny agent namiesto toho? Nespoliehať sa na vlastnú istotu. Použiť externú bránu — korroboráciu naprieč nezávislými zdrojmi, samostatný verifikátor, alebo retrieval voči pravde — čo je presne tam, kde sa to najviac vyplatí.