Prečo schopnejšia AI môže byť sebavedomejšie nesprávna
Zbieraj viac korelovaných dôkazov a uvažovač bude istejší bez toho, aby bol správnejší — jeho „95%" interval pokrýva pravdu 58 % → 18 % času, ako škáluje — mieru poklesu určuje to, ako veľmi sú zdroje korelované. Je to učebnicový výsledok (design effect, Kish 1965) a oprava potrebuje odhad korelácie, ktorý z dát samotných neprečítaš.
Daj uvažovaču viac dôkazov a mal by byť presnejší aj istejší. Pri nezávislých dôkazoch to tak je. Lenže reálne dôkazy sú zriedka nezávislé — zdroje sa navzájom kopírujú, datasety sa prekrývajú, modely sa trénujú na tom istom webe a špičkové modely robia korelované chyby aj naprieč rôznymi poskytovateľmi. A pri korelovaných dôkazoch zbieranie ich väčšieho množstva robí systém istejším bez toho, aby bol správnejší.
Poznámka k slovu „schopnosť". V najmenšom modeli nižšie „schopnosť" znamená množstvo dôkazov, ktoré systém vie zapojiť — počet zdrojov K, ktoré agreguje — nie surovú silu modelu. Práve tento rozdiel je celá pointa a ešte sa k nemu vrátime.
Postavili sme najmenší spustiteľný model, ktorý to ukazuje — a mechanizmus je klasika. Uvažovač odhaduje neznámu veličinu z K zdrojov, ktorých chyby sú čiastočne zdieľané (korelácia ρ = 0.4, realistická úroveň echo komory — hoci, ako uvidíme, veľkosť efektu silno závisí od ρ). Ako zvyšujeme K, sledujeme dve veci: presnosť (ako blízko dopadne jeho odhad) a kalibráciu (zodpovedá jeho deklarovaná istota realite? — ako často jeho 95% interval spoľahlivosti naozaj obsahuje pravdu).
| schopnosť K | presnosť (RMS chyba) | naivný „95%" interval pokrýva pravdu |
|---|---|---|
| 2 | 0,84 | 58 % |
| 10 | 0,68 | 50 % |
| 100 | 0,64 | 18 % |
Presnosť sa sotva zlepší — narazí na dno dané zdieľanou chybou, ktorú viac korelovaných dôkazov nevie odstrániť (chyba nemôže klesnúť pod √ρ ≈ 0,63, priamo z algebry priemerovania korelovaných čísel). Ale kalibrácia sa zrúti: pri K=100 je „95% istý" interval uvažovača správny len v 18 % prípadov. Viac dôkazov ho neurobilo správnejším. Urobilo ho sebavedomo nesprávnym. (Tých 18 % je najhorší prípad pre ρ=0,4; pri ρ=0,1 ten istý interval stále pokrýva ~43 %, pri ρ=0,05 ~57 % — kolaps je reálny, ale jeho závažnosť je predpoklad o tom, aký korelovaný je tvoj svet.)
Mechanizmus je učebnicový: prieskumný design effect (Kish, Survey Sampling, 1965). Korelované pozorovania nesú menej informácie, než naznačuje ich počet, takže efektívny počet zdrojov je K / (1 + (K−1)ρ), nie K. Naivná iid agregácia — brať 100 korelovaných zdrojov ako 100 nezávislých hlasov, zlyhanie keď nezľavíš za prekryv, ako keď mnoho agentov zdieľa jeden base model — zmršťuje interval k nule, kým skutočná chyba stagnuje. „Big-data paradox" Xiao-Li Menga (2018) je ten istý zákon: nepatrná korelácia zmrštila prieskum na 2,3 milióna ľudí na informáciu asi 400 ľudí. To isté hovorí Condorcetova porotná veta v závislom prípade (Ladha 1992) pre hlasy. Efekt sme neobjavili; spravili sme ho konkrétnym pre AI agregáciu.
Oprava je počítať efektívne nezávislé zdroje, nie surové — ale naivná verzia má háčik. Vydeľ design effectom a kalibrácia sa obnoví len sčasti (na ~87 % pokrytie pri veľkom K), pretože rozptyl, ktorý meriaš vnútri korelovanej vzorky, podhodnocuje skutočný rozptyl o √(1−ρ): zdieľaná zložka sa vyruší, keď sa zdroje pozerajú na seba, takže oprava stále používa primalé meradlo. Dodaj skutočnú variabilitu zvonku — inak povedané, odhad ρ — a interval sa zavrie úplne: 95 % pokrytie pri každom K. Zvyšková prehnaná istota teda nie je hlboká hranica. Je to, že sa nemôžeš self-kalibrovať proti zdieľanej chybe z korelovaných dát samotných. Musíš vedieť, aké korelované sú tvoje zdroje — a pool súhlasiacich zdrojov je presne to, čo ti to nepovie.
Toto je nepríjemný tvar éry škálovania. Pridávanie parametrov, dát a nástrojov systému trénovanému na korelovanom svete mu dá viac dôkazov — nie vedomie, že jeho dôkazy nie sú nezávislé. Môžeš namietať, že naozaj schopný uvažovač by koreláciu zľavil. Presne tak: to zľavenie je tá schopnosť, ktorú škála automaticky nekúpi — a horšie, je to druh kalibrácie, ktorý RLHF aktívne narúša. Vzácny, cenný zdroj nie je schopnosť. Je to kalibrácia — kúpená inžinierstvom nezávislosti (rôzne base modely, disjunktné zdroje, deduplikácia) a ukotvením vo vonkajšom svete, nie škálou.
Čo by zmenilo náš názor: keby kalibrácia uvažovača vydržala (alebo sa zlepšila), ako zbiera viac korelovaných dôkazov, efekt by bol artefakt. Nevydrží — kolaps je robustný a korekcia na efektívnu nezávislosť ho spoľahlivo zvráti. Jedna čestná hranica je praktická, nie fundamentálna: plnú korekciu vieš uplatniť len ak vieš odhadnúť medzizdrojovú koreláciu zvonku poolu — a v živom systéme je to číslo nepozorovateľné a závislé od obsahu, stúpajúce presne keď každý zdroj opakuje tú istú chybu.
FAQ
Robí viac dôkazov AI presnejšou aj lepšie kalibrovanou? Len keď sú dôkazy nezávislé. Pri korelovaných zdrojoch — realistická echo komora, a špičkové modely robia korelované chyby aj naprieč poskytovateľmi (Kim et al. 2026) — presnosť stagnuje, ale kalibrácia sa láme: zbieranie ich väčšieho množstva robí uvažovača sebavedomejšie nesprávnym.
Prečo korelované dôkazy lámu kalibráciu? Toto je prieskumný design effect (Kish 1965): korelované pozorovania nesú menej informácie, než naznačuje ich počet, takže efektívna veľkosť vzorky je K/(1+(K−1)ρ), nie K. Uvažovač, čo ich počíta ako nezávislé, zmršťuje interval k nule, kým skutočná chyba stagnuje. Mengov big-data paradox je ten istý zákon.
Je to chyba modelu alebo matematický fakt? Matematický fakt, a učebnicový — design effect, šesť dekád starý. Brať korelované zdroje ako nezávislé podhodnocuje neistotu bez ohľadu na model; závažnosť závisí od korelácie ρ (pri ρ=0,4 95% interval pokrýva len 18 % času do K=100; pri ρ=0,1 je to ~43 %).
Aká je oprava a funguje úplne? Zľav za závislosť zdrojov: odhadni medzizdrojovú koreláciu a počítaj efektívne nezávislé dôkazy. Lenže tú koreláciu z korelovaných dát samotných neprečítaš — vzorkový rozptyl podhodnocuje skutočný — takže oprava sa úplne zavrie na 95 % len keď je korelácia dodaná zvonku. Praktický lever je inžinierstvo nezávislosti (rôzne base modely, disjunktné zdroje, deduplikácia), nie počítanie čísla, ktoré nevieš pozorovať.