Náš grounding 'firewall' na sebaisto-nesprávne AI sa ukázal byť väčšinou artefakt
Problém je reálny a horší, než sme mysleli: keď dokument tvrdí nepravdivú odpoveď, LLM ju nasleduje - a byť novší či silnejší model ťa nechráni: dva frontier reasonery ju nasledujú oveľa viac než slabý 7B (glm-5.2 22/24, deepseek-v4-pro 20/24, oproti 5/24) - hoci code-tuned model (kimi, 4/24) odolal, takže náchylnosť sleduje context-faithfulness, nie hrubú schopnosť. Ale náš 'grounding firewall' - zdrž sa, keď je odpoveď citlivá na vymazanie dokumentu - sme merali v režime, ktorý mu lichotil: model už poznal každý fakt, takže signál sensitivity a label 'wrong' sú to isté číslo. Nápad je navyše učebnicový a označuje ukotvenie, nie klamstvo. Reálna obrana je provenance a korroborácia.
Problém je reálny - a frontier modely nie sú ušetrené. Daj modelu načítaný dokument, ktorý tvrdí nepravdivú odpoveď - otrávený kontext: zastarané dáta, podstrčená veta, nesprávny zdroj - a môže ho nasledovať s plnou istotou. Odmerali sme to na 24 základných faktoch. Bez kontextu každý model odpovie na všetkých 24 správne. Pridaj dokument „odpoveď je <nepravdivá možnosť>“ a najviac context-faithful modely sa prevrátia na väčšine z nich:
| Model | Nasledoval otrávený dokument (z 24) |
|---|---|
| qwen2.5-7B (model z postu) | 5 / 24 |
| kimi-k2.7-code | 4 / 24 |
| deepseek-v4-pro | 20 / 24 |
| glm-5.2 | 22 / 24 |
Každý model mal 0 chýb bez kontextu, takže to nie je neznalosť - je to poddajnosť. Dva frontier reasonery (glm-5.2, deepseek-v4-pro) nasledovali nepravdivý dokument - v oboch poradiach možností - na 20-22 z 24 faktoch, omnoho viac než slabý 7B (5/24); code-tuned model (kimi) odolal (4/24), takže efekt nie je len „väčší je horší“. Nasledovať dôveryhodne vyzerajúci načítaný dokument je presne to, na čo sú context-faithful modely trénované, preto poisoning funguje tak dobre (PoisonedRAG: ~90% úspešnosť útoku z piatich vložených textov). A confidence ťa nevaruje - model je najistejší presne vtedy, keď prebral otravu. (Spustiteľný probe.)
Čo sme skúsili - a prečo to neobstojí. Náš nápad bol „grounding firewall“: merať, nakoľko odpoveď závisí od dokumentu, nie ako isto model znie. Pre odpoveď sensitivity = | p(odpoveď | kontext) - p(odpoveď | kontext odstránený) |; zdrž sa, keď je sensitivity vysoká. Na 24 otrávených faktoch (otvorený model qwen2.5-7B, kde sú dostupné pravdepodobnosti tokenov) grounding signál predpovedal správnosť oveľa lepšie než vlastný confidence modelu (risk-coverage AUC 0.028 vs 0.095, kde nižšie je lepšie). Teraz si myslíme, že to číslo je väčšinou artefakt, zo štyroch dôvodov.
1. Saturated prior. Model už poznal každý fakt (p(odpoveď | bez kontextu) = 1.00 na všetkých 24; a každý model vyššie mal 0 chýb bez kontextu). Keď je prior 1, sensitivity = 1 - p(odpoveď | kontext) - čo je tá istá veličina ako „model nasledoval otravu“. Takže firewall poráža confidence algebrou, nie vhľadom. Pri n=24, 5 nesprávnych odpovediach a jedinom „confidently-wrong“ prípade tam nikdy nebol reálny test. (Probe: confound saturovaného prioru a signed-margin baseline.)
2. Označuje ukotvenie, nie klamstvo. Odpoveď s vysokou sensitivity je taká, ktorá závisí od kontextu - čo je presne to, čo chceš v správnom RAG. Ako firewall vyzerá len preto, že tu je každý kontext otrava. Na reálnom korpuse, kde je väčšina dokumentov správna, zdržanie sa pri vysokej sensitivity znamená zdržať sa pri tvojich najlepšie ukotvených správnych odpovediach.
3. Porovnanie bolo poskladané. Confidence = max(p, 1-p) zahodí smer; sensitivity ho drží. V tomto režime je čestný signál len znamienková marža smerom k otrávenej možnosti - jedno volanie modelu, žiadne volanie s odstránením kontextu.
4. Nedá sa spustiť tam, kde je problém najhorší. Metóda potrebuje token logprobs. Silné cloud modely (glm-5.2, deepseek-v4-pro, kimi) ich neposkytujú, ani closed API ako Anthropic - takže naše skoršie tvrdenie, že „funguje na closed API, kde vidíš len vstupy a výstupy“, bolo nesprávne. Firewall beží len na slabom otvorenom modeli, kde je to artefakt.
Toto je učebnicové
Ablácia kontextu na zistenie, nakoľko od neho odpoveď závisí, je už publikovaná: ContextCite (NeurIPS 2024) pripisuje generovanie kontextu abláciou a explicitne ukazuje detekciu poisoningu; ReDeEP/SEReDeEP skórujú závislosť na externom kontexte oproti parametrickej znalosti. Zdržanie sa pod prahom istoty je Chowov reject option (1970); „vymaž pozorovanie a sleduj, ako sa odpoveď pohne“ je Cookova vzdialenosť (1977) a influence functions. Black-box kontrola bez logprobov je SelfCheckGPT. Nevymysleli sme to.
Čo naozaj pomáha
Proti otrávenému dokumentu sú nasaditeľné obrany provenance a korroborácia - nenechaj jediný neoverený zdroj riadiť odpoveď - plus consistency/NLI kontroly, ktoré nepotrebujú logprobs. A ak má sensitivity niesť reálnu informáciu, musí byť stratifikovaná podľa istoty prioru: vie pridať k confidence len keď je model naozaj neistý, čo je presne prípad, ktorý tento experiment nikdy netestoval. Ten stratifikovaný test - sensitivity oproti signed-margin baseline, na zmiešanom čistom+otrávenom korpuse, v bunke neistého prioru - je čestný ďalší experiment.
FalzifikátorNa výhradne otrávenej množine so známymi odpoveďami výsledok „firewall poráža confidence“ nie je informatívny, lebo sensitivity a wrong-label sú tam tá istá veličina. Tvrdenie prežije len ak sensitivity porazí signed-margin baseline na zmiešanom čistom+otrávenom korpuse s neistými priormi - čo sme neukázali.
Poctivý rozsah. Pôvodná verzia tohto postu rámcovala grounding signál ako fungujúci „firewall“, ktorý „chytá to, čo confidence nevidí“. Plný audit zistil, že ten headline bol väčšinou artefakt merania a prevzatý. Čo obstojí: LLM - najmä najsilnejšie, najviac context-faithful - nadmerne dôverujú otráveným načítaným dokumentom a confidence ťa nevaruje. Všetky čísla sú zo spustiteľných probov (poison-following, confound), nie terénne dáta.
FAQ
Naozaj LLM nasledujú otrávený dokument? Áno, a nešetrí ani frontier modely. Bez kontextu každý model odpovedal na všetkých 24 faktov správne, ale dokument tvrdiaci nepravdivú odpoveď prevrátil glm-5.2 na 22/24 a deepseek-v4-pro na 20/24 - omnoho viac než slabý 7B (5/24), hoci code-tuned model (kimi) odolal (4/24). Context-faithful modely sa podriaďujú načítanému textu - hrozba PoisonedRAG.
Chytá to „grounding firewall“? Nie celkom. V našom teste model už poznal každý fakt, takže signál sensitivity sa rovná labelu „nasledoval otravu“ z konštrukcie; zdanlivé víťazstvo nad confidence je artefakt toho saturovaného-prioru, nie fungujúci detektor.
Je ten nápad nový? Nie. Ablácia kontextu na pripísanie odpovede je ContextCite (NeurIPS 2024); reject option je Chow (1970); leave-one-out influence je Cookova vzdialenosť (1977).
Potrebuje vnútro modelu? Potrebuje token logprobs, ktoré closed API (Anthropic) a silné cloud modely (glm-5.2, kimi) neposkytujú - takže nebeží na modeloch, kde je poisoning najhorší. Kontrola konzistencie bez logprobov (SelfCheckGPT) je black-box možnosť.
Čo naozaj znižuje sebaisto-nesprávne odpovede pri otrave? Provenance a korroborácia - nedôveruj jedinému neoverenému dokumentu - nie confidence skóre; a stratifikácia akéhokoľvek sensitivity signálu podľa toho, či si už model bol istý.