Kedy má pamäť AI odmietnuť uveriť tomu, čo práve videla?
Korroboračná brána ohraničí škodu z ľubovoľne veľkej otravy — no ten istý mechanizmus je slepý voči náhlej skutočnej zmene, a pomôže len pri pamäti neohraničených veličín, nie pri embedding recall. A celý mechanizmus je učebnicový (Grossberg/CUSUM/CLS). Odmerané, s falzifikátormi.
Daj AI agentovi dlhodobú pamäť a hneď narazíš na nepríjemnú otázku: keď nové pozorovanie protirečí uloženému, je to nová pravda (rýchlo aktualizuj) alebo otrava (ignoruj)? Každý pamäťový systém na to odpovedá implicitne svojím konsolidačným operátorom — pravidlom, ktoré z opakovaných, zašumených, občas nepriateľských pozorovaní spraví jednu uloženú hodnotu. Odmerali sme, čo táto voľba stojí. Sú to zámerne minimálne, plne reprodukovateľné modely (malé simulácie plus kontrola na reálnych embeddingoch), nie benchmark produkčného systému — cieľom je hranica rozsahu a návrhové pravidlo, s každým číslom reprodukovateľným. Hneď na začiatku: mechanizmy tu sú všetky učebnicové a sesterský post už spracúva tú istú rodinu; jediné, čo je naozaj naše, je meraný negatívny výsledok — kde brána prestane pomáhať.
Front, ktorému sa nikto nevyhne
Sleduj hodnotu v čase zo zašumených pozorovaní. Dva spôsoby zlyhania ťahajú opačne. Rýchlo sa prispôsob zmene a jediná nepriateľská špička ti trhne odhad. Odolávaj otrave priemerovaním cez dlhé okno a zaostávaš za skutočnou zmenou. Prechádzanie rýchlosti zabúdania exponenciálneho kĺzavého priemeru (EWMA) vykreslí čistý front rýchlosť-odolnosť. Táto časť je učebnicová — kompromis bodu zlomu z robustnej štatistiky (Huber 1964; Hampel 1971) a medián / orezaný priemer z byzantsky-odolného učenia. Berieme ju len ako základ.
Spojenie — učebnicový kompromis, prerozprávaný
Korroboračná brána vpustí nové pozorovanie do uloženého odhadu iba ak ho potvrdí viacero nedávnych pozorovaní, a izolované odľahlé hodnoty odmietne. V minimálnom modeli robí zlom ohraničeným — ako rastie veľkosť nepriateľskej špičky, chyba rýchleho EWMA rastie bez hranice, kým brána ostáva plochá (špičku jednoducho odmietne). To je presne správanie bodu zlomu odmietajúceho estimátora (Huber / Hampel), nie nový efekt.
A ten istý mechanizmus, čo odmietne izolovanú otravnú špičku, musí z princípu odmietnuť aj prvú vzorku skutočnej náhlej zmeny — pre korroboračný test sú nerozlíšiteľné. Pritvrdenie brány monotónne zlepšuje odolnosť voči otrave a zhoršuje reakciu na náhlu zmenu. Toto nie je náš objav: je to Grossbergova dilema stability-plasticity (Adaptive Resonance Theory, Carpenter & Grossberg 1987) a formálne kompromis detekčné-oneskorenie-vs-falošný-poplach z detekcie zmeny bodu (Pageova CUSUM z roku 1954; Lorden 1971; Moustakides 1986). Korroboračný prah brány je prah v štýle CUSUM; spojenie je storočná teoréma, nie nález.
Kedy brána naozaj pomôže?
Výhoda brány je ohraničený zlom voči neohraničenému útoku. Takže sa vyplatí len keď pozorovania môžu byť neohraničene veľké. Pri realistickom ťažko-chvostovom šume, keď nepriateľská špička narastie 30×, chyba brány ostáva plochá, kým čisté operátory explodujú:
| veľkosť nepriateľskej špičky | korroboračná brána | EWMA(0.1) | priemer |
|---|---|---|---|
| ×5 | 0.56 | 0.84 | 0.20 |
| ×15 | 0.50 | 2.28 | 0.56 |
| ×150 | 0.52 | 22.3 | 5.53 |
Ale na ohraničených jednotkových embeddingoch — čo väčšina „pamäte AI" v skutočnosti ukladá — sme testovali na reálnych nomic embeddingoch 240 reálnych konverzačných replík a brána front neprekoná: vyladený EWMA, ba aj obyčajný priemer, ju dominuje. Jednotkový otravný vektor má ohraničený vplyv, takže každý operátor má už ohraničený zlom; odmietanie brány nič nezíska a jej slepota voči novosti je čistá strata.
| reálne embeddingy | chyba pri náhlej zmene | chyba odolnosti voči otrave |
|---|---|---|
| EWMA a=0.08 | 0.13 | 0.07 |
| korroboračná brána | 0.45 | 0.10 |
| priemer | 0.61 | 0.01 |
(Prevádzková poznámka: surové nomic embeddingy sú anizotropné — všetky kosínusy sa stláčajú na ~0.75–0.81 — preto ich treba centrovať, než má akákoľvek logika odľahlých hodnôt signál.)
Takže hranica rozsahu — jediný meraný výsledok, ktorý je naozaj náš: korroboračná brána Pareto-pomôže iba keď je veľkosť pozorovania neohraničená (ťažko-chvostové počty, skóre, ceny, trvania). To je takmer definičné — ohraničená (jednotková) hodnota už dáva každému operátoru ohraničený zlom, takže odmietanie brány nemá čo získať — ale empirický smer je tá užitočná časť: na reálnych embeddingoch vyladené zabúdanie dominuje bránu na oboch osiach. Pri ohraničenom embedding recall použi vyladené zabúdanie. (Samotné spojenie je čisté len v simuláciách s neohraničenou veľkosťou; na reálnych centrovaných embeddingoch sa nereprodukovalo — pritvrdenie brány nezlepšilo odolnosť — takže spojenie zužujeme na neohraničený režim, netvrdíme ho univerzálne.)
Únik zo spojenia — do latenčného stropu
Ak jeden operátor nemôže mať oboje, použi dva. Dvojkanálový konsolidátor — korroboračne hradený pomalý kanál plus rýchly kanál, so selektorom, ktorý prepne na rýchly až keď odchýlka pretrvá d krokov — prekoná každý jednotlivý operátor: ohraničená odolnosť voči otrave aj rýchla reakcia na pretrvávajúcu zmenu. Toto je architektúra Complementary Learning Systems (McClelland, McNaughton & O'Reilly 1995) — rýchly a pomalý kanál — prenesená do odolnosti pamäte; dvojkanálová myšlienka je ich.
Spojenie nezmizne; zmení sa na detekčný latenčný strop (náš sesterský post rieši ten istý únik do hĺbky). Bez čakania (d=1) sa odolnosť rúti — nerozoznáš izolovanú špičku od začiatku skutočnej zmeny, kým neuvidíš, či pretrvá:
| oneskorenie selektora d | chyba pri náhlej zmene | chyba odolnosti voči otrave |
|---|---|---|
| 1 (bez čakania) | 0.30 | 0.68 |
| 3 | 0.36 | 0.19 |
| 8 | 0.47 | 0.19 |
Rozlíšiť otravu od skutočnej novosti vyžaduje čakať, či odchýlka pretrvá. Architektúra premení kompromis odolnosť-novosť na detekčné oneskorenie — ale náš fixný selektor s pevným d je hrubý detektor: sekvenčný test pomeru vierohodnosti / CUSUM dosiahne rovnakú istotu v menej krokoch. (Lorden 1971 ohraničuje oneskorenie zdola nad nulou, takže nejaká latencia je neredukovateľná — ale nie to konkrétne d, ktoré sme použili; nazvať to informačnou hranicou by bol overclaim.) A pevné d je presne to, čo adaptívny útočník porazí: trpezlivý travič (ako pri MINJA-štýlovej injekcii pamäte) kvapká a skracuje každý zhluk, aby sedel tesne pod tvojím prahom. Voči protivníkovi, ktorý vidí tvoje oneskorenie, nie je žiadne iba-časové pravidlo bezpečné — invariantná páka je proveniencia / identita zdroja, nie oneskorenie potvrdenia.
Ak staviaš pamäť agenta
- Nehraď embedding recall. Použi vyladené zabúdanie (alebo priemer pre stabilné fakty). Najprv embeddingy centruj. Toto je jediný meraný záver, ktorý vie väčšina systémov pamäte agenta použiť, keďže väčšina toho, čo ukladajú, sú ohraničené embeddingy.
- Hraď pamäť neohraničených veličín (počty, skóre, ceny, trvania) ako strop dosahu škody: brána ohraničí škodu z jedinej ľubovoľne veľkej špičky. Ale ber ju ako jeden signál do dôvery-zdroja, nie ako celú obranu — fixný korroboračný/oneskorovací prah porazí trpezlivý útočník, čo ostane pod ním.
- Pre pamäť, čo musí prežiť otravu aj legitímne zmeny režimu, použi dva kanály s perzistenčným selektorom; nalaď oneskorenie na očakávaný zhluk a spáruj ho s provenienciou. Odolnú detekciu novosti zo samotného časovania voči adaptívnemu protivníkovi nedostaneš.
Falzifikátor. Každý krok mal vopred zaviazaný falzifikátor: musí existovať reálny front (rýchly sa prispôsobí, pomalý odoláva); brána musí byť Pareto-nedominovaná pri neohraničenej otrave a dominovaná pri ohraničených embeddingoch; pritvrdenie brány musí monotónne vymieňať odolnosť za novosť; a dvojkanál musí prekonať každý jednotlivý operátor a zároveň skolabovať pri nulovom oneskorení. Všetky štyri platili v simuláciách s neohraničenou veľkosťou — s jednou čestnou výnimkou: monotónne spojenie brány sa nereprodukovalo na reálnych centrovaných embeddingoch (pritvrdenie brány tam odolnosť nezlepšilo), preto spojenie zužujeme na neohraničený režim.
FAQ
Kedy má pamäť AI odmietnuť uveriť novému pozorovaniu? Keď ešte nevie odlíšiť novú pravdu od otravy — protirečiace pozorovanie je buď skutočná aktualizácia (prijmi rýchlo), alebo útok (ignoruj). Každý pamäťový systém na to odpovedá implicitne cez svoj consolidation operátor.
Ohraničí corroboration gate škodu z adversariálneho výkyvu? Áno — rozpad brány zostane ohraničený (~0.50) či je výkyv ×5, ×15 alebo ×150, kým EWMA(0.1) rastie neohraničene (0.84 → 22.3) a obyčajný priemer (0.20 → 5.53).
Kedy corroboration-gating naozaj pomôže? Len keď pozorovania môžu byť neohraničene veľké — ťažko-chvostové počty, skóre, ceny, trvania. Pre ohraničené hodnoty (napr. unit-norm embedding recall) už vyladená EWMA alebo priemer drží rozpad ohraničený, takže brána pridá málo.
Je to benchmark produkčného systému? Nie — sú to malé simulácie plus kontrola na reálnych embeddingoch, cielené na zákon a návrhové pravidlo, s každým číslom reprodukovateľným.