Ten istý klasický kompromis v štyroch mechanizmoch AI-pamäte — a kde sa láme

Čo má agent zabudnúť? Kedy má uveriť protirečiacemu faktu? Ako rýchlo má prestať dôverovať zdroju, ktorý sa pokazí? Vyzerajú ako samostatné inžinierske otázky. Je to ten istý problém, má známe optimálne riešenie — také, ktoré teória detekcie aj neuroveda vyriešili pred desaťročiami — a pravidlá, ktoré sa reálne nasadzujú, sú od neho často ďaleko. Tu je ten klasický kompromis, odmeraný naprieč štyrmi mechanizmami, plus presná hranica, za ktorou sa stáva neriešiteľným.

Jeden problém v štyroch podobách

Každý mechanizmus číta jeden tok, ktorý nesie oba signály naraz:

• skutočnú zmenu, na ktorú sa musíš rýchlo adaptovať, a
• nepriateľské poškodenie (corruption), ktorému musíš odolať.

Pasca je v tom, že v okamihu, keď sa objaví odchýlka, izolované poškodenie a prvá vzorka skutočnej zmeny sú to isté pozorovanie. Rozlíšiť ich nedokážeš, kým neuvidíš, či odchýlka pretrvá.

Previazanie adaptácie a poškodenia. Žiadne jediné agregačné pravidlo nemôže byť na zdieľanom toku zároveň rýchle voči skutočnej novosti a ohraničené voči poškodeniu. Je to klasický výsledok — Grossbergova dilema stability a plasticity (1980), vyslovená pre pamäť agentov. Známy únik je architektonický: pomalý kanál s bránou na potvrdenie + rýchly kanál + selektor pretrvania — ten istý dizajn rýchly/pomalý-plus-brána, ku ktorému neuroveda dospela ako ku komplementárnym učiacim systémom (McClelland, McNaughton & O'Reilly 1995). Kompromis sa tým premení na spodný limit oneskorenia detekcie — limit pre každý mechanizmus zvlášť, nie jednu univerzálnu konštantu. Môžeš mať aj robustnosť aj rýchlu adaptáciu, ale nie pri nulovom oneskorení.

Odmerané na štyroch miestach (tie isté tri podpisy)

Každý prípad ukazuje hranicu jediného pravidla (rýchle = krehké, pomalé = oneskorené), dvojkanálový únik a spodný limit oneskorenia. Minimálne, plne reprodukovateľné simulácie.

Prípad dôvery bol vopred zaregistrovaná predpoveď — pred spustením sme tvrdili, že binárna reputácia ukáže tie isté tri podpisy. Ukázala. Práve to robí zo zjednotenia predikciu, nie zoznam náhod. (best-of-N je výnimka: nemá časový rýchly/pomalý kanál, takže ho berieme ako analógiu selekčného tlaku, nie štvrtú časovú inštanciu.)

Nie je to mágia — je to optimálna detekcia

Poctivé jadro: je to kompromis sekvenčnej detekcie zmeny (stredný čas do falošného poplachu vs oneskorenie detekcie), čo je teoréma — CUSUM je optimálny (Page 1954 ho zaviedol; Lorden 1971 dokázal asymptotickú minimaxitu; Moustakides 1986 presný výsledok). Vlastný únik sme red-teamovali proti CUSUM na úlohe dôvery. Minimálne oneskorenie detekcie pri falošnej nedôvere ≤ 5 %:

Dvojkanálové dorovná optimum a obe prekonajú naivné pravidlo rozpadu v režime, kde na tom záleží. Ako ďaleko leží naivný rozpad od hranice, je závislé od režimu (overené naprieč veľkosťou zmeny × šumom): až ~2× keď je zmena jemná a signál zašumený, a obracia sa — naivné je mierne lepšie (pomer ~0,92) — keď sú zmeny veľké a signál čistý. Je to teda výhoda závislá od režimu, nie univerzálna; náprava tam, kde na tom záleží, je detektor založený na pretrvaní (CUSUM optimálne; dvojkanálové úložisko prakticky). Každé číslo zo simulácií je reprodukovateľné z jednej otvorenej sondy.

Kde sa stáva neriešiteľným

Únik potrebuje, aby poškodenie bolo prechodnejšie než zmena, ktorú musíš zachytiť. Pri prehľadávaní dĺžky poison-dávky B proti oneskoreniu selektora d platí únik práve vtedy, keď B < d; keď poison kampaň pretrvá B ≥ d krokov, je nerozoznateľná od skutočnej zmeny a falošná nedôvera vyskočí na 1.00. A d sa nedá len tak zvýšiť — oneskorenie detekcie rastie s ním ~1:1. Presne toto je známy výsledok detekcie prechodnej zmeny: zmena, ktorá skončí skôr, než sa zavrie rozhodovacie okno, sa stáva zmeškanou detekciou.

Hranica. Únik je platný práve vtedy, keď B_poškodenia < d < tvoj rozpočet na detekciu zmeny. Ak útočník dokáže udržať poškodenie tak dlho, ako musí skutočná zmena pretrvať, aby bola zachytená, okno je prázdne a žiadna architektúra založená na pretrvaní nepomôže — previazanie je v tomto režime neredukovateľné. (Jedna výhrada, na ktorej to stojí: útočník, ktorý o tvojom selektore nevie. Útočník vedomý si detektora, ktorý nastaví B tesne pod d a dokáže ho oťukať, mení pevný limit na hru — otvorená hranica nižšie.)

Ak staviaš pamäť agentov, RAG, dôveru alebo reward modely

Nelaď jedinú rýchlosť rozpadu a nedúfaj — v ťažkých režimoch (jemná zmena, zašumený signál) je to voľba medzi dôverčivosťou a strnulosťou a necháva až ~2× dosiahnuteľnej hranice nevyužité. Ber aktualizáciu ako sekvenčnú detekciu zmeny: detektor založený na pretrvaní (alebo dvojvrstvové úložisko chrániace hodnotu + starnúce podľa recency), s latenciou potvrdenia nastavenou na pomer poškodenie-vs-zmena tvojho toku. Dve výhrady, na ktoré toto nepomôže: útočník, ktorý dokáže udržať poškodenie tak dlho ako skutočnú zmenu (neredukovateľné), a signály, kde je skutočná zmena sama prechodná (vtedy je lepšie rýchle pravidlo — detektor pretrvania by ju prehliadol). Túto klasickú architektúru rýchly/pomalý — tú istú, ktorú neuroveda volá komplementárne učiace systémy — sme zabudovali do nášho otvoreného pamäťového jadra na troch miestach; náš prínos je odmerať, kde sa oplatí a kde sa láme, nie ten dizajn.

Platí to na reálnych dátach?

Nie len simulácie. Otestovali sme to na 16 reálnych, expertom-označených tokoch anomálií (Numenta Anomaly Benchmark — poruchy strojov/teploty, zlé konfigurácie serverov, sieťová/cpu/latenčná telemetria, dopyt po taxíkoch, objem tweetov). Pre každý tok objektívny klasifikátor označí jeho anomáliu ako trvalú (úroveň sa posunie a zostane) alebo prechodnú (výkyv, ktorý sa vráti), potom porovnáme naivný bodový detektor proti detektoru pretrvania (CUSUM), hodnotené počtom falošných poplachov, ktoré každý potrebuje na zachytenie každého označeného okna.

Čistá — a prakticky využiteľná — časť je asymetria:

Na reálnych dátach nie je ani jeden tok s trvalou zmenou lepšie obslúžený naivným detektorom (0 / 6) — pretrvanie vyhráva alebo remizuje na každom z nich. A každú výhru, ktorú naivný detektor získa (5 / 5), získa na prechodnom výkyve.

Takže „je skutočná zmena trvalá?" je postačujúce na to, aby si vedel, že potrebuješ detektor pretrvania — v jednom prípade je rozdiel 0 vs 1181 falošných poplachov. Čo nie je čisté, je opačný smer: prechodné toky sa delia zhruba na polovicu (5 naivné / 5 CUSUM), pretože niektoré „prechodné" anomálie aj tak pretrvajú pár vzoriek a nahromadia sa. Skorší rez na 6 tokoch vyzeral ako dokonalý obojsmerný vzťah „typ predpovedá víťaza"; rozšírenie na 16 tokov ukázalo, že to bola náhoda malej vzorky. Robustné, poctivé tvrdenie je tá asymetria — trvalá ⇒ použi pretrvanie, nikdy nie naopak — nie striktné obojsmerné pravidlo. (Rozsah: 16 tokov, jedna rodina detektorov na každý, jednoduchý klasifikátor založený na posune.)

FalzifikátorAk by jediné agregačné pravidlo bolo na zdieľanom toku súčasne rýchle voči novosti a ohraničené voči poškodeniu (žiadna hranica), alebo by nejaký detektor prekonal spodný limit oneskorenia (robustnosť pri nulovom oneskorení), tvrdenie by bolo nepravdivé. Naprieč mechanizmami sa to nikdy nestalo; pri nulovom oneskorení sa robustnosť zakaždým zrúti; vopred zaregistrovaný nový prípad sa správal podľa predpovede; a na 16 reálnych označených tokoch platila prakticky využiteľná asymetria — žiadny tok s trvalou zmenou nebol nikdy lepšie obslúžený naivným detektorom.

FAQ

Je to nová teoréma alebo zákon? Nie — je to expozičné zjednotenie klasických výsledkov. Previazanie je Grossbergova dilema stability a plasticity; rýchly + pomalý-s-bránou únik sú komplementárne učiace systémy (McClelland, McNaughton & O'Reilly 1995); dvojvrstvová cache je ARC (Megiddo & Modha 2003); spodný limit oneskorenia je optimalita CUSUM (Page 1954; Lorden 1971; Moustakides 1986). Naše je odmeranie naprieč mechanizmami, vopred zaregistrovaná inštancia (prípad dôvery) a asymetria na reálnych dátach — nie nový dôkaz.

Kde zlyhá? Dve hranice. (1) Ak poškodenie dokáže pretrvať tak dlho, ako musí skutočná zmena pretrvať, aby bola zachytená (B ≥ d), je to známy režim zmeškanej detekcie prechodnej zmeny — žiadna architektúra na pretrvaní nepomôže. (2) Ak je samotný signál, ktorý ťa zaujíma, prechodný, rýchle pravidlo prekoná detektor pretrvania. A celý výsledok predpokladá útočníka, ktorý o detektore nevie.

Platí to na reálnych dátach? Asymetricky áno — na 16 expertom-označených NAB tokoch nebol ani jeden tok s trvalou zmenou lepšie obslúžený naivným detektorom; opačný smer nie je čistý. Výhrada: hodnotiaca metrika zvýhodňuje akumulujúci detektor, takže to čítaj ako asymetriu, nie obojsmerné pravidlo.

Čo s tým mám robiť? Ber aktualizácie pamäte / RAG / dôvery / reward ako sekvenčnú detekciu zmeny: detektor založený na pretrvaní (CUSUM) alebo dvojvrstvové úložisko chrániace hodnotu + starnúce podľa recency (dizajn komplementárnych učiacich systémov), s latenciou potvrdenia podľa pomeru poškodenie-vs-zmena tvojho toku.

Súvisiaci výskum

• Otrava pamäte zasiahne AI agentov 70–95 % — a corroboration gate, ktorý to zastaví
• Čo má AI agent zabudnúť? Dve vrstvy bijú každé jediné pravidlo
• Zabíja dlhý kontext RAG? Odmerali sme to

Klasické kotvy (prior art)

• Grossberg — dilema stability a plasticity a Adaptive Resonance Theory: previazanie, riešené bránou na zhodu.
• McClelland, McNaughton & O'Reilly (1995), Psychological Review — komplementárne učiace systémy: rýchly/pomalý-s-bránou únik.
• Megiddo & Modha (2003), USENIX FAST — cache ARC: inštancia dvojvrstvového vyhadzovania, nasadená v ZFS.
• Page (1954), Lorden (1971), Moustakides (1986) — optimalita CUSUM: spodný limit oneskorenia.
• Guépié, Fillatre & Nikiforov (2012), Sequential Analysis — detekcia prechodnej zmeny: hranica B<d. Čísla reprodukovateľné z našej otvorenej sondy.