Reality-check pre obrany proti otrave pamäte agentov: rezíduum oceníš, nezavrieš

Pasca. AI agenta, ktorý sa učí z vlastnej pamäte, sa dá otráviť: naservíruj mu fakt dosť často a z dosť uhlov a začne podľa neho konať. Inštinkt je navrstviť obrany — dôveruj hodnote len ak ju potvrdí viac zdrojov, váž pamäť reputáciou agenta, ohranič, čoho sa smie nepreverená pamäť dotknúť, pridaj anomália-monitor — a predpokladať, že sa vrstvy vynásobia do steny. Týždeň sme skladali presne takýto stack proti trpezlivému travičovi a potom každú vrstvu red-teamli do zabitia. Vrstvy sú reálne a každá pomáha. Nevynásobia sa do steny. Proti útočníkovi, čo je ochotný počkať, sa poskladajú do oceniteľného, odvolateľného rezídua — a každé tvrdenie o tom, prečo sa skladajú, je učebnicové. To je poctivý výsledok a je užitočnejší než stena, ktorú postaviť nevieme.

Nie je to náš nápad — a treba to povedať nahlas. „Redundantné obrany nepadajú nezávisle, takže ich pass-raty nemôžeš vynásobiť" je najstaršia lekcia spoľahlivosti. Eckhardt & Lee (1985) a Littlewood & Miller (1989) formalizovali koincidentné zlyhanie: nezávisle-postavené redundantné kanály padajú závisle, takže nezávislosť nesmieš predpokladať (poraziť ju vie len zámerne vynútená diverzita — a tá tam väčšinou nie je). Reputačná polovica je tiež uzavretá — Cheng & Friedman (2005) dokázali, že žiadna netriviálna symetrická reputačná funkcia nie je Sybil-proof, Douceur (2002) je sama Sybil nemožnosť a Friedman & Resnick (2001) ocenili „cheap pseudonyms" whitewashing daň. Capability ceilings sú Saltzer & Schroeder (1975) least-privilege; detekčná podlaha je Page (1954) / Lorden (1971) / Moustakides (1986) CUSUM; deterrence matematika je Becker (1968); a „detektor napojený na signál, ktorý útočník ovláda, padne útočníkovi, čo ten signál dodá" je Carlini & Wagner (2017). Stojíme na tom celom. Naše je len toto: štyri kompozičné tvrdenia overené proti tej literatúre, malý harness, čo ukáže, že tie killy zaberú na reálnej pamäti agenta, a päť bežateľných primitív postavených, keď sme poznali ich limity.

Štyri nosné tvrdenia sme pustili cez päť-šošovkovú verifikáciu (Storm) skôr, než sme napísali slovo. Všetky štyri sa vrátili správne — a učebnicové. Ten pár je pointa: to, že je tvrdenie učebnicové, nie je dôvod ho zahodiť, je to dôvod citovať prior art a nikdy ho neobliekať za nové.

Tvrdenie 1 — „navrstvenie je superaditívne" je naopak; multiplikatívny súčin je NULL. Keby dve obrany padali nezávisle, úspech útočníka by bol súčin dvoch pass-ratov. Ten súčin je independence null (Bliss 1939), nie synergia — „superaditívna ochrana" by znamenala poraziť ho, teda rezíduum pod súčinom. Reálne obrany zdieľajú zlyhania, takže koincidentné zlyhanie ťa tlačí nesprávnym smerom, nad súčin. Nazvať stack „superaditívnym" bez nullu je najčastejší overclaim v defense-in-depth a prichytili sme sa, ako ho ideme spraviť. (Ktorý null — Bliss-multiplikatívny alebo Loewe-aditívny — je sám nevyriešený v literatúre o kombinačných efektoch, nezmierený od Saariselkä dohody z 1992; presne preto musíš jeden uviesť.)

Tvrdenie 2 — earned-reputation a authenticated-identity padajú SPOLU proti trpezlivému sleeperovi. Jedna autentifikovaná identita, čo si potichu vybuduje reálne standing, uspokojí obidva gaty naraz — identity aj reputačný — takže to nie sú dve nezávislé dane, je to jedna common-cause os. Náš harness to nedokazuje, robí to konkrétnym: s poisonom zmiešaným do LoCoMo pamätí (jeden poison model, jeden retriever), čo si falšuje vlastný počet potvrdzujúcich zdrojov, väčšina poisonu si zaslúži standing na vlastnej genuine užitočnosti a útočník, čo si standing nabankuje pred otočením, zmaže benefit gatu úplne. Ani jedno nie je prekvapivé meranie — obe sú lokálne potvrdenia adaptive-attacker kánonu: gate napojený na užitočnosť nevie oddeliť užitočný poison od užitočnej-ale-nepreverenej legitímnej pamäte, takže ich blokne v zhruba rovnakej miere. Žiadna free separation, lebo standing sleduje užitočnosť, nie preverenú správnosť. Jediná vrstva naozaj nezávislá od Sybil identity je standing-nezávislý capability ceiling — čoho sa nepreverená-doménová pamäť štrukturálne nesmie dotknúť, nech vyzerá akokoľvek užitočne či dobre-reputovane.

Tvrdenie 3 — per-akciový blast ceiling nezastaví pomalý multi-shot; ceiling musí byť kumulatívny. Ohranič každú akciu a trpezlivý útočník proste salámuje: veľa individuálne v-medziach, v-doméne akcií, čo sa nasčítajú za prah nezvratnosti. Sub-threshold agregácia porážajúca per-event limity je pomenovaný vzor (salami-slicing; ten istý tvar ako low-and-slow podvod, nedávno demonštrovaný aj proti multi-turn LLM systémom). Takže ceiling musí byť vynútený na kumulatívnom per-source, per-doména vplyve — a v momente, keď sledíš kumulatívnu štatistiku, zdedíš železný zákon change-point detektora: detekčnú podlahu. CUSUM average-run-length-vs-delay dualita (Lorden 1971; exaktne podľa Moustakides 1986) hovorí, že vymieňaš false alarmy za to, ako dlho pomalý útočník beží, kým ho chytíš. Tú podlahu nemôžeš nastaviť na nulu.

Tvrdenie 4 — standing je hot-path fenomén, takže väčšina pamäte ho nikdy nezíska. Reputáciu naberá len opakovane-použitá pamäť. Reuse pamäte má ťažký chvost — one-hit-wonderi (objekty vyžiadané práve raz) dominujú cache a preferential attachment (Barabási–Albert 1999) koncentruje reuse na hlavu — takže veľký, permanentný chvost legitímnej pamäte je štrukturálne sub-standing a dá sa vládnuť len capability ceilingom, nikdy earned trustom. Reputation-only obrana potichu opúšťa studený chvost, čo je presne tam, kde žije čerstvý poison.

Takže čo naozaj zostane: oceniteľné rezíduum, nie stena. Poskladaj tie štyri a poctivý obraz je detekčná podlaha, ktorú vieš posunúť, nie zavrieť. CUSUM-typ monitor na kumulatívnom per-source vplyve chytí neopatrného traviča, ale jeho referenčná miera k je oceňujúca daň, nie prah, ktorý si vieš priať na nulu: útočník, čo drží per-source bad-rate na alebo pod k, nedá štatistike žiadny očakávaný drift, takže jej detekčná latencia je neohraničená — chytíš ho len tak, že prijmeš neohraničené false alarmy. Proste nazbiera ohraničené k × exposure. Znížiť k, aby si ho honil, len kúpi tie false alarmy na tvojich poctivých high-variance zdrojoch; je to Goodhartov zákon a prah povie salámovému útočníkovi presne, ako tenko krájať. Páka, čo zostane, je Becker (1968) deterrence: sprav, aby očakávaný trest prevýšil zisk. To znamená, že naakumulované standing samo musí byť kaucia — chytený raz, prepadneš celé — aby trpezlivý sleeper nevedel prebankovať jeden zlý čin. Rezíduum posunieš na oceniteľnú, tolerovanú mieru za ľudským reviewerom. Nezavrieš ho.

Nosný substrát je provenance, čo prežije transformáciu — starý nápad, stále nedostavaný. Každá vrstva vyššie predpokladá, že vieš pripísať zlý outcome späť pamäti, čo ho spôsobila. Ale agenti pamäte neustále sumarizujú, zlievajú a prepisujú, a naivná provenance zomrie pri prvej sumarizácii. Ak odvodený záznam nezdedí pôvod svojich rodičov ako tranzitívny taint, trpezlivý útočník proste vyperie svoj poison cez jeden sumarizačný krok a celý deterrence stack stratí obžalovaného. Information-flow tracking a dynamic taint analysis majú päťdesiat rokov (Denning 1976); čo sme nevideli shipnuté, je tranzitívny taint poháňajúci retroaktívne prepadnutie vnútri pamäťového jadra agenta — nie source-tagging, čo si prečítaš, ale línia, čo prežije sumarizáciu a vie odvolať standing spätne. Bystrý čitateľ (jacksonxly, vo vlákne r/RAG, čo to celé začalo) toto správne označil za tú časť, čo je dôležitá.

Čo sme shipli — päť primitív, každá s limitom napísaným v kóde. Učebnicová teória neznamená, že plumbing existuje; väčšinou nie. Do nášho open-source pamäťového jadra inspeximus sme pridali: remember(derived_from=…) — tranzitívny taint, takže sumarizovaný výrez stále pripíše svojmu pôvodu (substrát); influence_gate_report() — standing gate, poctivý, že jeho cena je závislá od hustoty (v riedkom store blokne veľkú časť legitímnej pamäte, v hustom oveľa menej) a od orákula; slash(scope='source') — retroaktívne prepadnutie celého naakumulovaného standing chyteného zdroja, čím sa reputácia stane kauciou; restore() — odvolateľné odvolanie, lebo slashovať na nedokonalom detektore je zbraň; a monitor(ids, outcome, k, h) — per-source CUSUM, ktorého kumulatívny breach je detekčná udalosť, s auto_slash defaultne vypnutým. Ten default je celá lekcia: driftujúca base rate garantuje false alarmy, taint znamená, že jeden false positive vie zničiť downstream strom, a ak je outcome signál útočníkom ovplyvniteľný — memory-injection útok ako MINJA navedie otrávené záznamy cez bežnú interakciu, bez prístupu k backendu — auto-trigger sa stane rámujúcou zbraňou (nakŕm zlé outcomy pripísané cez taint rivalovi a auto-slashol si rivala, čo je RepTrap bad-mouthing bez človeka v slučke). Sedemdesiat rokov automatizovaných trestných systémov skonvergovalo na ten istý tvar: automatická detekcia, ľudsky-preskúmateľný odvolateľný trest, nikdy auto-odpálené prepadnutie.

Najväčší caveat, povedaný priamo: celý deterrence stack je zastavaný na outcome orákule, čo väčšina nasadení nemá. Standing, CUSUM, slash aj „oceňovanie", čo robí rezíduum odvolateľným, potrebujú označený signál škody na meranie. Vyhoď to orákulum — a v produkcii sú outcomy zvyčajne riedke, oneskorené alebo nikdy nepripísané — a štyri z piatich vrstiev zmŕtvejú, spadnú späť na holú provenance. Trpezlivý útočník neporáža oceňovanie; volí si long-fuse, difúzne-škodlivé payloady, ktorých škoda sa nikdy nevyrieši na pripísateľnú udalosť, a meter sa nepohne. Kde orákulum nie je, funguje iný druh obrany: read-time certified robustness (RobustRAG-štýl isolate-then-aggregate; Xiang et al. 2024) ohraničí vplyv ľubovoľných k otrávených pamätí štrukturálne, pri retrievale, bez outcome signálu a bez oceňovania — sedí úplne mimo logiky rezídua. Priestor životaschopných obrán sa rozvetvuje podľa toho, či outcome orákulum existuje.

Poctivý scope. Nenašli sme Sybil-proof blast cap — Cheng & Friedman hovoria, že žiadny nie je, a náš harness je jedna demonštrácia prečo, nie dôkaz. Nezbenchmarkovali sme standing-nezávislý doménový ceiling; argumentovali sme, že je to jediná Sybil-nezávislá os, a shipli sme gate, ale plný ceiling, čo zostane užitočný a pritom blokuje cold-tail poison, je navrhnutý, nie meraný — takže ho neprezentujeme ako fix. Naše čísla sú jeden poison model na jednom benchmarku s jedným retrieverom: ilustratívne existenčné dôkazy, nie miery, čo by si prenášal inam. A Matthew-effect rámec je Merton (1968) sociológia, analógia, nie mechanizmus, čo sme merali.

Odkaz. Skôr než tvrdíš, že vrstvená obrana „násobí" proti otrave pamäte: pomenuj svoj null (je to súčin a koincidentné zlyhanie ťa dáva pod neho), skontroluj, či dve tvoje vrstvy nie sú v skutočnosti jedna Sybil identita, daj ceiling na kumulatívny vplyv a nie na akciu, pamätaj na studený chvost, kam tvoja reputácia nikdy nesiahne — a spýtaj sa najprv, či vôbec máš outcome orákulum, čo celá schéma potrebuje. Čo postaviť vieš tam, kde ho máš, je oceniteľné, odvolateľné rezíduum nad provenance, čo prežije transformáciu; kde ho nemáš, siahni po read-time certified robustness. Prvú sadu sme shipli ako bežateľné primitíva v inspeximus, každý limit napísaný vedľa kódu.

FalzifikátorKeby proti trpezlivému útočníkovi, čo si vopred zaslúži standing a potom drží bad-rate na alebo pod monitorovým k, ktorákoľvek vrstva vyprodukovala redukciu blastu bez zodpovedajúcej straty užitočnosti a pri falšovateľnej identite, téza „oceniteľné rezíduum" by bola zlá — to by bola tá free separation, čo Cheng & Friedman hovoria, že existovať nemôže. Nevyprodukovala: redukcia sledovala stratu užitočnosti, pre-earner ju zmazal a pod-k útočník nechal štatistiku bez driftu na akumuláciu.

FAQ

Je „vrstvené obrany násobia" niekedy správne? Len ak vrstvy padajú nezávisle — a redundantné obrany takmer nikdy nepadajú (Eckhardt & Lee 1985; Littlewood & Miller 1989). Multiplikatívny súčin je null, čo musíš poraziť, aby si tvrdil synergiu; koincidentné zlyhanie dáva reálne stacky pod neho. Pomenuj null skôr, než tvrdíš superaditivitu.

Nezastaví otravu korroboračný či reputačný gate? Zdvihne cenu, nezavrie ju. Korroborácia je falšovateľná čerstvými zdrojmi; reputácia je Sybil-zaslúžiteľná tým, že si najprv genuine užitočný, a trpezlivý pre-earner ju porazí úplne — adaptive-attacker výsledok (Carlini & Wagner 2017) a Cheng & Friedman (2005): žiadna netriviálna symetrická reputácia nie je Sybil-proof.

Čo je k a prečo ho nemôžeš proste znížiť? k je per-source bad-rate, čo CUSUM monitor toleruje, kým začne akumulovať. Útočník na alebo pod k nedá štatistike žiadny očakávaný drift, takže detekčná latencia je neohraničená — k je cena, nie stena. Znížiť ho, aby si ho honil, zdvihne false alarmy na poctivých high-variance zdrojoch — Goodhart, a povie salámovému útočníkovi presne, ako tenko krájať.

Prečo monitor() netrestá automaticky pri breachi? Lebo outcome signál môže byť útočníkom ovplyvniteľný (MINJA) a s tranzitívnym taintom jeden false positive vie zničiť celý downstream strom. Auto-odpálenie prepadnutia spraví z detektora rámujúcu zbraň (RepTrap bad-mouthing). Detekcia je automatická; odvolateľný trest potrebuje človeka a restore() je jedno volanie.

Čo ak môj agent nemá označené outcomy? Potom sa ťa väčšina tohto netýka — standing, CUSUM, slash aj oceňovanie potrebujú signál škody na meranie. Siahni namiesto toho po read-time certified robustness (RobustRAG-štýl isolate-then-aggregate; Xiang et al. 2024), čo ohraničí vplyv otrávenej pamäte pri retrievale bez orákula. Priestor obrán sa rozvetvuje podľa toho, či to orákulum existuje.

Čo je tu vlastne nové? Nie teória — je to učebnicová kompozícia, Sybil, change-point a adaptive-attacker výsledky, všetko citované. Naše je demonštrácia, že killy zaberú na reálnej pamäti agenta, rámec „oceniteľné rezíduum, nie stena" s pomenovaným outcome-orákulum caveatom a päť bežateľných primitív postavených na tranzitívnom tainte, čo poháňa prepadnutie — plumbing, nie princíp.