Reality-check pre „method wins“ v AI pamäti: štyri naše boli resource confoundy

Pasca. Pri RAG a pamäti agentov nový trik takmer vždy „porazí baseline" na prvý beh — šikovnejší re-ranker, korroboračný gate, dekomponovaný sudca. Nasadíš to a v polovici prípadov ten zisk nebola metóda: bol to dlhší prompt, viac tokenov, proxy feature, alebo známa nemožnosť v novom kabáte. Nie je to nový poznatok. Je to najstaršia lekcia empirického ML — a tento mesiac nás chytala znova a znova, tak sme si zapísali, ako sa teraz snažíme zabiť vlastné výsledky skôr, než im uveríme.

Nie je to náš nápad. „Nájdi zdroj deklarovaného zisku skôr, než pripíšeš metóde; výhry miznú pri férovom porovnaní" je celý žáner. Lipton & Steinhardt pomenovali presne túto chybu — „neschopnosť identifikovať zdroje empirických ziskov." Ferrari Dacrema a spol. porazili 6 zo 7 neurónových odporúčačov poriadne vyladenými jednoduchými baselinami. Musgrave a spol. zistili, že dekáda „pokroku" v metric learning je pri rovnom porovnaní okrajová. Henderson a spol. vystopovali zisky deep-RL k seedom a implementácii. Bouthillier a spol. ukázali, že single-run delty sa vyparia, keď zmodeluješ varianciu. My stojíme na tomto žánri; naše sú štyri čerstvé receipty v AI pamäti, dva sme skoro nasadili. (Naše porovnania retrieverov robíme rovnako.)

Päť killov — čítaj ich ako diagnostiku, nie verdikt. Keď kill zabere, neznamená to „zlá metóda". Znamená to, že zisk neprichádza odtiaľ, kde si ho pomenoval, takže confound nezovšeobecníš. (1) Najprv variancia — daj bootstrap CI na per-item delty; delta vnútri šumového pásma nie je výsledok. (2) Compute- a plumbing-match — ak metóda robí K volaní alebo K× tokenov, daj baseline rovnaký rozpočet aj rovnaký judge/generation prompt; compute-výhra môže byť správna produkčná voľba, ale máš vedieť, že to je to, čo si kúpil. (3) Proxy-vs-target — pridaj lacný proxy arm (dĺžka, recency, „len minúť viac tokenov"); ak proxy remizuje s metódou, metóda je ten proxy. (4) Ablation-to-localize — vypni deklarovaný mechanizmus; ak sa číslo takmer nepohne, ten mechanizmus nie je zdroj. (5) Nemožnosť / prior-art — redukuje sa to na známu nemožnosť (Sybil, Douceur 2002) alebo pomenovaný princíp (Biba integrita, risk-based access control)? Ohranič claim a zvyšok cituj.

Receipt A — proxy kill zabije norm re-ranker. Náš vlastný nápad: nomic drží raw normy vektorov, tak re-rankuj podľa normy a „vytiahni recall, čo cosine zahadzuje". Fungovalo — norm-aware re-rank porazil cosine o +0,043 recall@10 na LoCoMo (bootstrap CI vylučuje 0). Potom proxy arm: raw norma koreluje −0,71 s počtom tokenov a čistý length prior ju presne remizuje — norma mínus dĺžka = −0,0001, CI [−0,026, +0,026], prechádza nulou. Žiadny signál špecificity nad rámec dĺžky. Cross-cutting gotcha: veľkosť embeddingu sleduje dĺžku, potichu kazí recency/importance heuristiky aj každú voľbu cosine-vs-dot — ten istý length confound, čo nafukuje skóre LLM-sudcov. (K vlastnému setupu paperu o norm-specificite sa nevyjadrujeme — nereprodukovali sme ho.)

Receipt B — compute kill zabije náš vlastný „decomposition law" (poctivo ohraničené). Tvrdili sme, že dekomponovaný sudca (skontroluj každé pod-tvrdenie) porazí holistického a rozdiel rastie so zložitosťou. Pri jednom tesnom volaní to vyzeralo obrovsky — Δ až +1,00 pri 8 pod-tvrdeniach. Ale dekompozícia robí K volaní = K× tokenov. Daj holistickému sudcovi rovnaké tokeny a Δ = 0 pri každej zložitosti, naprieč deepseek-v4-flash, deepseek-v4-pro, kimi-k2.6 (dve rodiny) a Claude — a Δ = 0 aj na reťazených logických klamoch. Poctivé ohraničenie, nahlas: toto rozpúšťa náš zákon len v režimoch, kde dekompozícia aj tak nemala náskok. Nerozpúšťa dekompozíciu všeobecne. Publikovaný výsledok dekompozičného sudcu žije v režime, ktorý sme netoken-matchovali a ktorý stojí — Theoria hlási 90,6 % vs 62,5 % na detekcii skrytých premís. A „extra tokeny dodávajú reasoning" je samo osebe sporné: Pfau a spol. ukazujú, že filler tokeny vedia nahradiť chain-of-thought, ale len na špecifických syntetických úlohách a len s hustým dohľadom na naučenie; Lanham a spol. zistili, že filler nedá žiadny zisk na prirodzených benchmarkoch. Matched-compute je nutná kontrola, nie univerzálne vysvetlenie.

Receipt C — discrimination kill zabije poison-monitor, čo sme navrhli. Náš korroboračný gate dôveruje hodnote pri ≥2 odlišných zdrojoch; dve čerstvé domény to sfalšujú, tak sme navrhli stateful monitor, čo flagne all-fresh-source bursty. Nevie odlíšiť koordinovaný Sybil burst od dvoch genuine nových zdrojov, čo reportujú naraz — true-positive rate = false-positive rate = 1 v fresh-burst režime — a dripnutý či pred-zostarnutý cluster ho obíde. Nie detektor; false-positive plocha.

Receipt D — nemožnosť kill na nápade čitateľa (s kreditom). Vo vlákne r/LangChain jacksonxly navrhol škálovať authority pamäte podľa blast-radius akcie. Jeho inštinkt je správny a postavili sme a stress-testli to s ním: vracia recall tail. Ale high-stakes vrstva stále stojí na nefalšovateľnom independence teste, takže sa mapuje na Sybil-cost frontier, ktorý Douceur formalizoval v 2002, a mechanicky je to štandardná risk-based / Biba-integrita autorizácia (CaMeL je súčasná agent-side formulácia). Dobrý nápad, správne ohraničený — nie debunk.

Nástroj (a presne to, čo NErobí). reality_check.py má ~120 riadkov, nula závislostí. Beží dva z piatich killov v kóde — variance CI a proxy tie-test — na paired skóre-listoch, čo ty dodáš. Nebeží tvoju metódu, nerobí za teba compute-matching a nekoriguje viacnásobné porovnania; compute-match, ablation a impossibility check sú disciplína, čo aplikuješ ty. Jeho self-demo vráti PROXY-SUSPECTED na norm=length prípade a LOCATED na naozaj-reálnej syntetickej metóde, takže nie je len detektor confoundov. Bootstrap CI zachytáva item-level sampling varianciu, nie plnú run-to-run seed varianciu — pooluj viac seedov, ak chceš tú.

Poctivý scope. Neukázali sme, že dekompozícia je zbytočná (jej hidden-premise režim stojí), že norm paper je zlý (vlastný setup, netestované), ani že compute-match je produkčný verdikt (v produkcii sú latencia a token budget tie constrainty). Súvisiaci confound, čo sme nehonili: parametrická leakage — „retrieval win", čo je v skutočnosti base model odpovedajúci z pamäte. Killy chytia lacné confoundy; metóda môže prejsť všetkými piatimi a byť reálna, alebo padnúť a stále pomáhať v režime, čo si netestoval.

Odkaz. Skôr než uveríš, že tvoja memory/RAG metóda porazila baseline: matchni compute, pridaj proxy arm, daj CI na deltu. Dva naše to prežili; dva sa rozpustili do dĺžky a tokenov; jeden bol 24-ročná nemožnosť. Pusti to na svojom kandidátovi — receipty sú git clone && python probe.py a vypíšu každé číslo.

FalzifikátorKeby si pri matchnutých tokenoch a proti length proxy naše dva rozpustené výhry udržali náskok, killy by boli divadlo. Neudržali — naprieč štyrmi modelmi a dvomi rodinami, na dátach, kde je ground truth nezávislá od sudcu.

FAQ

Je „kontroluj compute pred pripísaním metóde" nový nápad? Nie — je to reality-check / strong-baseline žáner (Lipton & Steinhardt 2018; Ferrari Dacrema 2019; Musgrave 2020; Henderson 2018; Bouthillier 2021). Náš príspevok sú štyri merané AI-memory inštancie plus malý bežateľný helper, nie ten princíp.

Dokazuje to, že dekomponovaný sudca nefunguje? Nie. Rozpúšťa to náš vlastný dekompozičný claim len v režimoch, kde nemal náskok pri matchnutom compute. Publikovaný hidden-premise výsledok (Theoria, 90,6 % vs 62,5 %) je v režime, ktorý sme netoken-matchovali a nedotýkame sa ho — stojí.

Čo reality_check.py reálne robí? Dva killy na paired skóre-listoch, čo dodáš: bootstrap interval spoľahlivosti na method−baseline (variancia) a tie-test method−proxy (je zisk odlíšiteľný od lacného proxy). Nebeží tvoj experiment ani nematchuje compute; to je disciplína.

Je compute-matchnutá prehra to isté ako zbytočná metóda? Nie — je to diagnostika. Metóda, ktorá si drží výhru len míňaním viac tokenov, môže byť správna voľba, ak si tie tokeny môžeš dovoliť; pointa je vedieť, že to je to, čo kupuješ.