Pamäťový benchmark · RAMR
RAMR — Retrieval-Augmented Memory Reliability: benchmark odolný voči kontaminácii pre agentic-RAG a pamäťové systémy.
Položky sú náhodné syntetické tokeny, takže žiadny model si odpovede nemohol zapamätať — izoluje mechanizmus vyhľadávania/pamäte. Deväť metrík, spustiteľné, MIT. Vydanie zistení + metódy, nie rebríček: malé vzorky ber ako smerové, poradie je signál.
Hlavné zistenie · naprieč testovanými modelmi
Jeden chýbajúci krok zrúti 3-krokové vyhľadávanie — chain-fragility +1.000 (CI [1.000, 1.000]), n=200.
Identické na 30B lokálnom aj frontier modeli. Výpadok jediného prepojeného faktu je takmer úplný, nie postupný — úplnosť reťazca je dôležitejšia než to, ako čistý kontext vyzerá.
- CONVERSION
úplné vyhľadanie sa premení na správnu viac-krokovú odpoveď (gold presnosť 1.000, n=40).
- CHAIN-FRAGILITY
jeden chýbajúci krok → takmer úplný kolaps (+1.000, CI [1.000,1.000], n=200).
- DISTRACTION
cena zašumeného kontextu je špecifická pre model (+0.15 až +0.60).
- FACT-RETENTION
kompakcia je stratová pri pevnom rozpočte (+0.70 strata pri 400-znakovom rozpočte).
- OUTCOME-RANKED-RECALL
radenie pamäte podľa „bolo to správne“ bije „bolo to nájdené“ (+0.345 až +0.500; CI nad nulou).
- FORGET-PRECISION
po aktualizácii faktu — vráti recall aktuálnu hodnotu? Toto odhalilo a opravilo medzeru pri zmene hodnoty v našom inspeximus.
- COMPRESSION-vs-RAW
pri silnom šume kompilovaný súhrn prehráva s raw kontextom, neprekoná ho (−0.55 pri 50 rozptyľovačoch, n=20).
- TEMPORAL-AS-OF
ingest mimo poradia: supersession sa musí vyriešiť podľa validity-time, nie poradia príchodu (bi-temporal) — tá istá disciplína je teraz v inspeximus v0.2.
- OPERATIONAL-CONTINUITY
pri obnove po kompakcii sa už-dokončená akcia nevykoná znova (idempotentné pokračovanie).
v0.4 prináša aj Folklore Meter — znovupoužiteľnú sondu, ktorá ohodnotí akékoľvek AI-inžinierske folklórne tvrdenie oproti spustiteľnému testu (real / artefakt slabého modelu / špecifické pre režim) — a zdieľanú, sha256-fixovanú sadu dôkazov RAMR↔LS vytvorenú v spolupráci s projektom LS.