Retrieval pre agent memory, odmerané: recency 0,024, vector DB len remizuje s BM25, lacný hybrid vyhráva

Čo sme odmerali. Nástroje na „pamäť agenta" potichu zdedili predvolené nastavenie webového RAG: zaembeduj všetko, ulož do vektorovej databázy, vyhľadávaj cez cosine. Lacné, lokálne hostovateľné možnosti sme postavili proti sebe na reálnom benchmarku multi-session pamäte a zmapovali sme, kde každá z nich zlyháva. Tri veci obstáli aj pod štatistikou rešpektujúcou zhlukovanie: recency / okno „posledných N", ktoré mnohé agentové frameworky reálne dodávajú, je katastrofálne (recall@20 len 0,024); jeden vektorový index — aj so silným embedderom — neprekoná bezzávislostné BM25 (remizuje s ním); a lacný hybrid BM25 + embedder robustne prekoná každý samostatný retriever. Nič z toho nie je nové v information retrieval — reprodukuje to lekciu z BEIR „BM25 je silný baseline" na dátach pamäte agenta — ale spustiteľný receipt a recency číslo stoja za to mať.

Nastavenie. LoCoMo je benchmark veľmi dlhodobej multi-session konverzačnej pamäte. Verejne uvoľnený dataset s 10 konverzáciami má 5 882 dialógových ťahov a ~1 986 otázok (841 single-hop, 282 multi-hop (viac-skokových), 321 temporal, 96 open-domain, plus ~446 adversariálnych); skórujeme 1 531 zodpovedateľných otázok, ktorých zlaté evidence-ťahy sa v prepise nachádzajú. Každá konverzácia je celá multi-session história jedného páru používateľov (~590 ťahov); indexujeme a vyhľadávame v rámci konverzácie — t. j. pamäťový sklad jedného používateľa, vybavujúci si naprieč jeho vlastnými staršími sessions. Pre každú otázku vyhľadáme ťahy a meriame recall@20 — podiel zlatých evidence-ťahov danej otázky, ktoré skončia v top 20 — a full-evidence recall (všetky zlaté ťahy v top 20). Šesť retrieverov, všetky lokálne hostovateľné, všetky bez vychytávok:

• recency — 20 najnovších ťahov, slepé voči dopytu (predvolené „len si nechaj posledných N")
• BM25 — bezzávislostné lexikálne usporiadanie (k1=1.5, b=0.75)
• nomic — nomic-embed-text cosine, spustené správne s povinnými prefixmi search_query: / search_document:
• mxbai — mxbai-embed-large cosine, silný otvorený embedder, s jeho retrieval query promptom
• hybrid_nomic / hybrid_mxbai — Reciprocal Rank Fusion BM25 s každým embedderom

(Skorší návrh tohto behu embedoval nomic bez jeho task prefixov — konfiguračná chyba, ktorú adversariálny re-audit zachytil pred publikovaním. Správny beh zatvoril väčšinu medzery, čo je presne dôvod, prečo opravený príbeh nižšie znie „remíza", nie „BM25 vyhráva".)

Meranie (recall@20).

Čítaj to ako relatívne porovnania na ťažkej úlohe, nie vyriešenej: v absolútnych číslach aj víťazný hybrid vybaví len ~61 % evidence-ťahov pri k=20 a úplnú sadu dôkazov len pre ~55 % otázok (full-evidence recall@20 ≈ 0,549). Vyhľadávanie na úrovni ťahov v multi-session pamäti zďaleka nie je vyriešené — otázka tu je, ktorá lacná možnosť je najmenej zlá a prečo.

Tri výsledky vyčnievajú:

1. 1. Recency je útes, nie baseline. Pri 0,024 recall@20 je ~23× horší než BM25 a prehráva vo všetkých 10 konverzáciách. Vzorec „pamätaj si posledných N správ", ktorý sa dodáva v množstve agentového lešenia, je pre multi-session recall blízko k vyhľadaniu ničoho — dôkaz, ktorý potrebuješ, je roztrúsený naprieč starými sessions, presne tam, kam recency okno nedovidí. V princípe je to najmenej prekvapivý výsledok a v praxi najviac ignorovaný.
2. 2. Vektorová DB tu neprekoná BM25 — remizuje. So silným embedderom je mxbai (0,526) oproti BM25 (0,552) nie významný rozdiel (párový Wilcoxon p = 0,36; 95 % bootstrap CI na medzere na úrovni konverzácií obsahuje nulu). „Pre pamäť agenta potrebuješ vektorovú databázu" nie je ako samostatné tvrdenie na tomto benchmarku podložené. Tam, kde embeddingy vyzerajú hodné svojej ceny, sú multi-hop otázky (mxbai 0,313 vs BM25 0,241 — smerový zisk po kategórii, ktorý sme samostatne signifikančne netestovali) — režim sémantického párovania — kým lexikálne vyhráva na entitnom/temporal recalle.
3. 3. Lacný hybrid vyhráva, robustne. BM25 + mxbai (0,609) prekoná samotné BM25 o +0,057, s bootstrap CI na úrovni konverzácií [+0,039, +0,076] (vylučuje nulu) a výhrou v 9 z 10 konverzácií. Fúzia lexikálneho a sémantického kanála získa späť to, čo každý z nich míňa. Pozoruhodne na to stačí len malý lokálny embedder, nie väčší: hybrid_nomic (0,604) ≈ hybrid_mxbai (0,609).

Pri rozpočte, ktorý reálne máš (k=3–5)

recall@20 je férový strop pre vyhľadávanie, ale agent málokedy minie 20 chunkov kontextu na ťah — v praxi je rozpočet k≈3–5. Preto reportujeme aj menšie cutoffy a obraz sa zaostrí:

Edge hybridu sa pri zmenšovaní k pohybuje opačne voči dvom baseline-om. Voči samotnému vektorovému indexu sa zväčšuje (+0,083 → +0,109 → +0,118 pri k=5 — minúť ten jeden exact-token zásah bolí najviac, keď si môžeš nechať len päť chunkov). Voči samotnému BM25 sa zmenšuje (+0,057 → +0,040 → +0,012 pri k=5): pri reálnom rozpočte je samotné BM25 v podstate hybrid. Takže zmenšovanie k robí záver ešte viac BM25-first, nie menej — marginálna hodnota embeddera klesá, ako sa rozpočet uťahuje. Recency ostáva ~0 po celý čas (0,002 pri k=5).

Prečo je lexikálny kanál tu taký silný

LoCoMo je konverzačné sebarozprávanie: ľudia opätovne používajú tie isté mená, dátumy a slová o udalostiach naprieč sessions, takže otázka a jej zlatý evidence-ťah zvyčajne zdieľajú povrchovú slovnú zásobu. To je najlepší prípad pre lexikálne vyhľadávanie a náročný test pre čistú sémantiku — čo je presne dôvod, prečo je BM25 ťažké prekonať a prečo zisk hybridu pochádza z menšiny otázok (multi-hop, parafráza), kde sa lexikálne prekrytie láme. Zmieruje to aj výsledok, ktorý sme predtým namerali — že naivné RRF nepomáha, keď jeden kanál už dominuje s dobrým embedderom: fúzia sa vypláca iba vtedy, keď sú oba kanály komplementárne a porovnateľne silné, čo je režim, v ktorom LoCoMo sedí a jednoembedderový web-RAG korpus často nie.

Štatistika (pretože 1 531 otázok žije len v 10 konverzáciách)

Bodové odhady na tri desatinné miesta by precenili istotu: 1 531 otázok je vnorených do 10 konverzácií, takže nie sú nezávislé. Preto reportujeme, voči BM25: párový Wilcoxonov signed-rank test na otázku; per-konverzačnú win-rate cez 10 zhlukov; a 95 % bootstrap CI na per-konverzačnej priemernej delte. Poctivý súhrn: recency prehráva (0/10, CI ďaleko pod 0); nomic a mxbai sú od BM25 na úrovni konverzácií štatisticky nerozlíšiteľné (CI obsahujú 0); oba hybridy prekonajú BM25 (9–10/10, CI vylučujú 0). Silné tvrdenia sú recency útes a výhra hybridu; „vektory prekonajú lexikálne" nie je tvrdenie, ktoré tieto dáta podporujú.

Čo robiť namiesto toho

Pre lokálne hostovanú pamäť agenta lacný vrstvený stack prekoná siahnutie po väčšom modeli:

1. 1. Nerob z recency svoje vyhľadávanie. Okno posledných N je v poriadku ako recency bias navrch vyhľadávania, nikdy nie ako samotný retriever — na multi-session pamäti si vybaví takmer nič.
2. 2. Začni s BM25, pridaj embedder ako hybrid. Lexical-first stojí textový index (žiadny model, žiadne GPU, žiadne uložené vektory); embedder potom kúpi robustných +0,057 vo fúzii, s malým lokálnym modelom. Pákou tu nebol väčší embedder; bol to druhý kanál.
3. 3. Vrstvu aktuálnosti pridaj zvlášť. Recall vyhľadávania nie je celý príbeh pamäte: podobnosť nevie odlíšiť nahradený fakt od jeho náhrady (merané samostatne — pozri supersession post nižšie — vektorový sklad servíroval zastaranú hodnotu asi v 42 % prípadov, AUROC ≈ 0,6 pre rozhodnutie zastarané-vs-čerstvé). Aktuálnosť je deterministický problém supersession nad (subject, relation), nie problém vyhľadávania — drž ho mimo embeddera.

Prečo na tom záleží. Reflexívna odpoveď „rozbehni vektorovú DB" pre pamäť agenta nie je na tomto benchmarku ani najlacnejšou, ani najpresnejšou možnosťou — a predvolené recency, ktoré mnohé frameworky dodávajú, je ďaleko horšie než lexikálny index, ktorý preskočili. Výhra je nudná a lacná: lexical-first vyhľadávanie, malý embedder navrch vo fúzii a samostatný ledger aktuálnosti.

Poctivý rozsah

Toto je replikácia s receiptom, nie nový zákon. Smer (lexikálne ≈/≥ zero-shot dense; fúzia pomáha, keď sú kanály komplementárne) je učebnicový — BEIR etabloval BM25 ako silný zero-shot baseline pred rokmi. Konkrétne výhrady: (a) recall@zlatý-evidence-ťah mierne podhodnocuje embeddingy, keďže sémanticky ekvivalentný, ale neanotovaný ťah skóruje nulu; (b) LoCoMo má vysoké lexikálne prekrytie a je jednojazyčne anglický — workload náročný na parafrázy alebo cross-lingválny (napr. vyhľadávanie naprieč jazykmi, kde BM25 skóruje nulu) by posunul medzeru smerom k embeddingom; (c) jeden benchmark, vanilla retrievery, žiadny reranker. Čísla sú priemery cez 1 531 otázok a reprodukujú sa pri opätovnom behu z nacachovaných embeddingov.

Súvisiaci výskum

• Prečo RAG servíruje zastarané fakty: supersession blind spot, reprodukované — problém aktuálnosti, ktorý samotné vyhľadávanie nevyrieši.
• Zabíja dlhý kontext RAG? — keď „len vyhľadaj viac / hoď tam všetko" prestane fungovať.
• Vie korroborácia zastaviť otravu pamäte AI agenta? — dôvera, nielen recall, v pamäti agenta.

FAQ

Potrebuješ vektorovú databázu pre pamäť AI agenta? Nie ako svoju jedinú vrstvu vyhľadávania, na základe tohto dôkazu. Na LoCoMo jeden vektorový index — aj so silným embedderom (mxbai-embed-large) — neprekonal bezzávislostné BM25 (recall@20 0,526 vs 0,552, štatisticky remíza). Vektory si zarobili na svoju cenu len vnútri hybridu (BM25 + embedder = 0,609) a na multi-hop/sémantických otázkach. Začni s BM25; pridaj embeddingy ako fúzovaný druhý kanál.

Prečo je pamäť založená na recency taká zlá? Recency (drž posledných N ťahov) je slepá voči dopytu, takže na multi-session pamäti, kde je relevantný fakt v starej session, si vybaví takmer nič — recall@20 0,024, ~23× horšie než BM25, prehráva vo všetkých 10 konverzáciách. Použi recency ako tie-breaker navrch vyhľadávania, nikdy nie ako samotný retriever.

Vyrieši to väčší embedder? Nie. Silný embedder (mxbai-embed-large) bol štatisticky nerozlíšiteľný od BM25 aj od malého lokálneho nomic-embed-text vnútri hybridu (hybrid 0,604 vs 0,609). Pákou bolo pridanie lexikálneho kanála, nie škálovanie modelu.

Je „BM25 prekonáva vektory" nový poznatok? Nie — toto reprodukuje známy výsledok BEIR, že BM25 je silný zero-shot baseline, tu na dátach pamäte agenta so spustiteľným skriptom. Aj uhol „pravdepodobne nepotrebuješ vektorovú DB" je už dobre prešliapaný; náš prínos je odmeraný receipt a čísla recency a hybridu, nie názor.

FalzifikátorAk na tej istej množine LoCoMo jeden vektorový index so silným embedderom (spustený so správnymi prefixmi, bez rerankera) prekoná BM25 na recall@20 s CI na úrovni konverzácií, ktoré vylučuje nulu — alebo ak recency okno dosiahne recall na úrovni BM25 — kľúčové tvrdenia padajú. Skript a surové výsledky po metódach sú verejné a embeddingy sa deterministicky regenerujú, takže ktokoľvek to vie zreprodukovať alebo vyvrátiť.