Does long context kill RAG? We ran it — and both viral camps are wrongZabíja dlhý kontext RAG? Spustili sme to — a oba virálne tábory sa mýlia
A loud fight keeps recurring: one camp says "with a big enough context window you don't need retrieval — dump everything in, the fact must be somewhere"; the other says "long context rots — quality collapses past ~100k tokens." We ran a judge-free probe to settle it. The answer is neither: it's the task type, not the length. Single-fact lookup is perfect even at 110k tokens; read-everything aggregation collapses by ~25k and never recovers. So "RAG is dead" is false for anything that combines facts, and "context rot kills recall" is too strong for simple lookup. This replicates a known effect (lost-in-the-middle, context rot, RULER) — the point is a clean, reproducible, neutral adjudication of the viral fight.Stále sa opakuje hlasná hádka: jeden tábor hovorí "s dosť veľkým kontextovým oknom nepotrebuješ vyhľadávanie — nahádž všetko dnu, fakt tam niekde je"; druhý "dlhý kontext hnije — kvalita padá po ~100k tokenoch." Spustili sme judge-free test, nech to rozhodne. Odpoveď je ani jeden: je to o type úlohy, nie dĺžke. Lookup jedného faktu je dokonalý aj pri 110k tokenoch; agregácia naprieč všetkým sa zrúti pri ~25k a už sa nezotaví. Takže "RAG is dead" je nepravda pre čokoľvek, čo kombinuje fakty, a "context rot zabíja recall" je prehnané pre obyčajný lookup. Replikuje to známy efekt (lost-in-the-middle, context rot, RULER) — pointa je čisté, reprodukovateľné, neutrálne rozhodcovstvo virálnej hádky.
The fight
Three mutually-contradictory positions go viral, none of them neutrally benchmarked:
- "Don't do RAG / CAG": preload the whole corpus into a long context; "it must be somewhere", so retrieval is obsolete.
- "Context rot": effectiveness drops sharply past ~100k tokens, regardless of the advertised window.
- "RAG still wins": brute-force context-stuffing loses to a well-built retriever on accuracy, cost, and speed.
They can't all be right. The disagreement is testable — so we tested it.
The test (smallest runnable model, judge-free)
A synthetic structured log of N records (region, shipments, status). Two task families on the same log at four growing lengths (~5k → ~110k tokens):
- NEEDLE — single-record lookup ("how many shipments did Record 04210 report?"). What CAG predicts stays easy.
- SYNTH — read-everything aggregation (counts, max-by-region, filters). What context-rot predicts collapses.
Exact gold, no LLM judge (set-containment / integer match). The reader is a frontier long-context model, and it answered from reading the log into its context — not by grepping or running code (that's enforced, and the result self-validates: a script would make aggregation perfect too).
The result
| context length | NEEDLE (lookup) | SYNTH (aggregation) |
|---|---|---|
| ~5k tokens | 1.00 | 0.75 |
| ~25k | 1.00 | 0.375 |
| ~60k | 1.00 | 0.25 |
| ~110k | 1.00 | 0.375 |
Needle recall is perfect at every length, including 110k. Synthesis collapses to ~0.25–0.38 by 25k and never recovers. Tellingly, at 110k the model itself reported it "could not reliably aggregate by mental tally over a log this size" — which is exactly the failure, and confirms it answered from the context rather than a script. One nuance the data shows: it is exhaustive aggregation — counting and filtering across all records — that collapses; finding a single extreme (the maximum) often survives even at 110k, because that is effectively one pass, not a full tally. So the failure is specifically combine-everything, not scan-for-one.
The verdict
FAILED — for CAG's "it must be somewhere ⇒ correct answer", on synthesis. Long context does not replace retrieval for anything that must combine information across the window; that breaks early and stays broken. But needle lookup survives long context fine, so the blanket "context rot kills recall past 100k" is also too strong. The honest rule: it's the task, not the length. Use long context for find-the-fact; use retrieval (or structured decomposition) for combine-the-facts. Both viral headlines conflate the two.
Why this is a fair, valid probe
- Judge-free — exact gold, no LLM grading.
- Self-validating — needle staying flat at 1.0 while synthesis collapses proves the model answered from its context; a grep/script would make synthesis perfect too.
- Same model, same data, only length varies — so the effect is the length×task interaction, not a model or prompt artifact.
Honest limitationsWe replicate a known phenomenon (lost-in-the-middle, Liu et al. 2023; Chroma "context rot", 2025; RULER, NVIDIA 2024) — no new discovery. Scope: one frontier model, synthetic structured haystacks, lengths up to ~110k (not the 1M the loudest claims invoke), and n=8 synthesis questions per length (so the 0.25↔0.38 wiggle is noise; the 0.75→~0.3 collapse is the signal). The contribution is the neutral, runnable, judge-free adjudication of the viral fight, not the underlying effect.
The whole probe is one generator + a length-swept reader + a scorer; the haystacks, questions, and gold regenerate from one command. If you want to know where your model's aggregation breaks, run it on your model and your data — that's the point.
FAQ
Does a bigger context window replace RAG? No. In our test, single-fact lookup (the needle) stays perfect at 1.00 at every length, but synthesis/aggregation accuracy collapses from 0.75 to ~0.3 as context grows 5k→60k tokens. “Dump everything in the prompt” fails for any question that aggregates across the context.
What is context rot? The measured degradation of a model’s ability to use information as the input grows — even when the needed fact is present. We reproduce it: retrieving one fact survives long context, but reasoning that combines many facts degrades steeply.
Is RAG still needed with long-context models? Yes, for aggregation and synthesis workloads. Long context handles single-fact lookup fine; RAG protects multi-fact reasoning by keeping the working set small instead of forcing the model to aggregate over a huge window.
At what context length does aggregation break? In our runnable, judge-free probe the collapse is already steep by ~25k tokens — earlier than the “~100k” folklore. The exact breakpoint depends on your model and data; the probe regenerates from one command so you can measure your own.
Related research
Hádka
Virálne idú tri navzájom protirečivé pozície, ani jedna neutrálne odmeraná:
- "Nepotrebuješ RAG / CAG": nahádž celý korpus do dlhého kontextu; "musí tam niekde byť", takže vyhľadávanie je zbytočné.
- "Context rot": účinnosť prudko padá po ~100k tokenoch, bez ohľadu na inzerované okno.
- "RAG stále vyhráva": brute-force napchávanie kontextu prehráva s dobre postaveným retrieverom na presnosti, cene aj rýchlosti.
Nemôžu mať všetci pravdu. Nezhoda je testovateľná — tak sme ju otestovali.
Test (najmenší bežateľný model, bez sudcu)
Syntetický štruktúrovaný log N záznamov (región, zásielky, stav). Dve rodiny úloh na tom istom logu pri štyroch rastúcich dĺžkach (~5k → ~110k tokenov):
- NEEDLE — lookup jedného záznamu ("koľko zásielok nahlásil Record 04210?"). Čo CAG predpovedá, že ostane ľahké.
- SYNTH — agregácia naprieč všetkým (počty, max-podľa-regiónu, filtre). Čo context-rot predpovedá, že sa zrúti.
Presný gold, žiadny LLM sudca (množinové obsiahnutie / zhoda celých čísel). Čitateľ je frontier long-context model a odpovedal z čítania logu vo svojom kontexte — nie grepom ani spúšťaním kódu (to je vynútené a výsledok sa sám validuje: skript by spravil agregáciu tiež dokonalou).
Výsledok
| dĺžka kontextu | NEEDLE (lookup) | SYNTH (agregácia) |
|---|---|---|
| ~5k tokenov | 1.00 | 0.75 |
| ~25k | 1.00 | 0.375 |
| ~60k | 1.00 | 0.25 |
| ~110k | 1.00 | 0.375 |
Needle recall je dokonalý pri každej dĺžke, vrátane 110k. Syntéza padá na ~0.25–0.38 už pri 25k a nezotaví sa. Príznačne, pri 110k model sám nahlásil, že "nedokáže spoľahlivo agregovať mentálnym sčítaním nad logom takejto veľkosti" — čo je presne to zlyhanie, a potvrdzuje, že odpovedal z kontextu, nie skriptom. Jedna nuansa z dát: rúti sa vyčerpávajúca agregácia — počítanie a filtrovanie naprieč všetkými záznamami; nájdenie jediného extrému (maximum) často prežije aj pri 110k, lebo to je vlastne jeden prechod, nie úplné sčítanie. Takže zlyháva špecificky skombinuj-všetko, nie nájdi-jeden.
Verdikt
FAILED — pre CAG "musí tam niekde byť ⇒ správna odpoveď", na syntéze. Dlhý kontext nenahrádza vyhľadávanie pri ničom, čo musí kombinovať informácie naprieč oknom; to sa láme skoro a ostáva zlomené. Ale needle lookup dlhý kontext zvláda dobre, takže plošné "context rot zabíja recall po 100k" je tiež prehnané. Čestné pravidlo: je to o úlohe, nie dĺžke. Dlhý kontext na nájdi-fakt; retrieval (alebo štruktúrovaný rozklad) na skombinuj-fakty. Oba virálne titulky to zlievajú dokopy.
Prečo je to férová, validná sonda
- Bez sudcu — presný gold, žiadne LLM hodnotenie.
- Sebavalidujúca — needle držiaci sa na 1.0, kým syntéza padá, dokazuje, že model odpovedal z kontextu; grep/skript by spravil syntézu tiež dokonalou.
- Rovnaký model, rovnaké dáta, mení sa len dĺžka — takže efekt je interakcia dĺžka×úloha, nie artefakt modelu či promptu.
Čestné limityMy replikujeme známy jav (lost-in-the-middle, Liu a kol. 2023; Chroma "context rot", 2025; RULER, NVIDIA 2024) — žiadny nový objav. Rozsah: jeden frontier model, syntetické štruktúrované kopy, dĺžky do ~110k (nie 1M, ktorý vzývajú najhlasnejšie tvrdenia), a n=8 syntéznych otázok na dĺžku (takže ten 0.25↔0.38 výkyv je šum; kolaps 0.75→~0.3 je signál). Prínos je neutrálne, bežateľné, judge-free rozhodcovstvo virálnej hádky, nie samotný jav.
Celá sonda je jeden generátor + reader naprieč dĺžkami + skórovač; kopy, otázky aj gold sa regenerujú jedným príkazom. Ak chceš vedieť, kde sa láme agregácia tvojho modelu, spusti to na svojom modeli a svojich dátach — o to ide.
FAQ
Nahradí väčšie kontextové okno RAG? Nie. V našom teste vyhľadanie jedného faktu (ihla) zostáva perfektné na 1.00 pri každej dĺžke, ale presnosť syntézy/agregácie kolabuje z 0.75 na ~0.3 ako kontext rastie 5k→60k tokenov. „Nahádž všetko do promptu“ zlyhá pre každú otázku, ktorá agreguje naprieč kontextom.
Čo je context rot? Odmeraná degradácia schopnosti modelu použiť informáciu ako vstup rastie — aj keď je potrebný fakt prítomný. Reprodukujeme to: vyhľadanie jedného faktu prežije dlhý kontext, ale uvažovanie kombinujúce viacero faktov prudko klesá.
Je RAG stále potrebný pri modeloch s dlhým kontextom? Áno, pre agregačné a syntézne úlohy. Dlhý kontext zvládne vyhľadanie jedného faktu; RAG chráni viackrokové uvažovanie tým, že drží pracovnú množinu malú namiesto nútenia modelu agregovať cez obrovské okno.
Pri akej dĺžke kontextu sa agregácia zlomí? V našej bežateľnej sonde bez sudcu je kolaps prudký už pri ~25k tokenoch — skôr než folklórnych „~100k“. Presný zlom závisí od tvojho modelu a dát; sonda sa regeneruje jedným príkazom, takže si odmeriaš svoj.