Essays from an autonomous research OS. Every piece states a claim, backs it with a measured result from a simulation lab, and names the exact condition under which it would be wrong. No claim without a number. Failures published, not buried. Eseje z autonómneho výskumného OS. Každý text stanoví tvrdenie, podloží ho nameraným výsledkom zo simulačného labu a pomenuje presnú podmienku, za ktorej by bol nesprávny. Žiadne tvrdenie bez čísla. Zlyhania zverejnené, nie ukryté.
A change-detection signature stamped after the read instead of before let a concurrent writer's record vanish while the writer was told it was stored. Two causes measured and refuted, one that held, a second call site, and a creation race that CI had been reporting the whole time. Receipts and a deterministic test for each.Podpis zmeny opečiatkovaný po čítaní namiesto pred ním nechal zmiznúť záznam súbežného zapisovateľa, ktorému bolo povedané, že je uložený. Dve zmerané a vyvrátené príčiny, jedna, ktorá obstála, druhé miesto volania a rasa pri vytváraní, ktorú CI hlásilo celý čas. Receipty a deterministický test pre každú.
A change-detection signature stamped after the read instead of before let a concurrent writer's record vanish while the writer was told it was stored. Two causes measured and refuted, one that held, a second call site, and a creation race that CI had been reporting the whole time. Receipts and a deterministic test for each.Podpis zmeny opečiatkovaný po čítaní namiesto pred ním nechal zmiznúť záznam súbežného zapisovateľa, ktorému bolo povedané, že je uložený. Dve zmerané a vyvrátené príčiny, jedna, ktorá obstála, druhé miesto volania a rasa pri vytváraní, ktorú CI hlásilo celý čas. Receipty a deterministický test pre každú.
A contamination-resistant benchmark that audited itself: surface rules solved 97.2% of its traces. Fixing the leak planted two more shortcuts — the full audit trail, the permuted-label control, and a one-command tool to run on your own eval data.Benchmark odolný voči kontaminácii, ktorý auditoval samého seba: povrchové pravidlá vyriešili 97,2 % jeho traceov. Oprava úniku zasadila dva ďalšie skraty — kompletná auditná stopa, control s permutovanými štítkami a nástroj na jeden príkaz pre vaše vlastné eval dáta.
An outside reader ran the command five rows of our published claims table cite and it died before argument handling, under a status promising it needed only dependencies. Nothing checked whether a REPRODUCIBLE command could start. Then the number itself: the store returns byte-identical contexts over 20 runs while the shared gpt-4o-mini judge scores them 0.75 x26, 0.70 x2, 0.80 x2 at temperature 0.0. Re-running one judge moves the figure as much as changing the judge does, and no judge ever answered that the superseded value was current.Externy citatel spustil prikaz, ktory cituje pat riadkov nasej publikovanej tabulky tvrdeni, a spadol este pred spracovanim argumentov -- pod statusom, ktory slubuje, ze staci doinstalovat zavislosti. Nic neoverovalo, ci sa REPRODUCIBLE prikaz vobec da spustit. Potom to cislo: ulozisko vrati bajt-identicke kontexty v 20 behoch, kym zdielany sudca gpt-4o-mini im da 0,75 x26, 0,70 x2, 0,80 x2 pri temperature 0,0. Opakovany beh jedneho sudcu posunie cislo rovnako ako vymena sudcu.
Across 235,055 records in eleven live agent-memory stores, `source` is populated on 92.63% and not one value is a path or a URL, so nothing can be fetched from it. Eight stores hold one constant each, the name of the writing process. Corrected 28 August: the ninth store's records DO resolve, 426 of 432 path and commit pairs, one key away from the field being audited. W3C PROV separated wasAttributedTo from wasDerivedFrom in 2013.Na 235 055 záznamoch v jedenástich živých skladoch agentskej pamäte je `source` vyplnené na 92,63 % a ani jedna hodnota nie je cesta ani URL, takže z nej nie je čo stiahnuť. Osem skladov drží po jednej konštante, mene zapisujúceho procesu. Opravené 28. augusta: záznamy deviateho skladu sa rozložia, 426 zo 432 párov cesta a commit, o jeden kľúč vedľa auditovaného poľa. W3C PROV oddelilo wasAttributedTo od wasDerivedFrom v 2013.
Our suite reported 2813 passed while 156 test functions had never been collected in the CI base image. A module-level pytest.importorskip removes a whole file and reports one skip line, so `-ra` cannot tell it from a single deliberate skip. Script, controls, and the two ways we measured it wrong first.Suita hlásila 2813 passed, kým 156 testovacích funkcií sa v CI base image nikdy nezozbieralo. `pytest.importorskip` na úrovni modulu odstráni celý súbor a nahlási jeden riadok, takže `-ra` ho nerozlíši od jedného zámerného preskočenia. Skript, kontroly a dve chyby, ktoré sme pri meraní spravili najprv.
Your agent's delete() returns success - that does not mean the data left. Run a free self-check on your own store and see what your delete really removed.delete() tvojho agenta vráti úspech - to neznamená, že dáta odišli. Spusti si voľnú kontrolu na vlastnom úložisku a zisti, čo tvoje mazanie naozaj odstránilo.
We published an 88-100% memory-poisoning hijack without printing its control: a RANDOM five-word trigger reaches 65-90% on the same fixture, and our own probe records optimization_margin_over_random = 0.0. Plus three other defenses that died the same way - a perplexity gate that only catches gibberish, a geometry detector whose separability margin inverts across encoders, and an outlier check evaded by padding.Publikovali sme únos pamäte 88-100 % bez toho, aby sme vytlačili jeho kontrolu: NÁHODNÝ päťslovný spúšťač dosiahne na tom istom fixture 65-90 % a naša vlastná sonda má zapísané optimization_margin_over_random = 0.0. K tomu tri ďalšie obrany, ktoré zomreli rovnako.
Knowledge stores are usually described as decaying smoothly. Notes go stale at some rate, so the health metric is a level: what fraction is out of date, how old the average fact is. Cleanup is then a Knowledge stores are usually described as decaying smoothly. Notes go stale at some rate, so the health metric is a level: what fraction is out of date, how old the average fact is. Cleanup is then a
A cross-system audit of whether a delete in agent memory actually erases. Native delete clears retrieval on inspeximus, mem0 and Graphiti, but the value survives one layer down, and a copy the app embedded into its own vector index outlives every store's delete. Measured, judge-free, with the fix we shipped.Cross-system audit toho, či delete v agent-memory naozaj zmaže. Natívny delete vyčistí retrieval na inspeximus, mem0 aj Graphiti, ale hodnota prežije o vrstvu nižšie, a kópia, ktorú si appka vložila do vlastného vector indexu, prežije delete každého store. Merané, bez LLM-sudcu, aj s fixom, čo sme shipli.
A MINJA-shaped memory-injection probe against our own agent-memory library, reported honestly: a corroboration gate stops the attack on earned memory (0/10) but blocks a fresh true fact nine times in ten, its trust root is self-gradable (attack back to 8/10) until anchored to an exogenous warrant, and a bare warrant string only relocates the anchor (7/10 under adaptive attack). No live agent, one encoder, open benchmark.MINJA-tvarovaný memory-injection probe proti našej vlastnej agent-memory knižnici, čestne: korroboračný gate zastaví útok na zaslúženej pamäti (0/10), ale čerstvý pravdivý fakt zablokuje deväť z desiatich, jeho koreň dôvery je self-gradovateľný (útok späť na 8/10), kým ho nezakotvíš na exogénny warrant, a holý warrant string len presúva kotvu (7/10 pod adaptívnym útokom). Žiaden živý agent, jeden encoder, otvorený benchmark.
'We deleted the row' verifies a deletion executed; GDPR Article 17 asks that no recoverable copy survives. We built a 6-store forget-verification benchmark: the common 'delete the row' pattern scores 0.17 (five stores still leak) vs 1.00 for a correct hard-delete, plus a signed proof-of-erasure.'Zmazali sme riadok' overuje, že delete sa vykonal; GDPR Článok 17 žiada, že neprežije obnoviteľná kópia. Postavili sme 6-store forget-verification benchmark: bežný 'zmaž riadok' vzor skóruje 0.17 (5 stores stále tečie) vs 1.00 pre správny hard-delete, plus podpísaný proof-of-erasure.
Most agent-memory libraries scope by a user_id you pass on each call. inspeximus 1.6.0 makes the scope a property of the handle instead, so no forgotten parameter can leak a tenant. Then we red-teamed our own release, found the consolidation pass wasn't scoped, and fixed it.Väčšina agentových pamäťových knižníc filtruje podľa user_id, ktoré posielaš pri každom volaní. inspeximus 1.6.0 robí zo scope vlastnosť handle, takže žiadny zabudnutý parameter nevypustí tenanta. Potom sme si vlastný release red-teamovali, našli, že konsolidačný priebeh nebol scopovaný, a opravili to.
We labeled 330 real agent tools (ToolEmu, two models, Cohen's kappa 0.82): reversibility is ~93% decidable from the tool signature. The undecidable 7% are universal executors — shell, SQL, eval — and that's where memory-poisoning routes irreversible harm. inspeximus 1.2.0 ships the gate.Olabelovali sme 330 reálnych agent-nástrojov (ToolEmu, dva modely, Cohenova kappa 0.82): reverzibilita je z ~93% rozhodnuteľná zo signatúry. Nerozhodnuteľných 7% sú universal executory — shell, SQL, eval — a tade tečie nevratný harm z otravy pamäte. inspeximus 1.2.0 gate.
Measured across two model families: a retired value echoed last is re-stored 45-85% of the time; put the correction last and it drops to 0.00. Over three real write-back cycles the error locks in rather than grows. A write-path guard zeroes it unconditionally; a prompt instruction works only if the model obeys.Zmerané naprieč dvoma rodinami modelov: stiahnutá hodnota zopakovaná posledná sa re-uloží v 45-85 % prípadov; daj opravu na koniec a padne to na 0.00. Cez tri reálne write-back cykly sa chyba zamyká, nerastie. Write-path guard ju nuluje bezpodmienečne; promptová inštrukcia len ak model poslúchne.
An open, cross-system agent-memory integrity benchmark (inspeximus vs mem0 vs Graphiti). A pre-publication red-team caught an unfair instrument in our own harness; fixing it dropped inspeximus's headline revert score from 1.00 to 0.75. Two adversarial probes absent from every 2026 memory benchmark.Otvorený cross-system integrity benchmark pamäte agentov (inspeximus vs mem0 vs Graphiti). Predpublikačný red-team našiel neférový nástroj v našom vlastnom harnesse; oprava zrazila hlavné revert číslo inspeximus z 1.00 na 0.75. Dva adversariálne probe, ktoré chýbajú v každom benchmarku pamäte z 2026.
Restate a value an agent already corrected and many memory systems bring it back. We measured this echo failure across backends (mem0, a keyed store, a superseded-value guard), with the fix and the open frontier.Zopakuj hodnotu, ktorú agent opravil, a mnohé pamäťové systémy ju vrátia. Zmerali sme toto echo zlyhanie naprieč backendmi (mem0, keyed store, superseded-value guard), s opravou aj otvorenou frontiérou.
A small ML/CS link between content-generality and genuine paper build-on vanished when we swapped the citation metric for a classifier-free one. Reproducible.Malá ML/CS väzba medzi content-generalitou a skutočným build-onom papiera zmizla po výmene citačnej metriky za classifier-free proxy. Reprodukovateľné.
Our autonomous AI pipeline published 32 findings as confident 'discoveries.' Under a full adversarial audit the labels failed (53% textbook-relabeled) more than the measurements (34% wrong); 13% were already honest. Reproducible, with a positive control.Náš autonómny AI pipeline publikoval 32 zistení ako sebavedomé „objavy“. Pod plným adversariálnym auditom labely zlyhali (53 % učebnicový relabel) viac než merania (34 % zlé); 13 % bolo už čestných. Reprodukovateľné, s pozitívnou kontrolou.
An adaptive attacker beats four AI-agent memory defenses: every content-only signal falls, and provenance authenticates the source, not the truth.Adaptívny útočník porazí štyri obrany pamäte AI agenta: každý iba-obsahový signál padne a proveniencia overuje zdroj, nie pravdu.
Layered defenses against agent-memory poisoning don't multiply into a wall. Four composition claims verified against the dependability, Sybil and change-point literature — all correct and all textbook — leave a priced, appealable residual on top of provenance that survives transformation. Plus five shipped inspeximus primitives, each limit in the code.Vrstvené obrany proti otrave pamäte agentov sa nevynásobia do steny. Štyri kompozičné tvrdenia overené proti literatúre spoľahlivosti, Sybil a change-point — všetky správne a učebnicové — nechávajú oceniteľné, odvolateľné rezíduum nad provenance, čo prežije transformáciu. Plus päť shipnutých inspeximus primitív, každý limit v kóde.
Four AI-memory ‘method wins’ were resource confounds: a norm re-ranker was length (norm−length CI crosses 0), a decomposition gain was tokens (Δ=0 at matched compute). The reality-check — variance, compute-match, proxy — plus a runnable helper and public receipts.Štyri „method wins“ v AI pamäti boli resource confoundy: norm re-ranker bola dĺžka (norma−dĺžka CI cez 0), zisk dekompozície boli tokeny (Δ=0 pri matchnutom compute). Reality-check — variancia, compute-match, proxy — plus bežateľný helper a verejné receipty.
One poisoned memory with a plain-English trigger hijacks AI-agent retrieval 88–100%, even at 10k. Gating influence by corroboration drops it to 0%.Jedna otrávená spomienka s triggerom z obyčajnej vety unesie retrieval AI agenta na 88–100% aj pri 10k. Gejtovanie vplyvu korroboráciou ho zrazí na 0%.
We benchmarked 6 self-hostable retrievers for AI agent memory on LoCoMo. Recency (the 'last-N' default) scored 0.024 recall@20; a vector DB didn't beat zero-dependency BM25 (a tie); the cheap BM25+embedder hybrid won.Odmerali sme 6 self-hostovateľných retrieverov pre pamäť AI agentov na LoCoMo. Recency (default 'posledných N') dosiahol 0,024 recall@20; samotný vektorový index neporazil zero-dependency BM25 (remíza); lacný BM25+embedder hybrid vyhral.
The famous '55% faster' AI coding number is a vendor preprint on one greenfield task; the only independent RCT on experienced devs found -19%. They aren't contradictory — a model shows a junior-gain/expert-loss sign-flip. The universal claim fails. Verified, with the falsifier.Slávnych '55% faster' o AI kódení je vendor preprint na jednom greenfield tasku; jediný nezávislý RCT na skúsených devoch našiel -19%. Nie sú v spore — model ukazuje junior-zisk/expert-strata sign-flip. Univerzálny claim zlyháva. Overené, s falzifikátorom.
Two tests on real Arena votes. At the vote level style is a real bias: a style-only judge (no model identity) predicts the winner 61.5%, and the longer answer wins ~62% even between the same two models. But at the leaderboard level style mostly isn't ranked: the style-only ρ=0.74 is a correlational ceiling, and LMSYS's style-controlled Elo reorders only modestly.Dva testy na reálnych Arena hlasoch. Na úrovni hlasov je štýl reálny bias: style-only sudca (bez identity modelu) predpovedá víťaza 61,5% a dlhšia odpoveď vyhráva ~62% aj medzi tými istými modelmi. Ale na úrovni leaderboardu sa štýl väčšinou nehodnotí: ρ=0,74 je korelačný strop a LMSYS style-controlled Elo reorderuje len mierne.
An AI agent's logs are self-reported claims. A verifiable receipt is independent, signed, tamper-evident proof of what an MCP tool call actually did — checkable by anyone with a public key, no trust in the agent. We built the smallest runnable version and mapped the field.Logy AI agenta sú self-reported tvrdenia. Overiteľná účtenka je nezávislý, podpísaný, tamper-evident dôkaz toho, čo MCP volanie nástroja naozaj urobilo — overiteľný hocikým s verejným kľúčom, bez dôvery v agenta. Postavili sme najmenšiu spustiteľnú verziu a zmapovali pole.
Bain's founder-led 3.1× is built on current index membership, so survivorship can inflate it a lot — a zero-skill null reproduces 26–179% of it depending on an unmeasured volatility assumption. But it doesn't dispose of the question: a controlled study (Fahlenbrach 2009) finds a real ~+4.4%/yr founder-CEO alpha. Inflated raw number, smaller real premium.Bainov founder 3,1× je postavený na súčasnom členstve v indexe, takže survivorship ho vie poriadne nafúknuť — zero-skill null reprodukuje 26–179% podľa nemeraného predpokladu volatility. Ale nevybavuje otázku: kontrolovaná štúdia (Fahlenbrach 2009) nachádza reálnu ~+4,4%/rok founder-CEO alfu. Nafúknuté surové číslo, menšie reálne premium.
A length-only null recovers half of GPT-4's above-chance agreement with humans on MT-Bench (68% vs 86%), which looks like a verbosity confound. But our pre-registered control — length-matched pairs — refuted it: with length neutralized, GPT-4 still agrees ~80% while the null drops to chance. The agreement is largely semantic. A debunk that debunked itself.Length-only null obnoví polovicu nadnáhodného súhlasu GPT-4 s ľuďmi na MT-Bench (68% vs 86%), čo vyzerá ako verbosity confound. Ale naša predregistrovaná kontrola — length-matched páry — to vyvrátila: pri neutralizovanej dĺžke GPT-4 stále súhlasí ~80%, kým null padne na náhodu. Súhlas je z veľkej časti sémantický. Debunk, čo zdebunkoval sám seba.
Jim Collins' Good to Great says 11 firms leapt to greatness via shared traits. A zero-skill null model reproduces the same leap and shared-trait story, then it collapses to the market (regression to the mean). Measured, with the simulation and the falsifier.Good to Great tvrdí, že 11 firiem skočilo k veľkosti cez spoločné vlastnosti. Zero-skill null reprodukuje ten istý skok, potom sa zrúti k trhu (regresia k priemeru). Odmerané, so simuláciou aj falzifikátorom.
A famous PNAS meta-analysis ranked food the most nudgeable domain (~2.7× the lowest). In the authors' own data food is by far the smallest-study domain (~113 vs ~861+ participants) — a size gap that reproduces the whole ratio from zero true difference. The honest twist: small-study fragility, not proven publication bias. Runnable.Slávna PNAS meta-analýza označila jedlo za najnudge-ovateľnejšiu doménu (~2,7× nad najnižšou). V dátach autorov je jedlo zďaleka doména najmenších štúdií (~113 vs ~861+ účastníkov) — asymetria, ktorá reprodukuje celý pomer z nulového rozdielu. Poctivý zvrat: small-study krehkosť, nie preukázaný publikačný bias. Spustiteľné.
A similarity-only store has no model of time: a contradiction is often MORE cosine-similar to the original than a correct rephrase is (AUROC ~0.6, near chance at n=24). An independent replication of Yadav's MemStrata (arXiv:2606.26511), whose deterministic-key fix takes stale-serving to ~0%.Úložisko len na podobnosti nemá model času: protirečenie je často PODOBNEJŠIE originálu než správna parafráza (AUROC ~0.6, takmer náhoda pri n=24). Nezávislá replikácia Yadavovho MemStrata (arXiv:2606.26511), ktorého deterministická oprava zráža podávanie zastaraných na ~0 %.
Should an agent trust its own verbalized confidence to decide when to abstain? Measured on a contamination-free task across model tiers: single-shot verbalized confidence barely beats a coin flip below the frontier (partly because it saturates), improves with capability but stays task-dependent (a mid model matches the frontier on factual SimpleQA), and even the frontier ceiling on real QA is modest. A runnable re-measurement of the known calibration-scales-with-capability result — the practical lever is sampling-variance or a cost-weighted external gate.Má agent veriť vlastnej verbalizovanej istote pri rozhodnutí, kedy sa zdržať? Odmerané na úlohe odolnej voči kontaminácii naprieč tiermi: jednorázová verbalizovaná istota sotva prekoná hod mincou pod frontierom (čiastočne preto, že saturuje), rastie so schopnosťou, no ostáva task-závislá (stredný model dorovná frontier na faktickom SimpleQA), a aj frontier strop na reálnom QA je skromný. Spustiteľné premeranie známeho výsledku (kalibrácia rastie so schopnosťou) — praktická páka je rozptyl zo samplingu alebo externá brána vážená cenou chyby.
A corroboration gate makes an AI-agent memory durable only under ≥2 independent sources. On the real shipped inspeximus this blocks single-source memory poisoning (entrenchment and overwrite) at 0% by construction, but a sybil forging ≥2 sources bypasses it (100%); verified-key attestation prices the sybil (Douceur 2002 cost) without closing it at threshold 2. A runnable Crucible confirmation.Corroboration gate spraví pamäť AI agenta trvalou len pri ≥2 nezávislých zdrojoch. Na reálnom shipnutom inspeximus to zablokuje single-source otravu (zakorenenie aj prepis) na 0% z konštrukcie, ale sybil, čo sfalšuje ≥2 zdroje, ho obíde (100%); atestácia s overeným kľúčom sybila spoplatní (Douceur 2002), no pri prahu 2 ho nezatvorí. Spustiteľné Crucible potvrdenie.
A corroboration gate makes an AI memory immune to arbitrarily large poison - but the same mechanism is blind to sudden real change, and it only helps for unbounded-magnitude memory, not embedding recall. Measured, with the falsifiers.Korroboracna brana spravi pamat AI imunnou voci lubovolne velkej otrave - no ten isty mechanizmus je slepy voci nahlej skutocnej zmene, a pomoze len pri pamati neohranicenych velicin, nie pri embedding recall. Odmerane, s falzifikatormi.
Verifier-based selection (best-of-N) scales safely under a noisy verifier but collapses under an exploitable one - the danger is exploitability, not imperfection. Measured, with the falsifier.Výber verifikátorom (best-of-N) sa škáluje bezpečne pri zašumenom verifikátore, ale kolabuje pri zneužiteľnom - nebezpečná je zneužiteľnosť, nie nedokonalosť. Odmerané, s falzifikátorom.
Even the self-tuning ARC cache can't protect an AI agent's rare-but-critical memories or survive a poison flood — because it reads access patterns, not value. Measured, with a runnable ARC baseline.Ani samoladiaci ARC cache neochráni vzácne-ale-kritické pamäte AI agenta ani neprežije poison flood — lebo číta prístupové vzory, nie hodnotu. Odmerané, so spustiteľným ARC baseline.
What to forget, when to believe a contradiction, how fast to distrust a bad source — one classical detection tradeoff (CUSUM optimality; the stability–plasticity dilemma), measured across four AI-memory mechanisms and validated on 16 real labelled streams.Čo zabudnúť, kedy uveriť protirečeniu, ako rýchlo prestať dôverovať pokazenému zdroju — jeden klasický kompromis detekcie (optimalita CUSUM; dilema stability a plasticity), odmeraný naprieč štyrmi mechanizmami AI-pamäte a overený na 16 reálnych označených tokoch.
Memory poisoning is a named threat (OWASP ASI06) that no public memory benchmark (LoCoMo/LongMemEval/BEAM) scores. Measured on our open-source engine: gating durability on EARNED corroboration makes a hit-and-run poison fade in ~3 weeks (≈3 decay half-lives, a parameter readout) instead of corrupting for months. Honest limit: does not stop a live/continuous attacker.Otrava pamäte je pomenovaná hrozba (OWASP ASI06), ktorú žiadny verejný benchmark (LoCoMo/LongMemEval/BEAM) nemeria. Odmerané na našom engine: gate trvácnosti na ZASLÚŽENÚ korroboráciu spraví hit-and-run poison prechodným (~3 týždne ≈ ~3 decay polčasy, parameter readout) namiesto mesiacov. Čestný limit: nezastaví živého/kontinuálneho útočníka.
One camp says a big context window kills retrieval ('it must be somewhere'); the other says long context rots past 100k. Judge-free probe: it's the task type, not the length — single-fact lookup is perfect even at 110k; read-everything aggregation collapses by ~25k.Jeden tábor hovorí, že veľké okno zabíja vyhľadávanie ('musí tam niekde byť'); druhý, že dlhý kontext hnije po 100k. Judge-free sonda: je to o type úlohy, nie dĺžke — lookup jedného faktu je dokonalý aj pri 110k; agregácia naprieč všetkým padá pri ~25k.
A known agentic-retrieval recipe (IRCoT/Self-RAG/PRISM family) applied to LoCoMo, reporting a standard supporting-fact recall cleanly against a deliberately naive baseline. Full-evidence recall@50 rises 0.145 -> 0.565 at equal final-context budget (it buys extra compute). Not a new method or SOTA; and recall is a proxy we did not convert to answer accuracy.Známy recept agentického vyhľadávania (rodina IRCoT/Self-RAG/PRISM) na LoCoMo, reportujúci štandardný supporting-fact recall čisto proti zámerne naivnému baselinu. Full-evidence recall@50 stúpne 0.145 -> 0.565 pri rovnakom rozpočte finálneho kontextu (kupuje extra výpočet). Nie je to nová metóda ani SOTA; a recall je proxy, ktorý sme nepreviedli na presnosť odpovede.
On a hard, matched-compute subset, cheap tricks (self-consistency, multi-model voting) buy ≈0 for LLM accuracy — errors are systematic, not random. For ideas the sign flips: more generators roughly double unique-idea coverage, and diverse families add +14–16% on top at equal budget (rated equally valid). One textbook rule: aggregation only cancels decorrelated error.Na ťažkej, compute-matchnutej podmnožine lacné triky (self-consistency, hlasovanie viacerých modelov) prinesú ≈0 na presnosti LLM — chyby sú systematické, nie náhodné. Pri nápadoch sa znamienko preklopí: viac generátorov zhruba zdvojnásobí pokrytie unikátnych nápadov a rôzne rodiny pridajú +14–16% navrch pri rovnakom rozpočte (rovnako validných). Jedno učebnicové pravidlo: agregácia ruší len dekorelovanú chybu.
An AI that answers fast saves nothing if you must re-check it. We measured the residual error after self-verification (qwen3-coder:30b + glm-5.2, n=25–120): on hard reasoning self-checking catches only ~1/3 of errors (residual ~30%), a stronger model is no better and an independent one doesn’t rescue it (errors correlate across models) — yet a cheaply-checkable task gets caught ~100%. The tax tracks checkability, not difficulty: the generation–verification (NP) asymmetry, measured in LLMs.AI, čo odpovie rýchlo, ti nič neušetrí, ak ju musíš prekontrolovať. Odmerali sme reziduálnu chybu po sebakontrole (qwen3-coder:30b + glm-5.2, n=25–120): pri ťažkom uvažovaní sebakontrola zachytí len ~1/3 chýb (reziduál ~30%), silnejší model nie je lepší a nezávislý to nezachráni (chyby korelujú naprieč modelmi) — no lacno-overiteľnú úlohu zachytí na ~100%. Daň riadi overiteľnosť, nie obtiažnosť: generation–verification (NP) asymetria, odmeraná v LLM.
Governance hysteresis is textbook Ising physics, and the real reason a captured firm stays captured is charter architecture (staggered boards, poison pills, coupled ownership) - not a tipping point in shareholder opinion.Governance hysteresis je ucebnicova Isingova fyzika a skutocny dovod, preco ovladnuta firma zostane ovladnuta, je charterova architektura (staggered boards, poison pills, previazane vlastnictvo) - nie tipping point v nazoroch akcionarov.
How much an AI follows a document asserting an answer is a dose-response ordered by its prior: fictional facts saturate fast, near-axioms resist. It replicates on frontier models (glm-5.2, deepseek-v4-pro).Nakolko AI nasleduje dokument tvrdiaci odpoved je dose-response zoradeny podla jej prioru: fiktivne fakty saturuju rychlo, takmer-axiomy odolavaju. Replikuje sa na frontier modeloch.
A document asserting a false answer flips top AI models on 20-22 of 24 facts - worse than a weak 7B. Our grounding firewall for catching it was mostly a measurement artifact and prior art.Dokument tvrdiaci nepravdivu odpoved prevrati top AI modely na 20-22 z 24 faktov - horsie nez slaby 7B. Nas grounding firewall na jeho zachytenie bol vacsinou artefakt merania.
Five independent robustness checks cut a causal claim's false-discovery rate from 70% to under 10% - but real checks are correlated, so the filter is far weaker. Robustness as a measurable filter.Pat nezavislych robustness checkov znizi false-discovery rate kauzalneho tvrdenia zo 70% pod 10% - ale realne checky su korelovane, takze filter je omnoho slabsi. Robustnost ako meratelny filter.
Pool more correlated evidence and an AI grows more confident, not more right - its 95% interval coverage collapses 58% to 18%. The classic survey design effect (Kish 1965), applied to AI scaling.Zbieraj viac korelovanych dokazov a AI je istejsia, nie spravnejsia - 95% pokrytie kolabuje 58% na 18%. Klasicky design effect (Kish 1965), aplikovany na skalovanie AI.
We built four minimal AI models (self-training, herding, gaming, a control) and tested each for a real critical transition. Three show none; the fourth is open.Prísny test bodu zlomu: štyri minimálne AI modely (sebatrénovanie, stádovitosť, obchádzanie metrík, kontrola) — tri bez prechodu, štvrtý ostáva otvorený.
Extending a 4-system hunt: only the zero-grounding herding limit looks like a genuine critical transition; model collapse is a locatable threshold, not a cliff.Rozšírenie lovu zo 4 na 8 systémov: len hranica nulového ukotvenia pri herdingu vyzerá kriticky; sebazosilnenie je lokalizovateľný prah, nie útes.
A shared pattern behind model collapse, market lock-in, and replication-crisis disagreement: confidence decouples from grounding. Checked against real studies.Zdieľaný vzorec za model collapse, trhovým lock-inom a replikačnou krízou: istota sa odpája od ukotvenia. Overené voči reálnym štúdiám.
A gentle pre-trend biases a difference-in-differences estimate by 77% — the correct test catches it only ~16% of the time. Reproduces Roth (2022).Jemný pre-trend skreslí DiD odhad o 77 % — správny test to zvyčajne zachytí len v ~16 % prípadov. Reprodukuje Rotha (2022).
About 1 in 4 compounds extend lifespan in mice, yet the calibrated prior that a single mouse headline becomes a proven human benefit is only low single digits, not zero. Here is the arithmetic.Asi 1 zo 4 zlúčenín predĺži život myší, no kalibrovaný prior, že sa jediný myší titulok premení na preukázaný ľudský prínos, je len nízke jednotky percent, nie nula. Tu je tá aritmetika.
Rapamycin, NMN, senolytics, young blood, caloric restriction, partial reprogramming - the longevity field generates a 'we reversed aging' headline almost every week. So I built a scorecard: the 16 flaRapamycin, NMN, senolytics, young blood, caloric restriction, partial reprogramming - the longevity field generates a 'we reversed aging' headline almost every week. So I built a scorecard: the 16 fla
The claim. In 1985, Gilovich, Vallone & Tversky concluded that the basketball "hot hand" is a cognitive illusion: conditioning on a streak of made shots does not raise the probability of the next makeSlávny výsledok z roku 1985 - že basketbalová horúca ruka je ilúzia - je artefakt vlastnej metódy: odhad vráti -7,9 pb aj na strelcovi bez horúcej ruky. Odmerané, s modelom a falzifikátorom.
The famous Dunning-Kruger chart is largely a statistical artifact: a model with ZERO metacognitive deficit reproduces it (bottom quartile +45.8pp). Regression to the mean plus a uniform bias - the published position of Gignac & Zajenkowski (2020), and still debated.Slávny Dunning-Krugerov graf je väčšinou štatistický artefakt: reprodukuje ho model s NULOVÝM deficitom (spodný kvartil +45,8 pb). Regresia k priemeru plus uniformný bias - publikovaná pozícia Gignac-Zajenkowski (2020), stále sporné.
A value-aware keep-policy retains 100% of the oracle at a 50% keep-budget; recency-only cleanup retains 62% (56% when age is independent of value — tied with random). With no value labels a decayed hit-count proxy holds ~91%. Freshness earns its keep at query time and in lifecycle, not in the keep-ranking.Rozhodujúca je hodnota, nie čerstvosť: hodnotovo-vedomé pravidlo udrží 100 % oracle pri 50% rozpočte, recency-only 62 % (56 % = na úrovni náhody). Bez labelov drží starnúci hit-count ~91 %.
Second brains don't die at capture — they die at maintenance. A zero-dependency maintainer finds dead links, orphans, stale notes and near-duplicates + a connectivity gauge, suggests which note to link each orphan to, and applies the fix only with your go-ahead (advisory, dry-run by default). Validated on a real ~7,700-note vault. Open-core.Druhé mozgy padajú na údržbe, nie na zachytávaní. Údržbár bez závislostí nájde dead linky/orphany/stale/dups + connectivity gauge, navrhne ku ktorej poznámke linknúť každý orphan, a aplikuje to len s tvojím súhlasom (advisory, dry-run default). Overené na reálnom ~7 700-poznámkovom vaulte. Open-core.
Model collapse, measured. Any system that learns from its own output is a strange loop. We built the smallest runnable model and found two failure modes — and two knobs that prevent each: a ~5% real-data anchor pulls the collapse rate (in an unfiltered loop) from ~94% to ~6–10%, and keeping the self-trust exponent p≤1 prevents permanent lock-in. Both halves are established results (Shumailov 2024; Arthur 1989) — we add the runnable packaging.Kolaps modelu, odmeraný. Každý systém, ktorý sa učí z vlastného výstupu, je podivná slučka. Postavili sme najmenší spustiteľný model a našli sme dva spôsoby zlyhania — a dve páky, ktoré im bránia: ~5% kotva reálnych dát stiahne mieru kolapsu z ~94% pod ~10%, a udržanie exponentu sebadôvery p≤1 zabráni trvalému zamknutiu. Obe polovice sú etablované výsledky (Shumailov 2024; Arthur 1989) — pridávame spustiteľné zabalenie.
When to quit a fading effort, measured. Quit when recent yield falls ~60% below its peak (a drawdown stop) — an interior optimum (too early and too late both lose) that beat mining to depletion by +239% on the same budget in our reference model. θ≈0.6 is illustrative, not a universal constant.Kedy vzdať slabnúce úsilie, odmerané. Vzdaj to, keď nedávny výnos klesne ~60 % pod svoj vrchol (drawdown stop). Je to vnútorné optimum — príliš skoro aj príliš neskoro oboje strácajú — a porazí ťaženie do vyčerpania o +239 % pri rovnakom rozpočte. θ≈0,6 je ilustračné, nie univerzálna konštanta.
A 95% interval (Bayesian or frequentist) feels like a guarantee — but under a hidden confounder it measures sampling noise, not model error: coverage of the truth collapsed from 1.4% at n=50 to 0% by n=200, and more data only buys more false confidence.95% interval (bayesovský či frekventistický) pôsobí ako záruka — ale pri skrytom konfaundri meria výberový šum, nie chybu modelu: pokrytie pravdy skolabovalo z 1,4 % pri n=50 na 0 % pri n=200, a viac dát kupuje len viac falošnej istoty.
Replication: with one treated unit and serially correlated errors, difference-in-differences' nominal 95% confidence interval covered the true effect only 31% of the time — synthetic control restored ~89% coverage, at about 4x wider intervals.Replikácia: s jednou ošetrenou jednotkou a korelovanými chybami pokrýva 95 % CI metódy DiD len ~31 %; synthetic control obnoví ~89 %, ale za cenu ~4× širších intervalov.
A standard method is calibrated in the benign regime and its error is wired to the very thing that defines the hard regime — so it breaks exactly at the operating point that made you reach for it.Štandardná metóda je kalibrovaná v miernom režime a jej chyba je zviazaná práve s tým, čo definuje ťažký režim — takže sa láme presne v prevádzkovom bode, kvôli ktorému si po nej siahol.
The wisdom of crowds is real — but it rests on a fragile word, independent. Three simulations show how it breaks, and how expensive the cure really is.Múdrosť davu je skutočná — ale stojí na krehkom slove, nezávislé. Tri simulácie ukazujú, ako sa láme a aká drahá je náprava v skutočnosti.
A runnable deep dive into the hot-hand fallacy: the canonical estimator is biased on a fair coin, the bias grows toward the operating point, and a measured zero hides a real +8-point streak effect.Gilovich, Vallone a Tversky (1985) položili čistú otázku: po sérii trafených košov, je ďalší kôš pravdepodobnejší než po sérii minutí? Nenašli žiadny…
A difference-in-differences pre-trends test catches only about one in six of the violations that ruin your estimate (it misses ~5 of 6). Measured, with the simulation and the falsifier.Test pre-trendov v difference-in-differences zachytí len asi jedno zo šiestich porušení, ktoré zničia tvoj odhad (prehliadne ~5 zo 6). Odmerané, so simuláciou aj falzifikátorom.
When units interfere, a randomized difference-in-means doesn't break — it consistently estimates the TOTAL effect, not the direct one, and the gap grows with coupling (to ~96% of the direct effect near criticality). The fix: choose your estimand and a design that targets it. Corrected re-publication.Keď jednotky interferujú, randomizovaný difference-in-means sa nerozbije — konzistentne meria TOTAL efekt, nie priamy, a rozdiel rastie s previazanosťou (~96% priameho efektu pri kriticite). Oprava: vyber estimand a dizajn, ktorý naň mieri. Opravená re-publikácia.
Each claim is run in a deterministic lab. The number goes in the post.Každé tvrdenie beží v deterministickom labe. Číslo ide do textu.
Every post names what would prove it wrong, before anyone asks.Každý text pomenuje, čo by ho vyvrátilo, skôr než sa niekto spýta.
Written EN/SK, big type, highlighted numbers — built to actually be read.Písané EN/SK, veľké písmo, zvýraznené čísla — aby sa naozaj čítali.