Tvrdenie „55% rýchlejšie“ o AI kódení je operating-point trap
Slávnych '55% faster' o AI kódení je vendor preprint na jednom greenfield tasku; jediný nezávislý RCT na skúsených devoch našiel -19%. Nie sú v spore — model ukazuje junior-zisk/expert-strata sign-flip. Univerzálny claim zlyháva. Overené, s falzifikátorom.
Krátka odpoveď. „AI coding asistenti robia vývojárov ~55% rýchlejšími" je najcitovanejšie číslo produktivity v softvéri. Je reálne — a nereprezentatívne. Pochádza z vendor štúdie na jednom greenfield tasku; jediný nezávislý randomizovaný test skúsených vývojárov v zrelých codebasoch našiel opak: 19% pomalšie. Tieto dva výsledky nie sú v spore. Sú to dva body jednej krivky — a reportovať ktorýkoľvek ako „ten" efekt je chyba.
Tvrdenie. Rozšírené čítanie GitHub/Microsoft štúdie: AI coding asistenti dávajú veľké, univerzálne zrýchlenie (~55%).
Čo dôkaz reálne hovorí (overené proti primárnym zdrojom).
| Štúdia | Populácia / task | Výsledok | Čo to je |
|---|---|---|---|
| Peng et al. 2023 (GitHub/Microsoft + MIT Sloan) | 1 greenfield JS HTTP-server task; 95 prijatých, 95 prijatých; ~63 % úbytok dokončilo (znenie papiera nejednoznačné) | +55,8% rýchlejšie (95% CI 21–89%) | vendor preprint, jeden toy task |
| Cui, Demirer et al. 2025 (Management Science) | 4 867 devov, tri field RCT | +26% dokončených taskov (väčšie pre juniorov) | peer-reviewed; počíta tasky, nie kvalitu |
| METR 2025 | 16 skúsených devov, 246 taskov, zrelé repá | −19% (pomalšie); +20% vnímané | RCT, preprint, 2025 snapshot |
Titulkových 55,8% je preprint na najľahšom možnom prípade. Peer-reviewed dôkaz (+26%) je pre typických/junior devov na scoped taskoch. Jediný randomizovaný test na expertoch vo veľkých známych codebasoch našiel spomalenie — a tí vývojári stále verili, že sú ~20% rýchlejší. Robustný prierezový fakt je, že self-reported zrýchlenie je zaujatý estimator meraného výstupu.
Protirečenie sa rozplynie na sign-flip
+26% a −19% vyzerajú ako spor. Nie sú — sú to dva operating-pointy jedného mechanizmu. Modeluj čas tasku ako písanie vs review: bez AI stojí tvoj self-write čas; s AI stojí fixný „prečítaj draft + zreviduj/preprav ho" overhead. Experti píšu rýchlejšie (menej čo získať) a AI pridáva fixný read overhead, takže netto sa preklopí do mínusu pri vysokom kontexte — kým novici, ktorí by písali pomaly, získajú.
Pustili sme najmenšiu verziu toho modelu. Net speedup vs kontext vývojára k (0 = novic/neznámy kód, 1 = expert/vlastné zrelé repo):
| Kontext k | 0,0 | 0,2 | 0,5 | 0,8 | 1,0 |
|---|---|---|---|---|---|
| Speedup | +0,31 | +0,21 | +0,08 | −0,10 | −0,38 |
- Robustný junior-zisk / expert-strata sign-flip s crossoverom okolo k ≈ 0,6.
- Preklopí sa aj bez „expert review-tax" — len preto, že experti píšu rýchlejšie a AI pridáva fixný read/prompt overhead. (Pridanie kontextovo-rastúcej review-tax to len zostrí.)
- Robustné v 79% prijateľných parametrov (review-tax sme ťahali od 0 nahor, takže sme ju nepredpokladali).
Takže ten istý nástroj pomáha aj škodí podľa toho, kde na krivke meriaš. To je operating-point trap: jedno číslo je bezvýznamné, keď efekt mení znamienko naprieč operačným rozsahom. (Ten istý tvar sa opakuje cez náš Crucible — oslavované číslo, ktoré je v skutočnosti vlastnosťou jedného operating-pointu merania.)
Čo to hovorí a čo nie
- Nehovorí, že AI coding je bezcenný — juniorom a greenfield práci reálne pomáha (+26%, peer-reviewed).
- Hovorí, že univerzálny „~55% faster" claim zlyháva: zrýchlenie mení znamienko s kontextom vývojára a kanonické číslo je vendor preprint na jednom toy tasku.
- Model je ilustratívny — zmieruje smery dvoch RCT (používajú rôzne metriky: task-count vs čas), nie nové meranie. Ktorý driver dominuje expert-strate — „menej čo získať" vs review-reconciliation tax — je nedourčené.
- Jediná vec, ktorá je robustne zmeraná: perception–reality gap (−19% reálne, +20% pocit). Akákoľvek firma odhadujúca AI ROI zo survey vývojárov meria vieru, nie výstup.
Prečo na tom záleží (a kde je hodnota). Väzba na ťažkom konci nie je schopnosť modelu — je to kontext, ktorý modelu chýba a expert ho drží v hlave. To je argument brať kvalitu pamäte/kontextu ako páku: AI pomáha najviac presne tam, kde vie dodať chýbajúci kontext, a škodí tam, kde nevie. Vysokohodnotná práca je vysokokontextová práca — opak toho, kam ukazujú benchmarky.
FalzifikátorVeľký, pred-registrovaný, peer-reviewed RCT na skúsených vývojároch v zrelých repoch, merajúci time-to-merged plus downstream defekt/maintenance náklad cez 6–12 mesiacov. Ak tam experti ukážu robustný pozitívny efekt, sign-flip rámec je nesprávny. Taký zatiaľ neexistuje — METR (n=16) je jediný randomizovaný dôkaz na tej populácii.
FAQ
Je číslo „55% faster" falošné? Nie — je to reálny meraný výsledok, ale na jednom greenfield JavaScript tasku vo vendor (GitHub/Microsoft) preprinte s malou completion vzorkou (95 prijatých; ~63 % úbytok) a širokým CI (21–89%). Negeneralizuje na skúsených vývojárov v rozsiahlych známych codebasoch.
Tak pomáhajú AI coding nástroje alebo nie? Oboje — podľa kontextu. Juniori a greenfield tasky získavajú (peer-reviewed +26% dokončenie); skúsení devi v zrelých repoch môžu strácať (−19% v jednom RCT). Znamienko sa preklopí s expertízou a známosťou codebase.
Čo je „operating-point trap"? Keď efekt mení znamienko naprieč operačným rozsahom, akékoľvek jedno titulkové číslo klame. AI coding speedup je pozitívny pre novicov/greenfield a negatívny pre expertov/zrelý kód, takže „AI robí devov o X% rýchlejšími" nemá jednu pravú hodnotu.
Čo je perception–reality gap? V METR teste boli vývojári o 19% pomalší s AI, no verili, že sú ~20% rýchlejší — ~39-bodový rozdiel. Znamená to, že self-reported produktivita je nespoľahlivá miera reálneho výstupu.
Je tvoj model dôkaz? Nie — je to najmenší model, ktorý ukazuje, že dva RCT sú konzistentné (jeden mechanizmus, dva operating-pointy), robustný naprieč parametrami. Overené fakty sú štúdie; model vysvetľuje, prečo si neprotirečia. Kód a celý verifikačný dossier sú v Crucible.