Food nudge nie je 2,5× účinnejší — jedlo je len doména malých štúdií

Krátka odpoveď. Slávna meta-analýza v PNAS z roku 2021 zistila, že nudge pri výbere jedla sú najresponzívnejšia doména správania — jedlo d ≈ 0,65 oproti najmenej responzívnej doméne, financiám, pri d ≈ 0,24, teda ≈2,7× rozdiel, ktorý sa šíril ako „jedlo je ~2,5× nudge-ovateľnejšie". Skontrolovali sme jednu vec, na ktorej to poradie visí: veľkosť štúdií. V dátach samotných autorov je jedlo zďaleka doména najmenších štúdií — asi 113 účastníkov na efekt oproti ~861 pri financiách a ~1 400–16 000 pri každej inej doméne. Doména poskladaná z drobných štúdií je presne tam, kde filter signifikancie nafukuje efekty najviac, a spustiteľný model reprodukuje celý ≈2,6× rozdiel z nulového skutočného rozdielu, keď mu dodáš tú asymetriu veľkostí. **Poctivý zvrat (nižšie): je to small-study krehkosť, nie preukázaný artefakt publikačného biasu** — reálny test biasu našiel signál biasu pri jedle najslabší zo všetkých domén.

Tvrdenie, presne. Mertens, Herberz, Hahnel & Brosch (2021) zlúčili ~450 nudge efektov a našli jedlo ako najresponzívnejšiu doménu (d = 0,72 v prvom vydaní; 0,65 po formálnej korekcii), s financiami ako najnižšou (d ≈ 0,24). Titulok „jedlo je ~2,5× responzívnejšie" je odvodený pomer jedlo-vs-financie (reálne ~2,7× korigované, ~3,0× v prvom vydaní) — práca nikde nehovorí „2,5×", a jedlo je len ~1,5× nad pooled priemerom (d ≈ 0,43). Napriek tomu sa dostal do prednášok a policy prezentácií, akoby išlo o vnútornú pravdu o stravovaní.

Háčik — a teraz ho vieme overiť. Nudge pri jedle sú typicky malé terénne pokusy v mieste výberu a v jedálni s desiatkami až nízkymi stovkami účastníkov. Nudge v iných doménach (default prihlásenie, daňové listy, darcovstvo orgánov) čerpajú z veľkých administratívnych a transakčných datasetov. Keď je literatúra filtrovaná štatistickou signifikanciou, malé štúdie prežijú len ak je ich odhad veľký — takže doména z malých štúdií je systematicky nafúknutá oproti doméne z veľkých, aj keď je skutočný efekt všade rovnaký. Táto premisa je overiteľná, a v Mertensovej vlastnej Tabuľke 1 platí rozhodujúco:

(Cohenovo d ako v prvom vydaní; korigovaná hodnota pre jedlo je 0,65 — pozri korekciu.) Jedlo je s veľkým odstupom doména najnižšej presnosti — ~7,6× menšie na štúdiu než financie, ~13× menšie než zdravie/prostredie, ~100–140× menšie než prosociálne/ostatné. Presne táto asymetria veľkostí vyrába doménové poradie z meracieho šumu.

Mechanizmus je učebnicový

Že filter signifikancie nafukuje malé štúdie viac — a že sa preto dá subgroup rozdiel vyrobiť diferenciálnymi small-study efektmi — nie je nič nové. Je to small-study effect (Egger et al. 1997), vyjadrený ako explicitné varovanie pre meta-analytikov (Sterne et al. 2011: asymetria funnelu naprieč podskupinami „sa nemá stotožňovať s publikačným biasom"), a je to Type-M (magnitude) chyba (Gelman & Carlin 2014): málo silná štúdia, ktorá prekročí signifikanciu, nadhodnotí efekt, ktorý zachytí. Náš prínos je len malý spustiteľný receipt, že konkrétny ~2,5× doménový pomer vypadne presne z tej asymetrie veľkostí, ktorú sme práve overili.

Spustiteľná demonštrácia

Najmenší model, ktorý izoluje mechanizmus: daj každej doméne rovnaký skutočný efekt (Cohenovo d = 0,20). „Jedlo" poskladaj z malých štúdií (na skupinu n ≈ 30) a „ostatné" z veľkých (n ≈ 300) — 10× asymetria, konzervatívna oproti reálnym 7,6–100×. Štúdiu publikuj len ak dosiahne p < 0,05 v očakávanom smere (file-drawer filter). Potom odčítaj pozorovaný pomer jedlo/ostatné.

Kľúčový je riadok kontroly: pri rovnakých veľkostiach vzoriek artefakt zmizne a pomer sa vráti na ~1,0, takže nafúknutie poháňa asymetria veľkosti, nie nič vnútorné pre jedlo ani chyba v simulácii. Je to dose-response — pomer rastie monotónne, ako sa food-štúdie zmenšujú, a slávnych ~2,5× vzniká práve okolo ~10× rozdielu:

Každé číslo je znovu-spustiteľné: research/probes/nudge_pubbias_artifact.py (MIT, bez externých dát).

Poctivá komplikácia (časť, ktorá nás drží čestnými)

Toto je demonštrácia hodnovernosti, nie dôkaz, že food-poradie je publikačný bias — a priamy test na reálnych dátach ide proti najjednoduchšej verzii tohto príbehu. Maier, Bartoš, Stanley, Shanks, Harris & Wagenmakers (2022, PNAS) preanalyzovali Mertensove vlastné korigované dáta a zistili, že celý zlúčený nudge efekt sa po korekcii na publikačný bias zrúti na d ≈ 0,04 (95% CrI [0,00; 0,14], zahŕňa nulu) — „neostáva žiadny dôkaz, že nudge fungujú". Ale zo všetkých domén malo jedlo najslabší priamy dôkaz publikačného biasu (Bayesov faktor BF ≈ 2,49, len „stredný"), kým ostatné mali silný bias (BF > 10). Keby bol food-náskok čistý funnel-asymetrický artefakt, jedlo by malo mať najsilnejší signál biasu — má najslabší.

Poctivé čítanie je teda užšie než „je to publikačný bias": jedlo je doména s najmenším n a najnižšou presnosťou, takže jeho efekt je najkrehkejší a najviac Type-M-nafúknutý — a jeho rovnako drobné štúdie dávajú funnel testom biasu nízku silu, takže BF ≈ 2,49 môže znamenať „bias tu nevieme zachytiť", nie „bias tu nie je". Malé n je substrát oboch — inflácie aj neschopnosti ju dokázať. Poradie nie je robustný dôkaz vnútornej ‚food nudgeability'; pripísať príčinu konkrétne preukázanému publikačnému biasu je viac, než dáta unesú.

Čo to poradie naozaj meria

Radiť domény podľa surového Cohenovho d porovnáva neporovnateľné výstupy. Food nudge sa merajú na takmer nulovo-nákladných, proximálnych voľbách (vezmi jablko pri páse); financie a dôchodok na drahom, distálnom správaní (šetri 30 rokov). „2,5×" z veľkej časti odráža cenu a bezprostrednosť meraného správania, nie „nudgeability" domény — a terénne dáta súhlasia: naprieč 126 reálnymi nudge-unit pokusmi DellaVigna & Linos (2022, Econometrica) nachádzajú efekty v priemere 1,4pp oproti 8,7pp v akademických časopisoch, pričom väčšinu rozdielu vysvetľuje selektívna publikácia a nízka sila. Praktici radia podľa páky (default poráža informačný nudge v ktorejkoľvek doméne), nie podľa domény.

Čo to hovorí a čo nie

• Netvrdí, že nudge majú nulový efekt — to je samostatná otázka (a Maierova odpoveď z reálnych dát je „korigovaný priemer je nerozoznateľný od nuly").
• Ukazuje, že rebríček jedlo-je-2,5×-responzívnejšie nie je robustný dôkaz vnútornej vlastnosti: jedlo je doména malých štúdií, pomer sa reprodukuje z overenej asymetrie veľkostí bez skutočného rozdielu, a poradie zamotáva cenu meraného výstupu.
• Opravuje náš vlastný skorší rámec: netvrdíme, že poradie je preukázaný artefakt publikačného biasu — Maierov per-doménový test našiel signál biasu pri jedle najslabší, takže obhájiteľná príčina je small-n krehkosť, nie preukázaný bias.

FalzifikátorPredregistrovali sme: získaj per-doménové veľkosti štúdií; ak jedlo nie je systematicky menšie, príbeh o veľkosti padá. Skontrolovali sme Mertensove dáta — jedlo je zďaleka najmenšie (~113 vs ≥861). Čo by honest tvrdenie ešte prevrátilo: within-domain small-study korekcia (PET-PEESE / RoBMA / selection model) spustená pri dostatočnej sile, ktorá ponechá food-poradie neporušené aj po zarátaní rozdielu veľkostí. Maierovo food BF ≈ 2,49 je príliš málo silné, aby to rozhodlo tak či onak — čo je samo o sebe pointa.

FAQ

Fungujú food nudge naozaj? Toto na to neodpovedá — testuje poradie medzi doménami. Nudge môžu mať reálny (hoci skromný) priemerný efekt; Maierov na bias korigovaný odhad je blízko nuly. Ukazujeme, že „jedlo je 2,5× responzívnejšie než iné domény" nie je dobrý dôkaz vnútornej výhody jedla.

Je food-poradie publikačný bias? Nie preukázateľne. Jedlo je doména s najmenším n, takže jeho efekt je najkrehkejší a nafúknutý small-study/Type-M chybou — ale priamy test biasu (Maier 2022) našiel signál funnel-asymetrie pri jedle najslabší zo všetkých domén (čiastočne preto, že drobné štúdie dávajú testu nízku silu). Takže: nedôveryhodné poradie, no small-n krehkosť namiesto preukázaného biasu.

Prečo na veľkosti vzorky tak záleží? Šum merania škáluje ako ~1/√n. Malé štúdie potrebujú väčší pozorovaný efekt, aby prekonali signifikanciu, takže filter vyberá ich najväčšie, najviac nafúknuté odhady. Čím menšie štúdie v doméne, tým väčšie toto selekčné nafúknutie.

Protirečí to Mertens et al. (2021)? Spochybňuje jedno odvodené kvantitatívne čítanie — pomer jedlo-vs-financie ako dôkaz vnútornej responzívnosti — pomocou ich vlastných veľkostí štúdií. Súhlasí s preanalýzou reálnych dát od Maier et al. (2022), že korekcia na bias prudko zmenšuje nudge efekty.

Je to len simulácia? Reprodukcia pomeru áno — zámerne najmenšia, ktorá izoluje mechanizmus. Ale asymetria veľkostí, ktorú predpokladá, je teraz overená proti Mertensovej reálnej Tabuľke 1 (jedlo ~113 vs financie ~861), a falzifikátor presne hovorí, aký dôkaz z reálnych dát by ho prevrátil.