Skúsili sme debunknúť LLM-as-judge ako trik s dĺžkou. Náš vlastný test nás vyvrátil.
Length-only null obnoví polovicu nadnáhodného súhlasu GPT-4 s ľuďmi na MT-Bench (68% vs 86%), čo vyzerá ako verbosity confound. Ale naša predregistrovaná kontrola — length-matched páry — to vyvrátila: pri neutralizovanej dĺžke GPT-4 stále súhlasí ~80%, kým null padne na náhodu. Súhlas je z veľkej časti sémantický. Debunk, čo zdebunkoval sám seba.
Krátka odpoveď. Základný výsledok LLM-as-judge (Zheng et al., 2023) hovorí, že GPT-4 súhlasí s ľudskými preferenciami asi 85% prípadov (bez remíz) — o vlások nad 81%, v ktorých sa zhodnú dvaja ľudia — takže silný model vyzerá ako validná náhrada za ľudské hodnotenie kvality. Na tých istých zverejnených dátach sme postavili sudcu s nulovým porozumením — len vyberie dlhšiu odpoveď — a už ten súhlasí s ľuďmi 68% prípadov, akoby obnovil asi polovicu nadnáhodného náskoku sudcu. To vyzerá zdrvujúco. Tak sme spustili kontrolu, ktorú si náš vlastný post predregistroval ako falzifikátor — porovnať len length-matched páry — a vyvrátila nás: keď sa dĺžka neutralizuje, GPT-4 stále súhlasí s ľuďmi ~80%, kým dĺžkové pravidlo padne na hod mincou. Súhlas prežije length-matching, takže je z veľkej časti sémantický, nie trik s dĺžkou. Toto je debunk, ktorý zdebunkoval sám seba.
Tvrdenie, ktoré sme testovali. ~85% zhoda GPT-4–človek ≈ zhoda človek–človek ⇒ LLM sudca meria kvalitu, nie zdieľanú skratku. Naša obava: ľudia preferujú dlhšie odpovede a LLM sudca trénovaný na ľudských preferenciách zdedí ten istý bias, takže obaja sa môžu zhodnúť ~85%, kým obaja len odmeňujú dĺžku.
Krok 1 — length-only null (toto vyzeralo zdrvujúco)
Použili sme pôvodné dáta lmsys/mt_bench_human_judgments — 3 355 ľudských a 2 400 GPT-4 párových hlasov — a null sudcu, ktorý vyberie odpoveď s viac znakmi. Remízy vylúčené.
| Sudca | Zhoda s… | Skóre | n |
|---|---|---|---|
| GPT-4 (slávny sudca) | ľudská väčšina | 86,3% (reprodukuje Zhengových ~85%) | 798 |
| Length-only null (vyber dlhšiu) | ľudské hlasy | 68,1% (word-count: 66,4%) | 2 562 |
| Length-only null (vyber dlhšiu) | vlastné GPT-4 hlasy | 73,5% | 1 792 |
| náhoda | — | 50% | — |
Naivne čítané, pravidlo s nulovým porozumením dosiahne 68% — zdanlivo ~50% celého nadnáhodného náskoku sudcu obnovených počítaním znakov, pričom sám GPT-4 sudca súhlasí s „vyber dlhšiu" takmer trikrát zo štyroch. Toto číslo viedlo náš prvý draft. A je to nesprávny spôsob čítania.
Krok 2 — kontrola, ktorá obrátila náš verdikt
Length-only null so 68% sám osebe nič nedokazuje, lebo dĺžka koreluje s reálnou kvalitou: na MT-Bench je dlhšia odpoveď často tá kompletnejšia, správnejšia. Takže null môže obnovovať reálny signál, ktorý sudca aj ľudia správne sledujú — nie zdieľaný bias. Jediný experiment, čo oddelí „zdieľaný confound" od „dĺžka je validný proxy", je pozrieť sa na length-matched páry, kde dĺžkový signál nenesie informáciu. Keby bol súhlas trik s dĺžkou, tam by mal padnúť k dĺžkovému floor. Spustili sme to:
| Rozdiel dĺžky medzi odpoveďami | GPT-4 vs človek | Length-only null vs človek |
|---|---|---|
| matched (<5%) | 87,8% (n=41) | 60,2% |
| matched (<10%) | 79,7% (n=74) | 53,0% (≈ náhoda) |
| stredný (10–30%) | 75,0% (n=124) | 54,3% |
| nevyvážený (>30%) | 89,5% (n=600) | 73,2% |
(Riadok <5% je vnorený v <10%; neprekrývajúce sa biny — <10%, 10–30%, >30% — dávajú spolu n=798 zhora.)
Na length-matched pároch padá dĺžkové pravidlo na hod mincou (53%) — ako musí, keď sú dĺžky rovnaké — no GPT-4 stále súhlasí s ľuďmi ~80%. Súhlas nepadá k dĺžkovému floor; prežije s odstráneným dĺžkovým signálom. Podľa nášho vlastného predregistrovaného falzifikátora — „ak zhoda GPT-4–človek zostane blízko 80% na length-matched pároch, kým length-only null padne na náhodu, súhlas sudcu je naozaj sémantický a tento verdikt je nesprávny" — je čítanie „je to len dĺžka" falzifikované.
Prečo nás length-only null pomýlil
Tých 68% je korelačný horný odhad, nie kauzálna dekompozícia. Keďže dĺžka na týchto dátach ko-varíruje s kvalitou, length-only pravidlo „obnoví polovicu súhlasu" tým, že sa vezie na validnom proxy, nie tým, že odhalí oklamaného sudcu. Je to učebnicová pasca zdieľaného method-variance (Campbell & Fiske, 1959): keď dve merania zdieľajú nuisance dimenziu, ich konvergencia vyzerá nafúknuto — ale nemôžeš pripísať zdieľanú časť biasu bez kontroly, čo ju odstráni. Spustili sme kontrolu a tá pripisuje väčšinu súhlasu sémantike, nie dĺžke. Poctivé rezíduum je mierna „length-easiness": zhoda je najvyššia na nevyvážených pároch (89,5%) a klesá na ~80%, keď sa dĺžky zhodujú — takže časť headline sa vezie na tom, že dlhšie býva lepšie — ale jadro je reálne posudzovanie.
Verbosity bias je reálny — len nevyhráva tu
Nič z toho nehovorí, že LLM sudcovia sú nezaujatí. Verbosity/length bias je dobre zdokumentovaný a treba ho kontrolovať: Zheng et al. ho v pôvodnej práci označujú (a ukazujú „repetitive list" útok, na ktorom väčšina sudcov padne); Singhal et al. (2023) zisťujú, že iba-dĺžková odmena reprodukuje väčšinu RLHF ziskov; Dubois et al. (2024) postavili length-controlled AlpacaEval, čo zdvihlo koreláciu s Chatbot Arena z 0,94 → 0,98 a znížilo length-gameability ~21% → ~6%; Wang et al. (2023) ukazujú position bias dosť veľký na prevrátenie rebríčkov. Poučenie platí — používaj length kontroly, position-swap a per-kritériové rubriky (nedávne multi-sudcovské audity zisťujú, že verbosity bias sa pri fixnom rubriku výrazne zmenší). Naša kontrola ukazuje užšiu a — pre raz — upokojujúcu vec: na MT-Bench je konkrétne to ~85% číslo zhody z veľkej časti zaslúžené, nie dĺžkový artefakt.
Čo to hovorí a čo nie. Nehovorí, že LLM sudcovia nemajú dĺžkový bias — majú, a treba ho kontrolovať. Opravuje náš vlastný počiatočný nadmerný záver: length-only null, čo obnoví polovicu súhlasu, nie je dôkaz, že polovica súhlasu je falošná, lebo length-matched kontrola ukazuje, že súhlas prežije, keď sa dĺžka neutralizuje. Číslo, ktorému treba veriť, je to kontrolované (~80% na matched pároch), nie surový null (68%).
FalzifikátorPredregistrovaný test bol: length-matchni páry; ak zhoda padne k dĺžkovému floor, confound príbeh platí; ak zostane blízko 80%, kým null padne na náhodu, príbeh padá. Zostala blízko 80% (0,797 na matched-<10% pároch), kým null padol na náhodu (0,530). Čo by to prevrátilo späť: väčšia length-matched replikácia (naše matched-n je len 74, 95% CI ≈ ±9pp), čo by ukázala, že zhoda naozaj padá — alebo dizajn, ktorý odstráni aj position a self-preference confoundy, čo táto kontrola nerobí.
FAQ
Takže je LLM-as-judge trik s dĺžkou? Nie — to bola naša počiatočná hypotéza a naša vlastná kontrola ju vyvrátila. Length-only pravidlo obnoví polovicu surového súhlasu, ale na length-matched pároch (kde je dĺžka neinformatívna) GPT-4 stále súhlasí s ľuďmi ~80%. Súhlas je z veľkej časti sémantický.
Tak prečo length-only null dosiahne 68%? Lebo dĺžka na MT-Bench koreluje s kvalitou — dlhšie odpovede sú často naozaj lepšie — takže „vyber dlhšiu" sa vezie na validnom proxy. Obnoviť súhlas ≠ odhaliť confound.
Majú LLM sudcovia verbosity bias vôbec? Áno, dobre zdokumentovaný (Zheng, Singhal, Dubois, Wang). Treba ho kontrolovať length normalizáciou, position-swapom a rubrikami. Naša pointa je len, že na MT-Bench je to ~85% headline z veľkej časti zaslúžené, nie že sudcovia sú nezaujatí.
Reprodukovali ste pôvodné číslo? Áno — GPT-4 vs ľudská väčšina vyšla 86,3% (striktná väčšina, remízy vyhodené), čo sedí so Zhengových ~85%.
Je to len simulácia? Nie — reálne zverejnené ľudské a GPT-4 hlasy, triviálny length-only null a length-stratifikovaná kontrola. Každé číslo je znovu-spustiteľné: research/probes/llm_judge_length_null.py.