‘Good to Great’: a zero-skill null reproduces the leap„Good to Great“: ten skok zvládne aj nulová schopnosť
Jim Collins' Good to Great says 11 firms leapt to greatness via shared traits. A zero-skill null model reproduces the same leap and shared-trait story, then it collapses to the market (regression to the mean). Measured, with the simulation and the falsifier.Good to Great tvrdí, že 11 firiem skočilo k veľkosti cez spoločné vlastnosti. Zero-skill null reprodukuje ten istý skok, potom sa zrúti k trhu (regresia k priemeru). Odmerané, so simuláciou aj falzifikátorom.
The short answer. Jim Collins' Good to Great (2001, ~4M copies) found 11 companies that leapt from average to a 15-year run beating the market threefold, then distilled the shared traits — Level 5 leadership, the Hedgehog Concept, the Flywheel — as the discoverable causes of sustained greatness. We built the smallest model with skill switched off — firms that are all equally (un)skilled — and it reproduces the whole pattern. The "leap" is what selection on past performance plus regression to the mean looks like when there is no skill at all.
The claim. That a specific set of management traits caused a durable good-to-great transition, recoverable by studying the winners.
The catch. The 11 firms were chosen because they had already made the leap — selection on the outcome. Study only winners, with no failing-firm control, and any trait they happen to share looks causal. And firms picked for an extreme run are exactly the ones regression to the mean drags back. So the question isn't "do they share traits?" — it's whether the evidence can tell skill from luck. We can test that directly.
We measured it
The smallest null: simulate 1,400 firms as random walks with identical drift and volatility — no firm is more skilled than any other. Then apply Collins' own selection rule (mediocre for 15 years, then ≥N× the market over the next 15), and measure the next 15 years. If the "leap" needs skill, a zero-skill population shouldn't produce it.
| Selection (≥N× market) | Firms selected | Selection-window "greatness" | Next-15y excess return | % that beat the market next |
|---|---|---|---|---|
| 3× | 30 | 3.8× the market | +0.015 (95% CI −1.12…+1.64) | 47% |
| 4× | 15 | 4.7× the market | +0.041 | 48% |
| 5× | 9 (Collins found 11) | 5.6× the market | −0.008 | 45% |
Sanity check: across all firms with no selection, forward excess return is 0.00000.
So a population with zero skill differences produces a good-to-great cohort of the right size (9 firms at the 5× cut, vs Collins' 11), each spectacular in the selection window by construction — and then their next 15 years revert to the market. Going forward they beat the market 45% of the time: a coin flip (47% at the 3× cut). The "sustained" half of "sustained greatness" simply isn't there once you stop selecting on the past.
Why the leap evaporates
Two artifacts, one cohort. Selection on the dependent variable: pick winners and any shared trait is retrofittable, because you never looked at the firms with the same traits that didn't win. Regression to the mean: an extreme run is partly skill (if any) and partly luck, and luck doesn't repeat — so the more extreme the selection, the harder the reversion. This is the same shape we keep finding in the Crucible: a celebrated number that is a property of the measurement (here, selecting on the outcome), not of the world. The real test of "sustained greatness" is forward performance on firms chosen before the run — and that is exactly what the headline never reports.
This critique is well-established, and the honest framing is a runnable re-demonstration, not a discovery. The selection-on-winners / halo mechanism is Phil Rosenzweig's The Halo Effect (2007), which names Collins directly, and Jerker Denrell's undersampling-of-failure result (Organization Science, 2003). That a pure random walk with zero a-priori skill generates persistent inter-firm gaps and long win streaks is Denrell's Random Walks and Sustained Competitive Advantage (Management Science, 2004). And a formal statistical null test of the Good to Great / Built to Last streaks against chance — in which most of the named firms fail to clear significance — is Henderson, Raynor & Ahmed, Are "Great" Companies Just Lucky? (Strategic Management Journal, 2012). Our only addition is a small, transparent, runnable version that reproduces Collins' specific cohort and its forward collapse in one model with no data and no tuning — a receipt, not a finding.
One honest subtlety. A forward excess of ~0 does not prove the firms had no skill. In a competitive market, genuine managerial skill tends to be competed and capitalized away, so real skill also predicts a forward excess near zero (Berk & Green, 2004). That is precisely the point: winners-only selection with no forward test is non-identifiable — it cannot tell zero skill from real-but-competed-away skill. The defensible verdict is "the evidence can't decide," not "it was luck." What the null kills is the causal claim the book's design was never able to support, not the possibility that skill exists.
What this does and does not say. It does not claim management skill is zero, or that nothing in Good to Great is useful. It shows the evidence — winners-only, traits retrofitted, no forward test — cannot separate skill from luck plus selection. Tellingly, reality agrees with the null: several of Collins' "great" companies later stumbled badly — Circuit City went bankrupt (2009), Fannie Mae was taken into federal conservatorship (2008), Wells Fargo ran the fake-account scandal (~3.5M accounts by the 2017 tally; $185M in combined regulator penalties, 2016) — and a portfolio of the 11 bought at publication underperformed the S&P 500 (Levitt, 2008). That forward record is what regression to the mean predicts and what enduring skill would not. It is also an old pattern: Peters & Waterman's In Search of Excellence (1982) exemplars were widely in distress within two years (BusinessWeek, "Who's Excellent Now?", 1984), and roughly half of Collins & Porras' Built to Last "visionaries" had slipped a decade on — Collins is, in effect, his own ignored control group.
The falsifierGive the selected cohort a forward edge the null can't make: if firms chosen on a past 15-year leap kept beating the market significantly over the following 15 years (well above the ~45% coin-flip level and a positive excess whose CI excludes zero), the leap would carry real persistence and this verdict would be wrong. Better still, a pre-registered list of "great" firms, scored only on returns after the list is fixed, that beats a matched control — that would be skill the artifact can't fake.
FAQ
Does this prove Good to Great is wrong? No. It proves the study design can't support its causal claim: a zero-skill null reproduces the same 11-firm leap and shared-trait story, so the evidence can't distinguish skill from luck plus selection. The traits might still help — the book just doesn't show it.
What is selection on the dependent variable? Choosing your cases by their outcome (here, firms that already became great) and then looking for shared causes. Without the firms that had the same traits but didn't succeed, any shared trait looks causal when it may be chance.
What is regression to the mean here? An extreme 15-year run is part skill, part luck. Luck doesn't repeat, so an extreme cohort drifts back toward average next period — which is exactly what the selected firms do (forward excess ≈ 0).
Why does the post-2001 record matter? Several "great" firms later failed badly (Circuit City, Fannie Mae). That forward collapse is what the no-skill null predicts and what durable skill would not — real-world corroboration of the artifact.
Is this just a simulation? Yes — deliberately the smallest one that isolates the mechanism, cloud-free and tuning-free, and a transparent runnable version of an already-published critique (Henderson–Raynor–Ahmed 2012; Denrell 2003/2004). The falsifier above states exactly what real forward-tested evidence would overturn it. Runnable code: mnemo/probes/good_to_great_null.py (MIT, cloud-free) — re-run it or break it.
Krátka odpoveď. Jim Collins v knihe Good to Great (2001, ~4M kópií) našiel 11 firiem, ktoré skočili z priemeru na 15-ročný beh trojnásobne prekonávajúci trh, a destiloval ich spoločné vlastnosti — Level 5 leadership, Hedgehog Concept, Flywheel — ako objaviteľné príčiny trvalej veľkosti. Postavili sme najmenší model so schopnosťou vypnutou — firmy, ktoré sú všetky rovnako (ne)schopné — a reprodukuje celý vzor. Ten „skok" je presne to, ako vyzerá selekcia podľa minulého výkonu plus regresia k priemeru, keď žiadna schopnosť nie je.
Tvrdenie. Že konkrétna sada manažérskych vlastností spôsobila trvalý good-to-great prechod, objaviteľná štúdiom víťazov.
Háčik. Tých 11 firiem bolo vybraných preto, že skok už spravili — selekcia podľa výsledku. Študuj len víťazov, bez kontroly z neúspešných firiem, a každá vlastnosť, ktorú náhodou zdieľajú, vyzerá kauzálne. A firmy vybrané za extrémny beh sú presne tie, ktoré regresia k priemeru ťahá späť. Takže otázka nie je „zdieľajú vlastnosti?" — ale či dôkaz vie odlíšiť schopnosť od šťastia. To sa dá otestovať priamo.
Odmerali sme to
Najmenší null: simuluj 1 400 firiem ako random walks s identickým driftom a volatilitou — žiadna firma nie je schopnejšia než iná. Aplikuj Collinsovo selekčné pravidlo (priemerné 15 rokov, potom ≥N× trh nasledujúcich 15) a meraj ďalších 15 rokov. Ak „skok" potrebuje schopnosť, populácia s nulovou schopnosťou by ho nemala vyrobiť.
| Selekcia (≥N× trh) | Vybrané firmy | „Veľkosť" v selekčnom okne | Excess výnos ďalších 15r | % čo prekoná trh ďalej |
|---|---|---|---|---|
| 3× | 30 | 3,8× trh | +0,015 (95% CI −1,12…+1,64) | 47% |
| 4× | 15 | 4,7× trh | +0,041 | 48% |
| 5× | 9 (Collins našiel 11) | 5,6× trh | −0,008 | 45% |
Sanity check: naprieč všetkými firmami bez selekcie je forward excess výnos 0,00000.
Takže populácia s nulovým rozdielom v schopnosti vyrobí good-to-great kohortu správnej veľkosti (9 firiem pri 5× reze, vs Collinsových 11), každú v selekčnom okne veľkolepú z konštrukcie — a potom sa ich ďalších 15 rokov vráti k trhu. Dopredu prekonajú trh v 45% prípadov: hod mincou (47% pri 3× reze). „Trvalá" polovica z „trvalej veľkosti" tam jednoducho nie je, keď prestaneš vyberať podľa minulosti.
Prečo sa skok vyparí
Dva artefakty, jedna kohorta. Selekcia podľa závislej premennej: vyber víťazov a každá spoločná vlastnosť je dodatočne dosaditeľná, lebo si sa nikdy nepozrel na firmy s rovnakými vlastnosťami, ktoré nevyhrali. Regresia k priemeru: extrémny beh je čiastočne schopnosť (ak vôbec) a čiastočne šťastie, a šťastie sa neopakuje — takže čím extrémnejšia selekcia, tým tvrdší návrat. Je to ten istý tvar, čo stále nachádzame v Crucible: oslavované číslo, ktoré je vlastnosťou merania (tu selekcie podľa výsledku), nie sveta. Skutočný test „trvalej veľkosti" je výkon dopredu na firmách vybraných pred behom — a to je presne to, čo titulok nikdy neukáže.
Táto kritika je dobre etablovaná a poctivý rámec je spustiteľná re-demonštrácia, nie objav. Mechanizmus selekcie-na-víťazoch / halo je Phil Rosenzweig, The Halo Effect (2007), ktorý menuje Collinsa priamo, a Denrellov výsledok o podvzorkovaní zlyhaní (Organization Science, 2003). Že čistá náhodná prechádzka s nulovou a-priori schopnosťou generuje trvalé medzifiremné rozdiely a dlhé víťazné série, je Denrellovo Random Walks and Sustained Competitive Advantage (Management Science, 2004). A formálny štatistický null test sérií Good to Great / Built to Last proti náhode — v ktorom väčšina menovaných firiem neprejde významnosťou — je Henderson, Raynor & Ahmed, Are „Great" Companies Just Lucky? (Strategic Management Journal, 2012). Naším jediným prínosom je malá, priehľadná, spustiteľná verzia, ktorá reprodukuje Collinsovu konkrétnu kohortu aj jej forward kolaps v jednom modeli bez dát a bez ladenia — receipt, nie objav.
Jeden poctivý detail. Forward excess ~0 nedokazuje, že firmy nemali schopnosť. V konkurenčnom trhu sa reálna manažérska schopnosť zvykne odkonkurovať a kapitalizovať preč, takže reálna schopnosť tiež predpovedá forward excess blízko nuly (Berk & Green, 2004). Presne o to ide: selekcia len-víťazov bez forward testu je neidentifikovateľná — nevie odlíšiť nulovú schopnosť od reálnej-ale-odkonkurovanej. Obhájiteľný verdikt je „dôkaz nerozhodne", nie „bola to náhoda". Null zabíja kauzálne tvrdenie, ktoré dizajn knihy nikdy nevedel podoprieť, nie možnosť, že schopnosť existuje.
Čo to hovorí a čo nie. Netvrdí, že manažérska schopnosť je nula, ani že v Good to Great nie je nič užitočné. Ukazuje, že dôkaz — len víťazi, dodatočne dosadené vlastnosti, žiadny forward test — nevie oddeliť schopnosť od šťastia plus selekcie. Príznačne, realita súhlasí s nullom: viaceré Collinsove „veľké" firmy neskôr zle skončili — Circuit City zbankrotoval (2009), Fannie Mae skončil vo federálnej nútenej správe (2008), Wells Fargo mal škandál s falošnými účtami (~3,5 mil. účtov podľa revízie 2017; 185 mil. USD kombinovaných pokút regulátorov, 2016) — a portfólio tých 11 firiem kúpené pri vydaní podvýkonovalo S&P 500 (Levitt, 2008). Ten forward záznam regresia k priemeru predpovedá a trvalá schopnosť by nie. Je to aj starý vzor: exempláre z In Search of Excellence (Peters & Waterman, 1982) boli do dvoch rokov vo veľkej väčšine v problémoch (BusinessWeek, „Who's Excellent Now?", 1984), a zhruba polovica „vizionárskych" firiem z Built to Last o dekádu neskôr poklesla — Collins je v podstate sám sebe ignorovaná kontrolná skupina.
FalzifikátorDaj selektovanej kohorte forward výhodu, akú null nevie vyrobiť: ak by firmy vybrané za minulý 15-ročný skok ďalej signifikantne prekonávali trh nasledujúcich 15 rokov (výrazne nad ~45% coin-flip úrovňou a pozitívny excess s CI mimo nuly), skok by niesol reálnu perzistenciu a tento verdikt by bol nesprávny. Ešte lepšie — pred-registrovaný zoznam „veľkých" firiem, hodnotený len podľa výnosov po zafixovaní zoznamu, ktorý prekoná matched kontrolu — to by bola schopnosť, ktorú artefakt nevie predstierať.
FAQ
Dokazuje to, že Good to Great je nesprávna? Nie. Dokazuje to, že dizajn štúdie nevie podoprieť jej kauzálne tvrdenie: zero-skill null reprodukuje ten istý 11-firmový skok aj príbeh spoločných vlastností, takže dôkaz nevie odlíšiť schopnosť od šťastia plus selekcie. Vlastnosti môžu stále pomáhať — kniha to len neukazuje.
Čo je selekcia podľa závislej premennej? Výber prípadov podľa ich výsledku (tu firmy, čo už sa stali veľkými) a potom hľadanie spoločných príčin. Bez firiem, čo mali rovnaké vlastnosti ale neuspeli, každá spoločná vlastnosť vyzerá kauzálne, hoci môže byť náhoda.
Čo je tu regresia k priemeru? Extrémny 15-ročný beh je sčasti schopnosť, sčasti šťastie. Šťastie sa neopakuje, takže extrémna kohorta sa ďalšie obdobie vráti k priemeru — presne to robia selektované firmy (forward excess ≈ 0).
Prečo záleží na zázname po roku 2001? Viaceré „veľké" firmy neskôr zle skončili (Circuit City, Fannie Mae). Ten forward kolaps predpovedá no-skill null a trvalá schopnosť by nie — reálne potvrdenie artefaktu.
Je to len simulácia? Áno — zámerne tá najmenšia, čo izoluje mechanizmus, cloud-free a bez ladenia, a priehľadná spustiteľná verzia už publikovanej kritiky (Henderson–Raynor–Ahmed 2012; Denrell 2003/2004). Falzifikátor vyššie presne hovorí, aký reálny forward-testovaný dôkaz by ho vyvrátil. Spustiteľný kód: mnemo/probes/good_to_great_null.py (MIT, cloud-free) — spusti alebo zlom.