Etter å først ha blitt kjent for å dokumentere at eksperter spår fremtiden like dårlig som pilkastende sjimpanser, slår Philip Tetlock i akt to et hardt slag for at det faktisk er mulig å skue inn i fremtiden.
Superforecasting - The Art & Science of Prediction Philip Tetlock & Dan Gardner Random House, 2016 Anmeldt av: Markus N. Reitan
I en nylig kronikk i DN fortalte Jonas Gahr Støre at han setter pris på New York Times-spaltist Tom Friedmans tekster, som gir enkle forklaringer på en kompleks verden. Friedman er kjent for å si dype ting som at “the world is flat” og senest nå at vi er i en “Age of Accelerations.” Dette er sitatvennlig material for partiledere. I tillegg er Friedman en av ekspertene på Manhattan som antas å ha fingeren på pulsen for hva som skjer, og vil skje i Midtøsten. Så når en partileder siterer Friedman, høres partilederen ut som han forstår verden. Men hvor presis er egentlig en ekspert som Tom Friedman?
Sjimpanser og eksperter
For å få svar på det spørsmålet burde Gahr Støre lese Philip Tetlocks bok, “Superforecasting – The Art & Science of Prediction.” Tetlock erpsykologiprofessor ved University of Pennsylvania, han ble viden kjent for sin bok fra 2005, “Expert political judgment: How good is it? How can we know?”, som summerte opp resultatene fra et massivt tyveårs forskningsprosjekt (fra 1984-2004), hvor 284 profesjonelle eksperter, hvis levebrød involverte å spå økonomiske og politiske trender og hendelser, skulle gjøre nettopp dette i et kontrollert eksperiment. Ekspertene ble stilt spørsmål om krig, økonomi, aksjer, politiske valg og andre dagsaktuelle emner. Resultatene var nedslående. Punchlinen som festet seg i media, og som Tetlock ikke sa imot: Den gjennomsnittlige ekspertens spådommer var ikke mer presise enn en pilkastende sjimpanse.
“Superforecasting” er akt II. Tetlock hadde nemlig etterhvert gått seg lei av spøken om ekspertene og sjimpansene. For gjennomsnitt kan mislede. Så man nærmere på resultatene fra Expert Political Judgment-prosjektet (EPJ) var det nemlig to distingverbare grupper av eksperter. En gruppe feilet å gjøre bedre enn randomisert gjetning, og som i mer langsiktige spådommer (tre til fem år ut i tid) til og med tapte mot sjimpansen. Men noen gjorde det bedre enn sjimpansen, om enn med en så tynn margin at det var all grunn til ydmykhet.
Tetlock fikk imidlertid blod på tann til å utforske nærmere om det faktisk er mulig å spå fremtiden. Det samme var amerikanske etterretningstjenester, som etter den forsmedelige etterretningssvikten før og under Irak-krigen – oppsummert av daværende CIA-direktørs famøse utsagn at det var så sikkert som en “slam dunk” at Saddam Hussein hadde masseødeleggelsesvåpen – var i modus for selvransakelse. En følge av det var Intelligence Advanced Research Projects Agency som ble opprettet i kjølvannet av Irak-fiaskoen i 2006, modellert etter forsvarsdepartementets legendariske innovasjonsfabrikk DARPA, med formål om å gjøre visjonær forskning og levere innovativ teknologi for å gi USA overveldende etterretningsfortrinn. Det var med dette bakteppe at IARPA og Tetlock i 2010 gikk sammen om å starte The Good Judgment Project (GJP).
I løpet av en fireårsperiode fra 2011 til 2015, stilte Tetlock og co 500 spørsmål av typen: “Will any NATO member invoke Article 4 or Article 5 before 1 January 2018?” “Before 1 January 2018, will there be a lethal confrontation in the South or East China Sea between the military forces, militia, or law enforcement personnel of China and another country?” “Will India or Pakistan launch a ground offensive in Kashmir before 1 June 2017?” Hvem som helst kunne melde seg på. Det gjorde over 20.000 personer. 3.200 passerte de innledende psykometriske testene, hvorav 2.800 var igjen etter det første hele året. Det genererte over en million prognoser totalt, (man kunne oppdatere prognoser på samme spørsmål, da registrert som en ny prognose – en hyperaktiv deltager gjorde i løpet av ett år 2.271 prognoser på til sammen 140 spørsmål). I begynnelsen av eksperimentet var det fem lag med i konkurransen, pluss en kontrollgruppe. Den kollektive visdommen til deltagerne i GJP utgjorde ett lag. I tillegg var det lag fra University of Michigan og MIT. I første år slo GJP kontrollgruppen med 60 prosent. I år to med 78 prosent. Etter år to ble de andre lagene droppet fra eksperimentet. Fasiten var tydelig. Noen personer har en reell og målbar evne til å bedømme fremtidige hendelser. Blant de 2.800 individuelle deltagerne i GJP var det etter år en, 58 “superforecasters” – med en gjennomsnittlig Brier-score på 0,25 versus 0,37 for de øvrige deltagerne, (det vil kort si at i binære spørsmål hvor utfallene var enten 0 eller 1, var superforecasterne i snitt bare 0,25 unna rett svar, mens en pilkastende sjimpanse ville hatt en Brier-score på 0,5). Til argumentet om at det må ha skyldtes tilfeldigheter at noen var så presise, har Tetlock motargumentet klart: superforecasterne ble bedre for hvert år som gikk, med Brier-score helt ned på 0,14 for de beste.
Hvordan bli en superforecaster
Daniel Kahneman stilte Tetlock det sokratiske spørsmålet: “Do you see them as different kinds of people, or as people who do different kinds of things?” Så hvem er superforecasterne? Og hva er det de gjør? De er vitterlig en eklektisk gjeng, som har mer til felles i hva de gjør enn hvem de er. De fellestrekkene som går igjen er at de har et åpent sinn, er nysgjerrige, intellektuelt ydmyke, selvkritiske og fokuserte. Veldig mange av dem er også kvantitativt anlagte – selv om de sjelden benytter avanserte matematiske metoder – og går i kategorien for “newsjunkies.” Tetlock er nøye med å understreke at de 2 800 personene som fullførte det første året av forskningsprosjektet, langt ifra er noe representativt utvalg av befolkningen. De scorer høyere på intelligens- og kunnskapstester enn 70 prosent av befolkningen. Superforecasterne scorer bedre enn 80 prosent av befolkningen. Men de er ikke nødvendigvis i den øverste prosentilen blant de med en IQ over 135 – som Tetlock uansett anser som et problematisk konsept.
Da Tetlock satte igang EPJ-prosjektet i 1984, hadde Kahneman fremmet en løs hypotese om at folk armert med heftige doktorgrader og titler, ikke nødvendigvis var nevneverdig mer presise enn oppmerksomme lesere av The New York Times. Det viste seg å stemme ganske bra. Superforecasterne kan være alt fra pensjonerte dataprogrammerere og software-ingeniører, til arbeidsløse fabrikkarbeidere og matematikkprofessorer. De har flere likheter i metode. Superforecasterne bryter ned hvert problem til sine ulike komponenter; skiller så klart som mulig mellom kjente og ukjente faktorer, (knowns og unknowns, known unknowns og unknown unknowns i Donald Rumsfelds terminologi); lar ingen forutsetninger stå uimotsagt; ser problemet utenfra (the outside view) og setter det i perspektiv som nedtoner problemets unikhet til fordel for å behandle det som ett spesielt tilfelle av et generelt fenomen; før de deretter går over til å beskue problemet innenfra (the inside view), hvor man toner opp problemets unikhet; utforsker likheter og forskjeller i sin egen analyse versus andres, inkludert prediksjonsmarkeder, og annen informasjon som kan gi et bilde av “crowd wisdom.” Så til slutt syntetiserer superforecasterne all informasjon ned til en singulær visjon, uttrykt som et finraffinert forecast. Men de beste superforecasterne stopper ikke der, de oppdaterer sine forecasts kontinuerlig i takt med ny informasjon, og de vegrer seg ikke for å skifte mening. Som Keynes (angivelig) sa: “When the facts change, I change my mind. What do you do, sir?” Eller i Isaiah Berlins terminologi, så er superforecasterne, uten unntak, rever, som vet mange små ting, i motsetning til piggsvin, som bare vet én stor ting.
Et eksempel var spørsmålet: “Will there be an attack carried out by Islamist militants in France, the Uk, Germany, the Netherlands, Denmark, Spain, Portugal or Italy between 21 January and 31 March 2015?” som altså ble stilt rett etter Charlie Hebdo-terroren i Paris. Hvordan skal man svare på det. Den pensjonerte software-ingeniøren David Rogg i Virginia, lot seg ikke rokke av følelser men tilnærmet seg materien med et kjølig objektivt blikk. Han begynte med å sjekke Wikipedia hvor mange terroraksjoner det hadde vært i de aktuelle landene siste fem år. Seks. Ergo var baseraten 1,2 angrep per år. Det var utenfraperspektivet. Men så switchet han over til innenfraperspektivet. Mye hadde endret seg det siste året, med ISIS’ fremmarsj og en høy økning i fremmedkrigere som reiste fra europeiske land til Midtøsten, og eventuelt i retur. Rogg anså derfor at data fra 2010 og tidligere ikke lenger var relevant. Følgelig steg baseraten til 1,5 terrorangrep per år. På den annen side hadde Charlie Hebdo ført til strengt innskjerpede sikkerhetstiltak, som i teorien burde redusere terrorfaren. Netto netto anså han derfor at baseraten for terrorangrep var økt ⅕ til 1,8 angrep per år. Med 69 dager igjen av forecastperioden, regnet han ut sannsynligheten for angrep til 0,34, (69/365*1,8).
Djevelen i detaljene
De som er litt rundere i kantene vil kanskje si, er det noen forskjell på 34/66 og 50/50? Ja, det er det. Det er eksakt det som skiller superforecastere fra spåkoner og lekfolk. Granulariteten i deres prediksjoner er det som over tid gjør at de som opererer med finjusterte 34/66 heller enn grove 50/50 over tid får en bedre track record. Faktisk viste Tetlocks undersøkelser at dersom han avrundet superforecasternes sannsynligheter til nærmeste femmer (slik at Roggs 34/66 ville blitt til 35/65), gav det vesentlig negative utslag på deres Brier-score.
Et eksempel Tetlock nevner er “Operation Geronimo” mot Osama bin Laden i 2011, både den virkelige versjonen og den filmatiserte versjonen i filmen Zero Dark Thirty. I filmen har agenten “Maya” i sedvanlig klisjefylt Holloywoodstil fått heltinnerollen. Mens den fiktive CIA-direktøren Leon Panetta i filmen blir oppgitt over at undersåttene hans ikke kan bli enige om hvor stor sannsynlighet det er for at Osama bin Laden faktisk befinner seg i det mystiske komplekset i Abbottabad, Pakistan, stepper Maya inn i beslutningsvakuumet. I motsetning til de andre som “nøler” om bin Laden er der eller ikke, er Maya 100 prosent sikker(!) på at bin Laden er i Abbottabad – til stor lettelse for en oppgitt Panetta. Endelig noen som kan gi et klart sorthvitt svar, som kan ageres på.
Men virkeligheten er selvsagt ikke slik. Kun idioter er 100 prosent sikre på noe. Maya hadde ikke informasjonsgrunnlag til å være 100 prosent sikker. I virkeligheten burde hun fått sparken. Den virkelige Panetta ville ikke ha skråsikre idioter. Team-lederen hans følte seg imidlertid komfortabel nok til å fortelle Obama i Situation Room at bin Laden med 95 prosent sikkerhet befant seg i komplekset. Andre team-medlemmer var alt mellom 30 til 80 prosent. Tetlock kalkulerer (basert på ufullstendig informasjon fra Mark Bowdens bok “The Finish: The Killing of Osama bin Laden”) at konsensus lå rundt 70 prosent sannsynlighet for at bin Laden var der. Og 30 prosent sjanse for at han ikke var der. Obama derimot, oppsummerte: “this is 50/50, a flip of the coin.” topp en halv. 70/30 er ikke 50/50. Dog er det ofte at uttrykket 50/50 brukes uten at det er ment litterært. Det kan godt hende det var det Obama gjorde. Men det er også en mer skremmende mulighet, at Obama gikk i en kognitiv felle som er typisk når en konfronteres med ny informasjon, men ikke klarer å trekke ny kunnskap ut av informasjonen. Nemlig, to revert to the ignorance prior.
Kognitive fallgruver
Superforecasterne går sjelden i slike feller. De er dyktige til å ta innover seg ny informasjon og bake denne inn i sine forecasts. I tillegg er de mye mer tidssensitive enn de fleste. Tetlock og co stilte spørsmålet om hvor sannsynlig det er at Assad-regimet i Syria ville falle i løpet av de neste tre månedene til en gruppe superforecastere og en gruppe ikke-superforecastere. To andre grupper, en til bestående superforecastere og en til av ikke-superforecastere, ble spurt hvor sannsynlig det var at Assad-regimet ville falle i løpet av de neste seks månedene. Mens respondentene som ikke kvalifiserte til superforecaster-status svarte mer eller mindre identisk på begge spørsmålene, 40 prosent sjanse for at Assad ville falle innen tre måneder og 41 prosent innen seks måneder, var superforecasterne både mye mer tidssensitive og konservative. De svarte at det bare var 15 prosent sjanse for at det ville være natta for Assad innen tre måneder, og 24 prosent innen seks måneder.
Slik scope insensivity er ett av mange eksempler på kognitive fallgruver mennesker ofte går i. Tilfeller hvor det Daniel Kahneman kaller hjernens implusive System 1 finner snarveier, før hjernens mer analytiske System 2 har rukket å prosessere informasjonen. Ofte er disse snarveiene livsnødvendige, som når man instinktivt løper fra en antatt løve som beveger seg i gresset. Men i mer kompliserte spørsmål kan System 1 lede oss på villspor. Superforecasterne er nesten umenneskelig gode på å bruke System 2 til å dobbelsjekke og eventuelt overstyre System 1. Her nevner Tetlock også Magnus Carlsen, som finner sine fleste trekk på intuisjon (System 1), men så bruker lang tid på å kontrollsjekke før han flytter brikken (System 2). en typisk fallgruve er at man bytter å svare på et vanskelig spørsmål til fordel for å besvare et enklere proxy-spørsmål. For eksempel at spørsmålet om enten franske eller sveitsiske obduksjonsrapporter vil finne spor av det radioaktive stoffet Polonium 210 i Yasser Arafats lik, i manges hoder blir til “har Israel forgiftet Arafat?” Eller at spørsmålet om Japans (nasjonalistiske) statsminister Shinzo Abe ville besøke Yasukuni-helligdommen til ære for falne japanske soldater (inkludert krigsforbrytere, hvilket gjør at Kina flyr i flint hvis en japansk statsminister besøker tempelet), forvrenges til å bli et spørsmål om en rasjonell japansk statsminister ville besøkt stedet.
Ego over empiri
I motsetning til i Tetlocks Good Judgment-prosjekt er det sjelden at spådommer måles i den virkelige verden. Det er liten etterspørsel etter det, og få som har incentiver for å gjøre det. Da Tetlock gjennomførte sitt første EPJ-prosjekt, var det få profilerte eksperter som ønsket å delta – de må åpenbart ha sett større nedside enn oppside ved å utsette sine ekspertspådommer for granskning. Derfor fortsetter media å fylle forsidene med sjeføkonomer som kommer med nye spådommer om det ene og andre, mens treffsikkerheten til deres spådommer i svært liten grad blir målt. “Alle” kan dermed påstå å ha hatt rett – se for eksempel hvor mange økonomer som utgir seg for å ha spådd finanskrisen etter den skjedde, en langt større gruppe enn de som advarte om en mulig finanskrise før den inntraff. I tillegg er de fleste ekspertspådommer, når man leser dem med argusøyne, så vage, garderte og ikke minst tidsubestemte at de ikke lar seg måle uansett. Så når Tom Friedman-fans sier ting som at “he nailed the Arab Spring” eller “he was prescient on NATO expansion,” er det nærmest umulig å si om Friedmans spådommer har vært rette eller gale. Uansett hvordan fremtiden utvikler seg, vil Friedman ti år frem i tid kunne si at han tok helt rett i at “the world is flat” og at verden gikk inn i en “age of accelerations,” og partiledere vil fortsette å sitere ham som et orakel.
Istedenfor vitenskapelig objektivitet og måling, er Tetlock lei av at den offentlige ekspert-debatten synker ned til subjektiv jeg har rett-du tar feil-blodfeider mellom guruer som Niall Ferguson og Paul Krugman, som kan være god underholdning, om enn mindre opplysende. Ingen betviler hverken Krugmans eller Fergusons kognitive evner, men det er heller ingen som betviler deres ego.
Ego kan ofte komme i veien for objektive vurderinger. Tetlock viser til den romerske medisinguruen Galen, som full av selvtillit uttalte at: “Det er jeg, og jeg alene, som har avslørt medisinfagets sanne vei.” Hvis syke som ble gitt Galens eliksir ble friske, var det klart at medisinen virket. Hvis de døde, som flertallet gjorde, etter de ble gitt eliksiren, var det åpenbart at de ville dødd uansett. Det var ikke noe behov for eksperimenter. Romertiden er lenge siden, men det er først relativt nylig at medisinfaget har tatt besluttsomme steg i en mer vitenskapelig retning. Tetlock forteller også om motstanden pioneren for randomiserte kontrollerte studier, Archie Cochrane, møtte i det britiske helsevesenet, NHS. I likhet med romerske Galen følte ikke etterkrigstidens NHS noe behov for vitenskapelig validering av det de holdt på med. Cochrane, som selv ble erklært godt på vei død og operert for en lungekreft han ikke hadde, døpte dette fenomenet “the God complex.”
Assumption is the mother of all…
Et felt hvor spådommer om fremtiden lenge har stått sentralt er etterretning. De fleste lands etterretningstjenester har et ønske om i det minste ha en viss forståelse for mulige fremtidsscenarier, og hvilken effekt ulike scenarier kan ha på nasjonale sikkerhetsspørsmål. Historikeren Sherman Kent var en pioner på dette feltet i den amerikanske etterretningstjenesten. Etter bruddet mellom Jugoslavia og Sovjetunionen, slapp Kent og hans kolleger i mars 1951 ut National Intelligence Estimate (NIE) 29-51, som inneholdt følgende spådom: “although it is impossible to determine which course of action the Kremlin is likely to adopt, we believe that the extent of [Eastern European] military and propaganda preparations indicates that an attack on Yugoslavia in 1951 should be considered a serious possibility.” I de fleste tilfeller ville dette passert som klart og tydelig språk. Men da Kent etterpå snakket med en senior tjenestemann i utenriksdepartementet, ble han spurt: “By the way, what did you people mean by the expression “serious possibility”? What kind of odds did you have in mind?” 65/35 i favør av sovjetisk intervensjon, svarte han. Tjenestemannen ble forfjamset, han hadde tolket “serious possibility” som mye lavere enn 65 prosent. Kent ble smått satt ut. Han bestemte seg for å undersøke med sine egne analytikere, hva de egentlig hadde hatt i hodet. Da fikk han en real kalddusj. Med den samme beskrivelsen, “serious possibility,” hadde team-medlemmene ment alt fra 80/20 i favør av intervensjon til 20/80 mot sovjetiske krumspring.
Kent gikk inn for å innføre mer rigorøsitet i etterretningsestimatene, blant annet ved å ta i bruk en tabell med faste verbale uttrykk for ulike sannsynligheter, for å unngå misforståelser. Men han møtte motstand, og ble blant annet kalt for å være en bookmaker. Kent svarte på tiltale: “I’d rather be a bookie than a goddamn poet.”
At Kents initiativer for å gjøre etterretningsvirksomheten mer vitenskapelig fikk begrenset fremgang, ble manifestert under Bay of Pigs-fiaskoen på Cuba i 1961. President Kennedys militære sjefsnemnd hadde gitt operasjonen en “fair chance of success,” noe Kennedy åpenbart tolket som gode odds. Mannen som stod bak utsagnet dog, uttalte senere (om det var sant eller ei) at han hadde ment en odds på 3/1 mot suksess, altså en sannsynlighet på kun 25 prosent for å lykkes. Isåfall snakket den militære sjefsnemnden og Det ovale kontor rett forbi hverandre, med fatale følger.
Ikke bare var det en fundamental frakobling mellom de militære og de politiske om hvor gode sjanser operasjonen hadde for å lykkes, men de operasjonelle forutsetningene for misjonen var også totalt urealistiske. Teorien var fin. De angripende styrkene skulle gå i land og forme et brohode ved foten av Escambrayfjellene. Dersom de mot formodning ikke fikk umiddelbart gjennombrudd, var planen å gjøre retrett opp i fjellsidene, hvor de kunne slå seg sammen med andre anti-Castro-rebeller. MEN, det var bare ett lite problem. Landingspunktet var blitt endret mellom den opprinnelige og endelige planen. Styrkene skulle nå gå i land i den famøse grisebukten. Men retrett-planen var fortsatt den samme. Da invasjonen feilet, innebar det at rebellene måtte krysse milevis med tett jungel for å nå fjellsidene de hadde ment å søke ly i. Istedet ble de alle fanget eller drept. Denne plansvikten hadde simpelthen gått hele Camelot hus forbi.
Tilsvarende under Vietnamkrigen, da den såkalte Dominoteorien var i vinden – at hvis et land i regionen falt under kommunismens trollbindelse, ville alle andre følge etter. En av tankelederne for denne hypotesen, forsvarsminister, tidligere Fordsjef og senere Verdensbankpresident, Robert McNamara, innrømmet senere i sine memoarer at ingen seriøs analyse av eller prediksjoner om dominoteorien ble gjort før i 1967, fire år etter eskaleringen av Vietnamkrigen. “The foundations of our decision making were gravely flawed. We failed to analyze our assumptions critically, then or later,” skrev McNamara. McNamaras effektivisering av Fords bilproduksjon og optimalisering av det amerikanske militærets logistikkoperasjoner under andre verdenskrig, hadde gitt ham ry som en Whiz Kid. Men det var til liten hjelp hvor optimale hans statistiske løsninger var, hvis modellen var bygget på feilaktige forutsetninger. De 58.000 amerikanske livene som gikk tapt i de vietnamesiske tropene ble således en dyr lærdom av Churchills sitat om at: “However beautiful the strategy, you should occasionally look at the results.”
Kan vi skimte fremtiden?
Tetlock har troen på at vi med mer vitenskapelig prognostisering og bedre måling kan ta i det minste små steg mot en bedre verden. Han viser til Microsoft-grunnlegger Bill Gates’ utsagn om at han “have been struck by how important measurement is to improving the human condition.” Australias ambassadør til Israel har skrevet interessant om hvordan den australske ambassaden innførte ideene fra Superforecasting, og derigjennom oppnådde mer struktur og profesjonalitet i sitt diplomatiske arbeid. Her ser Tetlock både en rolle for superforecastere, som er skarpe på å finne svar, men også guruer som Friedman, som kan være gode til å stille pertinente spørsmål. Som Tetlock noterer, selv om Friedman tok feil om både masseødeleggelsen og var tilhenger av irakinvasjonen, stilte han et meget godt spørsmål: “Is Iraq the way it is today because Saddam Hussein is the way he is? Or is Saddam Hussein the way he is because Iraq is the way it is?” Ved å kombinere de som kan stille gode spørsmål med de som kan analysere seg frem til gode svar, kan vi potensielt forstå mer av verdens gang.
Andre er mer skeptiske. Nassim Nicholas Taleb, som tidvis både har forfattet akademiske artikler sammen med Tetlock og feidet brutalt med ham på Twitter, Taleb mener at den type fremtidsprognostisering som Tetlock holder på med i Good Judgment-prosjektet er en dåres ærend. Historien kravler ikke, den hopper, fremholder Taleb, som har popularisert konseptet om Black Swans – uforutsigbare hendelser med enorme konsekvensker. “What matters can’t be forecast and what can be forecast doesn’t matter.” Taleb mener altså ikke bare at prognoser kan være ubrukelige, men direkte harmfulle, da de innbyr til en falsk sans av sikkerhet. Det er dog ikke helt sorthvitt. Tetlock argumenterer at flere hendelser som ofte beskrives som sorte svaner (og som Taleb aldri ville definert som sorte svaner) i realiteten er grå svaner. For eksempel 11. september. På mange måter stereotypen på en Black Swan: totalt uforutsigbart, en sjokkerende overraskelse, kolossale konsekvenser og paradigmeskiftende ringvirkninger. Men var det egentlig det? I 1994 ble et komplott for å krasje et fly inn i Eiffeltårnet stoppet. I 1998 hadde amerikanske luftfartsmyndigheter analysert et scenario hvor terrorister kapret Fedex cargofly og krasjet i World Trade Center. I 1993 hadde World Trade Center blitt forsøkt bombet. I løpet av våren og sommeren 2001 mottok eller snappet amerikanske myndigheter opp flere konkrete signaler om at al-Qaida planla større terrorangrep mot USA. 11. september var kun en Black Swan i den grad man ikke hadde absorbert tilgjengelig informasjon. Det er riktigere å beskrive 11. september som en grå svane.
Ergo, er det positive man kan trekke fra 11. september, at slike hendelser kan forutses. Å se decennier frem i tid har Tetlock ingen illusjoner om at er innen menneskets rekkevidde. Men å se fra noen måneder til noen år frem i tid, og da vel og merke ikke som én sikker fremtid men som sett av sannsynlighetsvektede mulige fremtider, det er oppnåelig. Mer kan vi ikke be om.
MarkusReitan 