Trump vs. Biden – et déjà vu fra 2016?
Det kan det se ut som det amerikanske presidentvalget allerede er avgjort. Men bør vi vente med å selge skinnet til bjørnen er skutt?
Det var spennende å jobbe i analysebyrå i kjølvannet av det amerikanske valget i 2016.
I Norge har vi en tradisjon med å være svært treffsikre på politiske meningsmålinger, noe valgresultatene de siste årene har vist.
Det var derfor forbløffende hvor feil nesten samtlige amerikanske meningsmålingsinstitutter kunne ta.
På valgdagen predikterte the New York Times hele 85% sannsynlighet – basert på metaanalyser av et stort utvalg forskjellige meningsmålinger – for at Hillary Clinton skulle stikke av med seieren.
Som de fleste er klar over i dag så tok disse spådommene skammelig feil, og Donald Trump vant overlegent i det såkalte «Electoral College». Det eneste som betyr noe i amerikanske presidentvalg.
Nå viser de fleste meningsmålinger en solid ledelse til demokratenes kandidat Joe Biden, men kan de ta helt feil igjen?
Hva gikk galt i 2016?
For å analysere hvordan ståa er i 2020 lønner det seg å forsøke å forstå hva som gikk galt i 2016. Og for å forstå dette må vi tilbake til 1936.
Etter flere vellykkede forsøk med å spørre leserne hvem de skulle stemme på ved presidentvalget, klarte tidsskriftet Literary Digest å spå utfallet av presidentvalgene mellom 1916 og 1932.
Når det ved valget i 1936 sto mellom demokraten Franklin D. Roosevelt (FDR) og Alfred Langdon fra republikanerne, bommet likevel tidsskriftet fullstendig.
Mange begynte å klø seg i hodet over hva som hadde gått galt. Tidsskriftet hadde tross alt gjennomført innsamlingen av hele 2,4 millioner besvarelser, som gjorde det til en av verdens største undersøkelser til dags dato.
På den andre siden sto den unge samfunnsforskeren George Gallup som korrekt spådde at FDR tok en overlegen seier.
George Gallup visste allerede på 1930-tallet at loven om store tall gjør at forskjeller jevner seg ut, og at variasjonen i en hel populasjon (f.eks. hele Norge) kan forklares ut fra en vesentlig mindre – representativ – andel av denne (f.eks. 1000 tilfeldige personer i Norge som deler fellestrekk med hele den norske befolkningen).
Dette innebærer at dersom man kan stille et tilfedlig, representativt utvalg av befolkningen med tilstrekkelig stor utvalgsstørrelse, spørsmålet om hvem de skal stemme på ved et valg, så skal man kunne tilnærme seg det reelle valgresultatet på valgdagen.
Literary Digest hadde på sin side bedt leserne selv sende inn i brevsform hvem de kom til å stemme på ved valget.
Dette resulterte i at hele 57 % oppga at de ville stemme på republikaneren Langdon. Ikke spesielt rart når man tenker over hvem som leste denne typen publikasjoner på 1930-tallet.
Det var leserne av magasinet som skulle stemme inn Langdon i Det hvite hus, ikke nødvendigvis amerikanerne flest.
Gjennom bruken av kvoteutvalg, hvor man kan sikre at utvalget er mer representativt for befolkningen ved å «kvotere» inn manglende målgrupper, fikk George Gallup et mye mer presist resultat, med et vesentlig mindre utvalg.
Denne metoden for stratifisering av utvalg kalles Gallup-metoden og benyttes den dag i dag. Men den er langt fra feilfri.
Tilfeldig og representativ?
Det er et viktig prinsipp at deltakerne i en spørreundersøkelse skal være tilfeldig utvalgte.
Dette gjøres normalt sett ved at man har en befolkningsbase, det vil si informasjon om personer i den befolkningen (populasjonen) man ønsker å studere, som man kan gjøre tilfeldige uttrekk fra (f.eks. 1000 personer i Norge).
Dette tilfeldige uttrekket kan deretter være basert på kriterier som sikrer representativitet. Det innebærer at vi ønsker at våre 1000 tilfeldig utvalgte personer skal representere flertallet av alle ulike variasjoner av befolkningen vi skal studere.
Dersom de to helt grunnleggende forutsetningene 1) tilfeldighet i utvalget og 2) representivitet i utvalget brytes, vil dette skape feilmarginer. Det vil si en gitt usikkerhet knyttet til resultatet i det studerte utvalget kontra hva det reelle resultatet ville vært i hele befolkningen.
Når vi så har et utvalg vi ønsker å spørre hvilket parti eller presidentkandidat de skal stemme på, er vi avhengig av en metode for å få tak i dette utvalget på.
Dette kan være telefonintervjuer, webintervjuer, personlige intervju (mindre vanlig i kvantitative undersøkelser) eller eldre metoder som via post.
Uansett hvordan man ønsker å få kontakt med personene i utvalget på så vil dette være utfordrende. Det er som regel en lav svarprosent, noe som gjør at en ikke kan forvente å få svar fra akkurat de personene man har sett for seg å intervjue.
En følge av dette kan ofte være at man øker utvalgsstørrelsen og ringer helt til man har tilstrekkelig antall besvarelser. Utvalget man sitter igjen med blir dermed et annet enn det man så for seg.
For å bøte på dette vil man søke å finne tilgjengelig informasjon om befolkningen slik at man kan balansere utvalget.
For eksempel er det et velkjent fenomen at unge personer, samt personer med lavt utdanningsnivå, i mindre grad svarer på spørreundersøkelser.
Det må derfor tilstrebes at utvalget inneholder et tilstrekkelig antall personer etter ulike demografiske kriterier så det blir mest mulig likt befolkningen for øvrig.
Dette kan enten gjøres gjennom bruk av kvoter, ved at man ringer flest mulig tilfeldig utvalgte til man har et balansert utvalg, eller gjennom bruk av programvare som justerer et ubalansert datasett etter de samme kvotene.
Mens George Gallup i sin tid brukte kvoteutvalg, er det i dag vanligere å bruke programvare til å balansere («vekte») i ettertid, særlig i kommersiell sammenheng. Årsaken er at dette er mindre kostnadskrevende, og at man unngår å oversample villige individer og dermed bryte med tilfeldighetsprinsippet.
Kvoteutvalg og vekting
De fleste som gjennomfører meningsmålinger benytter metodene som er utledet ovenfor og er utsatt for den samme type problematikk.
Det er når vi kommer til selve for- og etterarbeidet at de store forskjellene oppstår. Og det er derfor dette er relevant for å forstå hvordan meningsmålene i USA kan ta så mye mer feil enn i Norge.
For å kunne besørge et representativt utvalg er vi avhengig av å vite hvordan befolkningen ser ut i virkeligheten.
Norge er et av de landene i verden som har svært god statistikk om befolkningen. Vi har et folkeregister som sier noe om geografisk bosted, alder, yrke, utdanningsnivå, med mer. Dette er data som er tilgjengelig fra Statistisk sentralbyrå og som er data med høy kvalitet.
Denne typen statistikk gjør det vesentlig enklere å sette utvalgskvoter eller justere et skjevt utvalg ved bruk av vekter slik at det likevel blir kvasi-representativt.
Ettersom vi vet nøyaktig hvor mange 20-åringer, 30-åringer, folk med høy/lav utdanning som finnes i landet, fordelt etter bosted, kan vi balansere utvalget vårt etter denne informasjonen, og dermed tilnærme oss den reelle populasjonen.
USA – et desentralisert samfunn
Det er ingen hemmelighet at Norge er et vesentlig mer homogent og transparent samfunn enn USA.
Det kan være vanskelig for nordmenn å forstå hvor desentralisert USA er som samfunn. Det er heller ikke spesielt rart all den tid Norge er et av verdens mest sentraliserte samfunn.
Å gjennomføre gode nasjonale målinger i USA er svært kostbart og svært krevende. Landet er så variert og heterogent at man med 1000 tilfeldig utvalgte fordelt over alle USAs 50 delstater sannsynligvis vil få ekstremt store feilmarginer grunnet dårlig representativitet.
Og dersom man ønsker å bruke såkalt «Census»-data (offentlig statistikk om borgerne i USA, tilsvarende SSB-data) til å «vekte» resultatene er dette lite granulært nedover på lokalt nivå i USA. Det betyr at de små nyansene helt ned på lokalt nivå som USA består av, i liten grad vil kunne veies opp for og balanseres.
Kravene til å gjennomføre en representativ spørreundersøkelse i USA er dermed så store og kostnadskrevende at det er grunn til å tro at mange vil bryte med flere grunnleggende prinsipper.
Det er liten grunn til å tro at de som gjennomfører spørreundersøkelsene har funnet rimeligere metoder å gjøre dette på siden 2016. Dermed vil kostnadspress kunne skape dårlige målinger.
Bias
For å toppe det hele kommer «bias» inn på banen, som jeg bare så vidt har nevnt hittil i denne artikkelen. Dette kan på godt norsk omtales som «slagsider» som påvirker besvarelser i en meningsmåling.
Både den som spør og de som svarer kan ha «bias», men gitt at profesjonelle aktører i USA har tatt hensyn til bias knyttet til spørsmålsstilling, vil jeg her ta for meg respondentenes bias.
Det er grunn til å tro at mange velgere kvier seg for å si hvem de vil stemme på, og dermed ikke oppgir i det hele tatt eller oppgir den andre kandidaten isteden. Vi vet fra Norge at dette er et kjent tilsvarende fenomen med blant andre Frp-velgere.
En studie fra CATO-instituttet viser at hele 62% av amerikanere er redde for å dele egne politiske syn. Disse dataene viser også at trenden er økende, opp fra 57% i 2017.
Fordi menings- og debattklimaet i USA har blitt ekstremt mye mer polarisert de siste årene, og vi har sett frammarsjen av antidemokratiske metoder som «non-platforming» og såkalt «cancel culture», er det grunn til å tro at dette kan slå ut sterkere enn for fire år siden.
Det er spesielt oppsiktsvekkende (og urovekkende) at 32 % svarer at de er bekymret for egen arbeidssituasjon dersom de deler sitt politiske syn.
Det er derfor en teori at færre Trump-velgere faktisk våger å si at de skal stemme på Trump når de blir intervjuet.
Fram mot valget 2020
Det er uenighet blant kommentatorene om hvorvidt undersøkelsene viser mer treffsikre tall enn i 2016.
The New York Times mener blant annet at det er mindre underrepresentasjon av republikanere i år enn det var i 2016.
Likevel argumenterer samme avis for at mange av de samme utfordringene knyttet til underrepresentasjon av personer med lavt utdanningsnivå fremdeles er gjeldende.
Dette er et problem og kan ikke børstes under teppet – spesielt siden det er en kjensgjerning at så mange Trump-velgere finnes blant de lavere sosiale lag.
Brian C. Joondeph skriver i en artikkel i Rasmussen Reports at det hele er et déjà vu fra 2016. Han pepker på at de fleste spørreundersøkelser viser at et flertall oppgir at de vil stemme for Joe Biden, men når de blir spurt om hvem de tror kommer til å vinne selve valget, er det gjerne Trump som får den høyeste prosentandelen.
I artikkelen hevder han at å spørre om hvem de tror vinner valget er mer treffsikkert enn hvem de selv skal stemme på. Dette er etter mitt syn er spekulativt, men det er interessant likevel.
I en sammenligning mellom spørreundersøkelser i 2016 og i 2020 viser professor i statsvitenskap Alan I. Abramowitz til at det er mange likheter mellom forskjellene vi så i 2016 og forskjellene vi ser nå.
Forskjellene er likevel mer stabile over tid i 2020 enn i 2016, mener han. Dette tyder på at noe annet kan være i emning og at vi ikke kan belage oss på en gjentakelse av 2016-overraskelsen.
Det er i alle fall helt sikkert at per i dag så er ikke gapet mellom Joe Biden og Trump større enn det var periodevis i 2016. Dette kan bety at resultatene som viser en suveren Joe Biden-ledelsen er innenfor feilmarginene fra 2016.
Det kan derfor være lurt å lære av fortiden og ikke selge skinnet før bjørnen er skutt. Selv om det kan virke fristende.
Til slutt vil jeg påpeke at jeg er stor tilhenger av bruken av denne typen metodikk, og at det vi snakker om er beste tilgjengelige metode.
I Norge kan dette gjøres kostnadseffektivt og med gode resultater. Jeg er dog mer usikker på om det samme alltid er tilfelle i et så stort og heterogent land som USA.
Foto: Wikimedia Commons (faksimile).
