Spørgsmål og svar om analyser

Q. Mange millioner mennesker har ikke adgang til internettet. Hvordan kan man overhovedet afspejle synspunkterne hos befolkningen som helhed?

A. Da internettet var nyt, var det rent faktisk umuligt at gennemføre pålidelige undersøgelser, ganske enkelt fordi for få mennesker havde adgang til det. Men nu har det bredt sig til alle signifikante demografiske grupper, og i 2014 har 93 % af de danske familier adgang til internet i hjemmet ifølge Danmarks statistik. Ved onlineunderundersøgelser kan man nå ud til et tilstrækkeligt antal af både kvinder og mænd, personer over 60 og under 30 samt folk med indtægter både over og under gennemsnittet. Derfor gennemfører man nationale undersøgelser for at opnå en repræsentation af befolkningen som helhed.

Q. Men det må da være lettere for de analyseinstitutter, der ringer til folk, at få en repræsentativ stikprøve, fordi næsten alle har telefon i dag?

A. Ikke nødvendigvis. Der findes en række årsager til, at virksomheder, der benytter telefoniske undersøgelser, har vanskeligt ved at opnå en virkeligt repræsentativ stikprøve. De får som regel fat i personer, der tilbringer størstedelen af deres tid derhjemme, og som er mest villige til at tale med fremmede. Det er mindre sandsynligt, at de får fat i personer, der er meget væk hjemmefra, eller som ofte bruger telefonsvareren til at gennemgå de indkommende opkald, eller som ikke bryder sig om at tale med fremmede, eller som hovedsageligt eller udelukkende bruger deres mobiltelefon.

Q. Men måske adskiller personerne i jeres stikprøver, som alle er online, sig væsentlig fra personer, der ikke er online, på vigtige områder, selvom de demografisk ligner den brede offentlighed?

A. Alle analyseinstitutter står med den udfordring, at de får synspunkterne fra de personer, som de kan få fat i, og udarbejder skøn over synspunkterne for de personer, som de ikke kan få fat i. Selvom de rammer rigtigt rent demografisk, hvordan kan de da være sikre på, at de personer, der gennemfører undersøgelserne, er ligesom resten af befolkningen? Det er netop for at agere på denne udfordring, at YouGov forsøger at frembringe resultater, der ikke bare er demografisk, men også holdningsmæssigt repræsentative. Vi vægter både vores rådata for at sikre, at vores tal stemmer overens med landsprofilen for alder, socialklasse og region, og stemmeafgivelse ved det seneste valg og andre parametre.

Q. Du nævner "vægtning". Når aviserne refererer til undersøgelser, siger de ofte, at resultaterne er "vægtede". Hvad betyder det?

A. Næsten alle undersøgelser omfatter en grad af vægtning, hvad enten de gennemføres online, som personlige interview eller over telefonen. Det sker for at sikre, at de offentliggjorte resultater er en korrekt afbildning af den befolkning, man forsøger at måle. For eksempel udgør mænd 48 % af vælgerskaren og kvinder 52 %. De rå tal i en veludført undersøgelse vil ligge tæt på dette, men de stemmer ikke nødvendigvis helt overens med disse tal. Hvis man nu forestiller sig, at de rå tal består af 50 % mænd og 50 % kvinder, så vil YouGov's computer give mændenes svar lidt mindre vægt (så svarene fra 50 mænd ville tælle, som om der var 48), og give svarene fra kvinder lidt større vægt (så svarene fra 50 kvinder ville tælle, som om der var 52).

I praksis er opgaven mere kompliceret end som så, eftersom der samtidg skal tages hensyn til spørgsmålet om alder, socialklasse, region såvel som køn. Dette er en opgave for YouGov's computer, der justerer de rå data for at tage højde for alle disse faktorer.

Q. Vælger jeres respondenter selv, om de vil deltage i en undersøgelse – og risikerer I ikke, at personer, der har stærke synspunkter, bliver overrepræsenteret i jeres undersøgelser?

A. Nej. Når vi ønsker at høre, hvad befolkningen som helhed mener, udvælger vi de respondenter, vi ønsker at spørge. Kun de udvalgte kan besvare spørgeskemaet. Når vi sender vores e-mail til dem, fortæller vi ikke, hvad emnet for undersøgelsen er. Desuden er vores incitamentssystem udformet, så det både tiltrækker personer, der ikke interesserer sig for det pågældende emne, og personer, der er meget interesserede i det. Det betyder, at vi kun oplever begrænset eller slet intet frafald, når en undersøgelse med flere temaer skifter fra det ene emne til det andet.

Q. Hvor store er jeres stikprøver – og hvordan adskiller de sig fra de stikprøver, virksomheder, der benytter mere traditionelle metoder, anvender?

A. De fleste af YouGov's national repræsentative undersøgelser består af stikprøver på mindst 1.000 personer. Andre institutter, der gennemfører regelmæssige undersøgelser for medierne, har også stikprøver på omkring 1.000 personer.

Q. Hvorfor er stikprøvens størrelse vigtig?

A. Fordi risikoen for tilfældige stikprøvefejl hænger sammen med stikprøvens størrelse - jo mindre stikprøve, jo større er risikoen for en sådan fejl. I en stikprøve på 550 kan vi være sikre på, at vores resultat 19 gange ud af 20 ikke afviger mere end 4 % fra det tal, vi ville have fået, hvis vi havde spurgt hele befolkningen. Den tilfældige fejlprocent for en stikprøve på 1.000 er på  3 %, ved stikprøver på henholdsvis 1.500 og ved 2.000 falder fejlmarginen til henholdsvis 2,5 % og 2 %. Større stikprøver giver også mulighed for mere nøjagtige målinger af holdningerne hos undergrupper såsom kvindelige eller socialdemokratiske vælgere.

Q. Er der ikke risiko for en "panel-effekt": Det vil sige, at de regelmæssige undersøgelser betyder, at YouGov's respondenter bliver præget af processen og ikke længere er repræsentative for vælgerkorpset som helhed?

A. Det er sjældent, at en YouGov-respondent får stillet det samme spørgsmål eller et lignende spørgsmål (f.eks. om hvem de vil stemme på næste gang) særlig tit. Derfor vil enhver panel-effekt sandsynligvis være ubetydelig. Men vi kontrollerer det fra tid til anden ved at sammenligne resultaterne fra "nye" respondenter med "gengangerne". Hidtil har vi ikke fundet nogen variation.

Simpel logik tilsiger, at hvis det var korrekt, at man ved at stille det samme spørgsmål til den samme person gentagne gange, kunne ændre, hvem de ville stemme på næste gang, ville det uden tvivl være en teknik, som de politiske partier i vid udstrækning ville benytte sig af. Sådan forholder det sig ikke.

Q. Hvordan kan I se, at jeres respondenter ikke bare afgiver hurtige, tilfældige, slag-på-tasken-svar i stedet for at give udtryk for deres virkelige holdninger?

A. Som alle andre analyseinstitutter kan vi ikke give nogen fuldstændig garanti for, at der ikke er en eneste respondent, der lyver eller forsøger at narre os. Men der findes ikke nogen beviser på, at det skulle være et reelt problem. Fra tid til anden stiller vi nogle respondenter en række klassificeringsspørgsmål, som de har besvaret tidligere, for at kontrollere, at de svarer konsekvent – og vi finder kun begrænsede eller slet ingen tegn på, at nogen forsøger at binde YouGov noget på ærmet. Meget tyder på, at mange er mere ærlige, når de besvarer spørgsmål anonymt via en computer, end når de taler med et fremmed menneske. De er heller ikke under tidspres, når de gennemfører undersøgelserne online. De kan bruge lige så lang tid, de ønsker – og det er en af grundene til, at onlineundersøgelser er bedre end telefoninterview eller direkte interview, når man stiller komplicerede spørgsmål, som folk skal bruge lidt tid på at tænke over.

Q. Hvad forhindrer folk – måske ekstremister af den ene eller anden slags – i at melde sig til YouGov's panel for at påvirke YouGov's resultater?

A. Når vi gennemfører undersøgelser om politik og offentlig politik, er langt størstedelen af de adspurgte, personer som vi har rekrutteret proaktivt via nøje udvalgte websteder. Vi holder skarpt øje med det mindretal, der registrerer sig hos YouGov inde på vores eget websted. Hvis der forekommer en pludselig afvigelse i mønstret for de personer, der er rekrutteret på denne måde, har vi stadig mulighed for at udelukke dem fra vores undersøgelser.

Man skal huske på, at enhver organisation, der forsøger at "flytte" vores tal med f.eks. 10 procentpoint, vil skulle infiltrere mere end 5.000 mennesker. Ethvert forsøg på noget sådant ville hurtigt blive afsløret.

Q. Jeres undersøgelser modsiger nogle gange undersøgelser fra analyseinstitutter, der benytter sig af traditionelle metoder. Er det ikke bevis på, at jeres metoder er upålidelige?

A. Nej. Det beviser kun, at forskellige metoder kan give forskellige svar. I sig selv beviser det ikke, hvilken metode, om nogen overhovedet, der er den rigtige. Det er faktisk forholdsvis sjældent, at der opstår den slags forskelle. Normalt er det sådan, at når YouGov og andre analyseinstitutter stiller lignende spørgsmål omkring det samme tidspunkt, er vores offentliggjorte resultater meget lig hinanden.

Men på nogle områder findes der fortsat forskelle, særligt når undersøgelser berører socialt eller politisk følsomme emner, kan den kontakt hvori spørgsmållet stilles via telefon eller web være afgørende. Foreksempel kan vi ved de seneste svenske folketingsvalg se, at virksomheder, der benytter telefoniske undersøgelser, konsekvent undervurderer tilslutningen til det indvandringskritiske parti, Sverigedemokraterna.

Q. Hvordan kan I vise, at YouGov's undersøgelser konsekvent er præcise?

A. Et analyseinstitut kan kun påvise, at dets resultater er præcise, når de kan sammenlignes med virkelige begivenheder.

Q. Hvem sørger for, at YouGov's undersøgelser er "ærlige og nøjagtige"?

A. YouGov er medlem af SMIF og ESOMAR og overholder organisationens regler.