Nättidningen Kvartal ringde mig för några veckor sedan och frågade en hel del saker om vår metod och hur vi kunde ha så bra deltagarfrekvens, vi beskrev det och svarade på alla frågor vi fick, men en sak hittade de som var ett tryckfel. Vilket vi noterade och självklart kommer åtgärda när vi förstod vad de var ute efter.
Novus använder sig av tre metoder för att få in svar från slumpmässigt utvalda svenskar, vilket ligger till grund för den höga och jämna deltagarfrekvensen. Metoderna som används för att genomföra undersökningar är telefon (PFM), SMS (Novus) och vykort (Novus).
Kritiken som riktats mot Novus grundar sig i att deltagarfrekvensen återkommande ligger på 51 procent.
Deltagarfrekvensen tenderar att ligga mellan 50,5 och 51,4 procent. Siffran 51 procent har legat statiskt i den rapportmall som används för att sammanställa bl.a. väljarbarometern. Med andra ord har Novus inte manuellt gått in och ändrat den siffran, vilket visar på ett administrativt fel. Det har gjort att antal sökta personer har diffat med ca 50 personer. Men antal intervjuer och undersökningsresultatet har varit helt korrekt. Deltagarfrekvensen likaså, dock med ett avrundningsfel som resulterat i en diff i antal sökta personer.

Om deltagarfrekvensens vara eller icke vara:

Novus har många gånger innan skrivit och beskrivit att deltagarfrekvensen som ett internt kvalitetsmått, bl.a. höll vi ett seminarium om våra bortfallsanalyser som kan ses i efterhand här, där även rapporten finns att ladda ned: Novus Tillförlitlighets-seminarium (https://novus.se/think-with-novus/seminarier/novus-tillforlitlighets-seminarium-varfor-ska-man-lita-pa-bra-undersokningar/)

Det ligger i Novus intresse att säkerställa så litet bortfall som möjligt för att också minimera systematiskt bortfall. Orsaken till att vi i väljarbarometern har tre insamlingsmetoder. Alltså t.ex. inte bara telefonintervjuer, eller t.ex. brev för den delen. Väljarbarometern är speciell, jämfört med många andra undersökningar. Därför gör vi extra mycket för att säkerställa att den har den bästa möjliga metod man kan ha idag. Det definierar hur man ser på hela undersökningsbranschen.

Deltagarfrekvensen är faktiskt ett internt kvalitetsmått som inte säger något externt kring hur bra en undersökning är. Därför tog vi bort redovisningen från SVT:s rapportering i våras, men på grund av ett misstag kom siffran tillbaka i mallen som låg till grund för en rapport som endast presenterades på Novus hemsida. I vår rapportering till våra mediepartner ingår inte denna siffra längre av anledningen ovan (internt kvalitetsmått). Något vi direkt sa till journalisten när de ställde frågor. Fel kan man så klart göra i de ställen då det är en manuell process. Att inte alla etablerade undersökningsföretag presenterar deltagarfrekvensen bekräftar att vi inte är de enda som ser det som ett internt och inte ett externt kvalitetsmått. Så det Novus gjorde i våras var at sälla oss tydligare till den gruppen.

Avrundningsfelet påverkade en sak: T.ex. när det står att sökt urval var knappt 7000 så var den korrekta siffran som inte led av ett avrundnings fel ca 100 mer eller mindre. Felet var som störst 0,5 procentenheter i sökt urval.

Allt annat har hela tiden varit korrekt. Antal som svarade, resultatet i undersökningen och deltagarfrekvensen (dock avrundat till heltal)

Novus metoder har alltid varit transparenta, och det finns ingen hemlig modell och alla våra kunder får denna information.

Torbjörn Sjöström
VD
Novus