Tutkimusten keskinäinen vertailukelpoisuus - virhemarginaali, metodit ja kysymyksen asettelu

Pari sanaa tutkimustulosten keskinäisestä vertailukelpoisuudesta.

Lyhdyn tekijänoikeusbarometria on tehty  useita vuosia. Tavoitteena on  kerätä mielenkiintoista ajankohtaistietoa ja osin myös tuottaa aikasarjoja, joiden avulla voidaan seurata asennemuutoksia. 

Lyhdyn tutkimukset tekee arvostettu tutkmuslaitos Taloustutkimus Oy. Tulokset ovat luotettavia. Silti kaikki tutkimuksemme eivä ole keskenään vertailukelpoisia, koska niissä on käytetty erilaisia kysymyksen asetteluja tai erilaisia kysymysmetodeja. Lisäksi tutkimuksia verrattaessa on otettava huomioon virhemarginaali.

Esimerkki 1: Kysymyksenasettelun vaikutus 

Tekijänoikeusbarometrin yleinen luvattomien tekojen kysymys  Internettiin luvatta laitetun musiikin, elokuvan tai tietokonepelien imuroinnin osalta  koskee sitä, onko vastaajan perheessä on imuroitu laittomasta lähteestä   "viimeisen yhden vuoden" aikana.   Kyllä-vastauksen antamiseen riittää siis teoriassa yksi luvaton lataus 12 kuukauden aikana.

Suuressa, 3007 hengen otannalla tehdyssä piratismitutkimuksessa (2009/2010 vaihteessa) haluttiin selvittää laittoman lataamisen taloudellisia vaikutuksia. Siinä tekoja kysyttiin  "keskimäärin kuukauden aikana".  Kyllä-vastauksen antajille esitettiin jatkokysymyksiä, joilla kartoitettiin ladattavien tiedostojen määriä ja laatua. Koska vuodessa on 12 kuukautta, rima tässä on korkeammalla.  Kyllä-vastauksen antamiseen riittää tässä teoriassa vasta se, että lataa keskimäärin 12 tiedostoa vuodessa. Koska kysymyksen asettelu on perustavalla tavalla erilainen, näden tutkimusten tuokset eivät ole keskenään vertailukelpoisia.

Esimerkki 2: Erilainen metodi

Tekijänoikeusbarometrin joitakin kysymyksiä on ajoittain kysytty  muutaman kuukauden sisällä sekä puhelinhaastatteluilla että henkilökohtaisin face-to-face -haastatteluilla. Näin on päästy vertailenaan tutkimusmetodin vaikutusta tuloksiin. 

Kokemusten mukaan nämä metodit eivät vaikuta merkittävästi asenne yms kysymyksiin mutta laittomien tekojen kertommiseen vaikuttavat. Ihmiset uskaltavat  näemmä tunnustaa laittomia tekoja helpommin face-to-face-tilanteessa kuin puhelimitse.  Psykologinen tilanne anonyymissä puhelinhaastattelussa on selvästi toisenlainen kuin face-to-face -keskustelussa. Ehkä vastaaja ei uskalla luottaa siihen, että puhelimessa todellakin on tutkimuslaitos eikä poliisi tai vaikka nettiblogin kirjoittaja?

Tulossarjojen erot kuitenkin osoittavat, että laittomien tekojen tunnustamisessa erot eivät  mahdu tutkimusten normaaleihin virhemarginaaleihin.  Siksi laittomien tekojen tunnustamisessa puhelinhaastattelu-tutkimusten (Telebus) tuloksi ei ole syytä verrata henkilökohtaisin haastatteluin tehtyihin tutkimuksiin (Omnibus).

Virhemarginaali huomioon

Lisäksi on muistettava, että useimpien tutkimusten virhemarginaalit ovat yleensä 2,0 -2,5 prosenttiyksikköä kumpaankin suuntaan aivan kuten puoluegallupeissakin. Mitä pienempi otanta on, sitä suuremmaksi virhemarginaali kasvaa. 

Lauri Kaira