Lomaketestaus EU-tilastojen tärkeäksi harmonisoinnin keinoksi

  1. Euroopan tilastojen testauspolitiikka
  2. Testausmenetelmät
  3. Lomakkeen suunnittelun ja testauksen strategia
  4. Suosituksen arviointia

Koko dokumentti yhdellä sivulla

Suosituksen arviointia

Surveytutkimusten kognitiivinen testaus on levinnyt Amerikan mantereelta parin viime vuosikymmenen aikana lähes kaikkiin Euroopan maihin. 1980-luvun puolivälissä alkanut kognitiivisen psykologian liittäminen lomaketutkimusten kehittämiseen on tuottanut myös tutkimusmenetelmien kehittämisen. Kansallisiin tilastovirastoihin on sittemmin perustettu käyttäytymistieteellisiä menetelmäyksiköitä, jotka soveltavat teoreettista tietoa lomakkeiden käsitteiden, luokitusten ja kysymysten kehittämiseen. Edelläkävijöitä ovat Yhdysvaltojen ja Kanadan tilastovirastot, joissa testaaminen on ollut jo pitkään kiinteä osa lomakkeiden suunnittelua. Maailman parhaimmaksi mainitun Kanadan tilastoviraston lomakkeiden testauspolitiikan mukaan (Laffey 2002):

  1. Kaikki uudet lomakkeet ja olemassa olevien lomakkeiden muutokset on testattava molemmilla virallisilla kielillä;
  2. Testausten perusteella tehdyt muutokset on arvioitava testauksen toteuttaneessa yksikössä (Questionnaire Design Resource Centre) ja
  3. Kaikkien jatkuvien tiedonkeruiden keruulomakkeet on arvioitava säännöllisin väliajoin.

Euroopan tilastojen harmonisoimiseksi kehitetyt testausmenettelyt muistuttavat Kanadan tilastoviraston testauspolitiikkaa. Kuitenkin toisin kuin amerikkalaiset menetelmäoppaat tämä eurooppalainen käsikirja korostaa käsitteellistämisen ja operationalisoinnin vaiheita lomakesuunnitteluun kuuluvana osana. Käsitteiden operationalisoimiseksi valittuja indikaattoreita ei pidetä suorina tai täydellisinä käsitteen kuvauksina, jolloin niillä saadut mittaustulokset vaativat validointia. Tilastollista tutkimusta on arvosteltu siitä, että siinä samaistetaan usein käsite ja mittari. Tutkijat ovat kuvanneet, kuinka tilastollisten aineistojen tulkinnassa operationalisointi näyttää usein unohtuvan, jolloin käsite ja sen mittaamista varten kehitetty mittari samaistetaan (Lehto 1996, Mäkelä 1997, Ronkainen 1999, Alastalo 2005). Silloin unohtuu, että indikaattori on suhteellinen ja osittainen mitattavaan käsitteeseen nähden.

Käsitteellisen validoinnin lisäksi lomakkeeseen saadut vastaukset pitäisi nähdä psykologisen ja sosiaalisen vuorovaikutustilanteen tuloksena. Silloin tulosten validiteetti riippuu siitä, tulkitseeko tutkija tutkittavien henkilöiden vastaukset heidän tarkoittamallaan tavalla. Esimerkiksi tutkimuslomakkeiden esitestausaineistoja voidaan käyttää tällaisen validiteetin selvitykseen ja tulosten tulkintaan (ks. artikkelit osoitteessa www.tilastokeskus.fi/surveylaboratorio).

Käytännesäännöt edellyttävätkin myös kerätyn aineiston validointia. Käytännesääntöjen periaatteessa 12 käsitellään tilaston tarkkuutta ja luotettavuutta. Sen mukaan väliaikaiset tulokset ja tuotetut tilastotiedot on arvioitava ja validoitava.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Lähteet:

Alastalo, M. (2005): Metodisuhdanteiden mahti. Lomaketutkimus suomalaisessa sosiologiassa 1947-2000. Tampere: Vastapaino.
Eurostat (2005): European Statistics Code of Practice for The National and Community Statistical Authorities. Adopted by The Statistical Programme Committee on 24 February 2005 and promulgated in The Commission Recommendation of 25 May 2005 on The Independence, Integrity and Accountability of The National and Community Statistical Authorities.
Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System. (2006) European Commission Grant Agreement 200410300002. (http://europa.eu.int/comm/eurostat/quality -> "ESS practices" -> "Methodology".
Euroopan yhteisöjen komissio: Komission tiedonanto Euroopan parlamentille ja neuvostolle. Kansallisten ja yhteisön tilastoviranomaisten riippumattomuudesta, koskemattomuudesta ja vastuuvelvollisuudesta (sisältää hyväksytyt käytännesäännöt). Komission suositus. Bryssel 25.5.2005.
Laffey, F. (2002): Business Survey Questionnaire Review and Testing at Statistics Canada. Presented at the International Conference on Questionnaire Development, Evaluation and Testing Methods (QDET), November 14-17, 2002, Charleston, South Carolina.
Lehto, A.-M. (1996): Työolot tutkimuskohteena. Työolotutkimusten sisällöllistä ja menetelmällistä arviointia yhteiskuntatieteen ja naistutkimuksen näkökulmasta. Tutkimuksia 222. Helsinki: Tilastokeskus.
Mäkelä, J. (1997): Onko kvantitatiivinen tutkimus kvantitatiivista? Hyvinvointikatsaus 3/97, 64-67.
Ronkainen, S. (1999): Ajan ja paikan merkitsemät. Subjektiviteetti, tieto ja toimijuus. Helsinki: Gaudeamus.
Statistics Canada (2002). Policy on the Review and Testing of Questionnaires.

Alkuun Edellinen Seuraava

Päivitetty 12.12.2006