Lomaketestaus EU-tilastojen tärkeäksi harmonisoinnin keinoksi

Koko dokumentti sivutettuna

Kirjoittaja: Anja Ahola, Tilastokeskuksen SurveyLaboratorion erikoistutkija. Artikkeli julkaistu Tilastokeskuksen Hyvinvointikatsauksessa IV/2006

Tiedonkeruulomake on luotettavan ja laadukkaan tilastollisen mittaamisen perusta surveytutkimuksissa. Siksi lomakkeiden systemaattisen testauksen edistäminen sisältyy Euroopan yhteisöjen suositukseen tilastojen kehittämiseksi.

Systemaattinen testaustoiminta on nousemassa Euroopan tilastolliseen järjestelmään kuuluvien tilastojen keskeiseksi kehittämisen välineeksi. Euroopan tilastojen käytännesäännöt vuodelta 2005 edellyttävät, että kansalliset tilastovirastot käyttävät tarkoituksenmukaisia menettelyjä tilastojen aineistonkeruun ja aineistojen validoimiseksi (European Statistics, Code of Practice, principle 8). Yksi tätä periaatetta toteuttava indikaattori on lomakkeiden systemaattinen testaus. Nyt Euroopan komission toimeksiannosta on laadittu käsikirja, joka konkretisoi aikaisemmin hyväksytyn tilastojen lomakkeiden kehittämisen ja testaamisen käytännesäännön (Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, 2006).

Euroopan tilastojen testauspolitiikka

Käsikirja esittää tiukat vaatimukset Euroopan tilastojen aineistonkeruulomakkeiden kehittämiseksi. Sen mukaan lomake muodostaa perustan kaikelle surveyperustaiselle tilastolliselle mittaamiselle. Huonon lomakkeen tuottamia virheitä ei juurikaan voida korjata tutkimusprosessin myöhemmissä vaiheissa. Siksi systemaattinen lomakkeen suunnittelu- ja testausprosessi on ensiarvoisen tärkeä aineiston laadulle. Suosituksen mukaan Euroopan tilastojen lomakkeet on testattava systemaattisesti, ja testauksen on tapahduttava ennen varsinaista aineistonkeruuta. Ensimmäinen vaatimus tarkoittaa, että testauksen on tapahduttava systemaattisia metodeja käyttäen, esimerkiksi usein käytetty lomakkeiden kommentointi ei ole systemaattista testausta. Toisen vaatimuksen mukaan uusien lomakkeiden lisäksi kaikki lomakkeet, joilla kerätään tietoa Euroopan tilastoja varten, on testattava, mikäli niitä ei ole testattu aikaisemmin. Tämä tarkoittaa, että seuraavat tilanteet edellyttävät testausta:

  • uudet surveyt,
  • uudet kysymykset, joita ei ole aikaisemmin testattu,
  • meneillään olevien tutkimusten muutetut kysymykset, vaikka muutokset näyttäisivät pieniltä,
  • kun aineistonkeruumenetelmää muutetaan,
  • kun aineiston metodologinen analyysi on osoittautunut heikkolaatuseksi.

Mikäli tarpeellista testausta ei ole toteutettu eikä aikaisemman tutkimustiedon perusteella voida osoittaa riittävää evidenssiä kysymyksen luotettavuudesta, kysymystä ei suosituksen mukaan sisällytetä Euroopan tilastoihin. Jos testaukset on suoritettu, mutta tulokset osoittavat, että kysymys toimii huonosti tai vaikuttaa kielteisesti muihin kysymyksiin tai vastaushalukkuuteen, kysymystä ei käytetä ilman sen kehittämistä ja testaamista uudelleen.

Sivun alkuun

Testausmenetelmät

Testaamalla etsitään kysymysten sisällön ja sanamuotojen, lomakkeen kysymysjärjestyksen ja kontekstin sekä visuaalisen suunnittelun ongelmia. Kullakin menetelmällä on heikot ja vahvat puolensa, jolloin sopivat menetelmät on valittava tutkittavan ongelman mukaan. Eri menetelmät sopivat lomakkeen kehittämisen eri vaiheisiin. Vastaamisprosessin ongelmien paikallistamiseksi ja ratkaisujen löytämiseksi useiden menetelmien yhdistely on yleensä välttämätöntä. Yhden testausmenetelmän käyttö on erittäin harvoin riittävää.

Käsikirja jäsentelee lomakkeiden testausmenetelmät ennen aineistonkeruuta ja sen aikana sovellettaviin menetelmiin. Ennen varsinaista aineistonkeruuta toteutettavilla menetelmillä tuotetaan tietoa ennen kaikkea niistä prosesseista, joilla vastaajat etenevät vastatessaan kysymyksiin.

Tällaisia menetelmiä ovat:

  • asiantuntijaraadin arvioinnit,
  • kognitiiviset haastattelut, kuten ääneenajattelu,
  • kysytyn toistaminen omin sanoin (paraphrasing),
  • vastaamista havainnoivat haastattelut,
  • luotettavuuden arviointi (tutkittava henkilö arvioi kysymystä asteikon avulla),
  • lajittelu,
  • kehystarinoiden luokittelu (sorting vignette techniques),
  • vastausajan analyysi (analysis of response latencies).

Tilastollisen aineistonkeruun aikana käytettävät menetelmät ovat:

  • haastatteluvuorovaikutuksen koodaus,
  • jälkipuinti (debriefings) haastattelijoiden kanssa (systemaattiset menetelmät),
  • jälkipuinti (debriefings) vastaajien kanssa tai heidän kokemuksiaan käyttäen,
  • seurantahaastattelut
  • erilaiset kokeelliset tutkimusasetelmat.

Testausaineistot kerätään tällöin perinteisen pilot-esitutkimuksen tai kenttätyön yhteydessä tai rinnakkain varsinaisen kenttätyön kanssa.

Sivun alkuun

Lomakkeen suunnittelun ja testauksen strategia

Lomakkeen suunnittelua ohjaa testausstrategia. Strategia on sovitettava suunnittelun kohteena olevan surveyn olosuhteisiin siten, että se mahdollistaa parhaiten ongelmien ja niiden ratkaisujen löytämisen. Esimerkiksi uusien surveytutkimusten testaus vaatii erilaisen lähestymistavan kuin toistuvien. Samoin testausstrategian on otettava huomioon valitun tiedonkeruumenetelmän rajoitukset ja mahdollisuudet. Testausstrategian suunnittelu on tärkeätä myös siksi, että välttämättömille testauksille ja niiden analyysille osataan varata riittävästi aikaa.

Lomakkeen suunnittelun strategisia vaiheita on viisi (ks. kuvio 1).

Kuvio 1. Lomakkeen suunnittelun ja testauksen vaiheet.

Lähde: Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, Executive Summary XI.

Käsitteellistäminen keskeinen vaihe lomakesuunnittelua

Hyvien kysymysten lähtökohtana ovat käsitteet, niiden perusteellinen ajattelu ja operationalisointi. Operationalisoinnilla teoreettiselle käsitteelle etsitään empiirinen vastine. Teoreettiset käsitteet - näennäisesti yksinkertaisetkin - vaativat empiiristen ominaisuuksien (indikaattoreiden) valinnan, joista voidaan laatia kysymymyksiä. Näiden indikaattoreiden ajatellaan olevan soveltuvia (vaikkakaan ei suoria tai täydellisiä) käsitteen kuvauksia (Handbook of Recommended Practices Executive Summary, XI). Siksi operationalisoinnnin tarkka kuvaus on tärkeää, koska sen kautta mittaus tehdään näkyväksi, jolloin sen onnistuneisuutta voidaan arvioida. Vaiheen tavoitteena on päätyä indikaattoreihin, joista voidaan tehdä kysymyksiä.

Usein käsitteellistämisestä ja käsitteiden operationalisoinnista luovutaan ja ryhdytään rakentamaan suoraan kysymyksiä. Kuitenkin vasta sen jälkeen kun lomakkeen käsitteellinen perusta on täsmennetty ja sopiva aineistonkeruumenetelmä valittu, voidaan aloittaa lomakkeen suunnittelu. Tutkimuksen epäselvät tavoitteet ja niiden puutteellinen täsmentäminen tuottavat helposti ongelmia tutkimusprosessin kaikkiin seuraaviin vaiheisiin.

Tilaston käsitteitä verrattava tutkittavien käyttämiin käsitteisiin

Tutkimuksen käsitteet on operationalisoitava siten, että ne ovat myös vastaajan saavutettavissa. Kun tutkimuksen tekijällä on selkeä käsitys tutkimuksen tarkoituksesta ja peruskäsitteistä, on kartoitettava, kuinka ne vastaavat tutkittavien henkilöiden käyttämiä käsitteitä. Tulkitsevatko he käsitteet samoin kuin tutkimuksen suunnittelija?

Sitä, kuinka suunnittelijan ja tutkittavien käsitykset tutkimukseen kohteena olevista käsitteistä kohtaavat, voidaan tutkia laadullisia fokusryhmä- ja yksilöhaastatteluja käyttäen. Näiden ennen lomakeluonnosta tapahtuvien esitutkimusten tarkoituksena on selvittää tutkittavien henkilöiden näkökulma tutkittaviin asioihin. Ne sijoittuvat suunnitteluprosessin varhaisvaiheeseen ennen lomakkeen laadintaa ja niiden tarkoituksena on testata tutkittavan aiheen arkaluonteisuutta ja sitä, kuinka tutkittavat jäsentelevät aihetta ja tulkitsevat tutkimuksen yleiset käsitteet tai terminologian.

Lomakkeen testaus ja korjaaminen

Lomakkeen testauksen minimisuositus on, että se testataan vähintään yhtä menetelmää käyttäen tutkittavien henkilöiden kanssa (pelkkä asiantuntijaraadin arviointi ei ole riittävä). Lomakkeiden testausta ei kuitenkaan pidä aloittaa ennen kuin lomakeluonnos on valmiiksi suunniteltu. Kokonaan uudet surveyt vaativat tehokkaimman testausstrategian. Silloin minimivaatimus on ainakin yhden ennen aineistonkeruuta tapahtuvan testausmenetelmän käyttö (yleensä kognitiiviset haastattelut) ja korjausten jälkeen laaja pilot-testaus. Jo meneillään olevassa surveyssä testaaminen voi rajoittua ongelmallisiksi havaittuihin kohtiin tai uusiin moduleihin.

Yleisohjeena suositellaan kahta tai kolmea testauskierrosta. Kun testaamisen tuloksena lomaketta on korjattu, uusi testauskierros on normaalisti välttämätön. Tämä tarkoittaa, että lomake on testattava ensimmäisen kerran varhaisvaiheessa, jonka jälkeen se korjataan testaustulosten perusteella ja testataan uudelleen. Tämä prosessi toistetaan kaksi, kolme tai mahdollisesti useampia kertoja. Eri testauskerroilla voidaan käyttää kuitenkin eri menetelmiä.

Sivun alkuun

Suosituksen arviointia

Surveytutkimusten kognitiivinen testaus on levinnyt Amerikan mantereelta parin viime vuosikymmenen aikana lähes kaikkiin Euroopan maihin. 1980-luvun puolivälissä alkanut kognitiivisen psykologian liittäminen lomaketutkimusten kehittämiseen on tuottanut myös tutkimusmenetelmien kehittämisen. Kansallisiin tilastovirastoihin on sittemmin perustettu käyttäytymistieteellisiä menetelmäyksiköitä, jotka soveltavat teoreettista tietoa lomakkeiden käsitteiden, luokitusten ja kysymysten kehittämiseen. Edelläkävijöitä ovat Yhdysvaltojen ja Kanadan tilastovirastot, joissa testaaminen on ollut jo pitkään kiinteä osa lomakkeiden suunnittelua. Maailman parhaimmaksi mainitun Kanadan tilastoviraston lomakkeiden testauspolitiikan mukaan (Laffey 2002):

  1. Kaikki uudet lomakkeet ja olemassa olevien lomakkeiden muutokset on testattava molemmilla virallisilla kielillä;
  2. Testausten perusteella tehdyt muutokset on arvioitava testauksen toteuttaneessa yksikössä (Questionnaire Design Resource Centre) ja
  3. Kaikkien jatkuvien tiedonkeruiden keruulomakkeet on arvioitava säännöllisin väliajoin.

Euroopan tilastojen harmonisoimiseksi kehitetyt testausmenettelyt muistuttavat Kanadan tilastoviraston testauspolitiikkaa. Kuitenkin toisin kuin amerikkalaiset menetelmäoppaat tämä eurooppalainen käsikirja korostaa käsitteellistämisen ja operationalisoinnin vaiheita lomakesuunnitteluun kuuluvana osana. Käsitteiden operationalisoimiseksi valittuja indikaattoreita ei pidetä suorina tai täydellisinä käsitteen kuvauksina, jolloin niillä saadut mittaustulokset vaativat validointia. Tilastollista tutkimusta on arvosteltu siitä, että siinä samaistetaan usein käsite ja mittari. Tutkijat ovat kuvanneet, kuinka tilastollisten aineistojen tulkinnassa operationalisointi näyttää usein unohtuvan, jolloin käsite ja sen mittaamista varten kehitetty mittari samaistetaan (Lehto 1996, Mäkelä 1997, Ronkainen 1999, Alastalo 2005). Silloin unohtuu, että indikaattori on suhteellinen ja osittainen mitattavaan käsitteeseen nähden.

Käsitteellisen validoinnin lisäksi lomakkeeseen saadut vastaukset pitäisi nähdä psykologisen ja sosiaalisen vuorovaikutustilanteen tuloksena. Silloin tulosten validiteetti riippuu siitä, tulkitseeko tutkija tutkittavien henkilöiden vastaukset heidän tarkoittamallaan tavalla. Esimerkiksi tutkimuslomakkeiden esitestausaineistoja voidaan käyttää tällaisen validiteetin selvitykseen ja tulosten tulkintaan (ks. artikkelit osoitteessa www.tilastokeskus.fi/surveylaboratorio).

Käytännesäännöt edellyttävätkin myös kerätyn aineiston validointia. Käytännesääntöjen periaatteessa 12 käsitellään tilaston tarkkuutta ja luotettavuutta. Sen mukaan väliaikaiset tulokset ja tuotetut tilastotiedot on arvioitava ja validoitava.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Lähteet:

Alastalo, M. (2005): Metodisuhdanteiden mahti. Lomaketutkimus suomalaisessa sosiologiassa 1947-2000. Tampere: Vastapaino.
Eurostat (2005): European Statistics Code of Practice for The National and Community Statistical Authorities. Adopted by The Statistical Programme Committee on 24 February 2005 and promulgated in The Commission Recommendation of 25 May 2005 on The Independence, Integrity and Accountability of The National and Community Statistical Authorities.
Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System. (2006) European Commission Grant Agreement 200410300002. (http://europa.eu.int/comm/eurostat/quality -> "ESS practices" -> "Methodology".
Euroopan yhteisöjen komissio: Komission tiedonanto Euroopan parlamentille ja neuvostolle. Kansallisten ja yhteisön tilastoviranomaisten riippumattomuudesta, koskemattomuudesta ja vastuuvelvollisuudesta (sisältää hyväksytyt käytännesäännöt). Komission suositus. Bryssel 25.5.2005.
Laffey, F. (2002): Business Survey Questionnaire Review and Testing at Statistics Canada. Presented at the International Conference on Questionnaire Development, Evaluation and Testing Methods (QDET), November 14-17, 2002, Charleston, South Carolina.
Lehto, A.-M. (1996): Työolot tutkimuskohteena. Työolotutkimusten sisällöllistä ja menetelmällistä arviointia yhteiskuntatieteen ja naistutkimuksen näkökulmasta. Tutkimuksia 222. Helsinki: Tilastokeskus.
Mäkelä, J. (1997): Onko kvantitatiivinen tutkimus kvantitatiivista? Hyvinvointikatsaus 3/97, 64-67.
Ronkainen, S. (1999): Ajan ja paikan merkitsemät. Subjektiviteetti, tieto ja toimijuus. Helsinki: Gaudeamus.
Statistics Canada (2002). Policy on the Review and Testing of Questionnaires.

Päivitetty 12.12.2006