Lomaketestaus EU-tilastojen tärkeäksi harmonisoinnin keinoksi
- Euroopan tilastojen testauspolitiikka
- Testausmenetelmät
- Lomakkeen suunnittelun ja testauksen strategia
- Suosituksen arviointia
Koko dokumentti yhdellä sivulla
Lomakkeen suunnittelun ja testauksen strategia
Lomakkeen suunnittelua ohjaa testausstrategia. Strategia on sovitettava suunnittelun kohteena olevan surveyn olosuhteisiin siten, että se mahdollistaa parhaiten ongelmien ja niiden ratkaisujen löytämisen. Esimerkiksi uusien surveytutkimusten testaus vaatii erilaisen lähestymistavan kuin toistuvien. Samoin testausstrategian on otettava huomioon valitun tiedonkeruumenetelmän rajoitukset ja mahdollisuudet. Testausstrategian suunnittelu on tärkeätä myös siksi, että välttämättömille testauksille ja niiden analyysille osataan varata riittävästi aikaa.
Lomakkeen suunnittelun strategisia vaiheita on viisi (ks. kuvio 1).
Kuvio 1. Lomakkeen suunnittelun ja testauksen vaiheet.
Lähde: Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, Executive Summary XI.
Käsitteellistäminen keskeinen vaihe lomakesuunnittelua
Hyvien kysymysten lähtökohtana ovat käsitteet, niiden perusteellinen ajattelu ja operationalisointi. Operationalisoinnilla teoreettiselle käsitteelle etsitään empiirinen vastine. Teoreettiset käsitteet - näennäisesti yksinkertaisetkin - vaativat empiiristen ominaisuuksien (indikaattoreiden) valinnan, joista voidaan laatia kysymymyksiä. Näiden indikaattoreiden ajatellaan olevan soveltuvia (vaikkakaan ei suoria tai täydellisiä) käsitteen kuvauksia (Handbook of Recommended Practices Executive Summary, XI). Siksi operationalisoinnnin tarkka kuvaus on tärkeää, koska sen kautta mittaus tehdään näkyväksi, jolloin sen onnistuneisuutta voidaan arvioida. Vaiheen tavoitteena on päätyä indikaattoreihin, joista voidaan tehdä kysymyksiä.
Usein käsitteellistämisestä ja käsitteiden operationalisoinnista luovutaan ja ryhdytään rakentamaan suoraan kysymyksiä. Kuitenkin vasta sen jälkeen kun lomakkeen käsitteellinen perusta on täsmennetty ja sopiva aineistonkeruumenetelmä valittu, voidaan aloittaa lomakkeen suunnittelu. Tutkimuksen epäselvät tavoitteet ja niiden puutteellinen täsmentäminen tuottavat helposti ongelmia tutkimusprosessin kaikkiin seuraaviin vaiheisiin.
Tilaston käsitteitä verrattava tutkittavien käyttämiin käsitteisiin
Tutkimuksen käsitteet on operationalisoitava siten, että ne ovat myös vastaajan saavutettavissa. Kun tutkimuksen tekijällä on selkeä käsitys tutkimuksen tarkoituksesta ja peruskäsitteistä, on kartoitettava, kuinka ne vastaavat tutkittavien henkilöiden käyttämiä käsitteitä. Tulkitsevatko he käsitteet samoin kuin tutkimuksen suunnittelija?
Sitä, kuinka suunnittelijan ja tutkittavien käsitykset tutkimukseen kohteena olevista käsitteistä kohtaavat, voidaan tutkia laadullisia fokusryhmä- ja yksilöhaastatteluja käyttäen. Näiden ennen lomakeluonnosta tapahtuvien esitutkimusten tarkoituksena on selvittää tutkittavien henkilöiden näkökulma tutkittaviin asioihin. Ne sijoittuvat suunnitteluprosessin varhaisvaiheeseen ennen lomakkeen laadintaa ja niiden tarkoituksena on testata tutkittavan aiheen arkaluonteisuutta ja sitä, kuinka tutkittavat jäsentelevät aihetta ja tulkitsevat tutkimuksen yleiset käsitteet tai terminologian.
Lomakkeen testaus ja korjaaminen
Lomakkeen testauksen minimisuositus on, että se testataan vähintään yhtä menetelmää käyttäen tutkittavien henkilöiden kanssa (pelkkä asiantuntijaraadin arviointi ei ole riittävä). Lomakkeiden testausta ei kuitenkaan pidä aloittaa ennen kuin lomakeluonnos on valmiiksi suunniteltu. Kokonaan uudet surveyt vaativat tehokkaimman testausstrategian. Silloin minimivaatimus on ainakin yhden ennen aineistonkeruuta tapahtuvan testausmenetelmän käyttö (yleensä kognitiiviset haastattelut) ja korjausten jälkeen laaja pilot-testaus. Jo meneillään olevassa surveyssä testaaminen voi rajoittua ongelmallisiksi havaittuihin kohtiin tai uusiin moduleihin.
Yleisohjeena suositellaan kahta tai kolmea testauskierrosta. Kun testaamisen tuloksena lomaketta on korjattu, uusi testauskierros on normaalisti välttämätön. Tämä tarkoittaa, että lomake on testattava ensimmäisen kerran varhaisvaiheessa, jonka jälkeen se korjataan testaustulosten perusteella ja testataan uudelleen. Tämä prosessi toistetaan kaksi, kolme tai mahdollisesti useampia kertoja. Eri testauskerroilla voidaan käyttää kuitenkin eri menetelmiä.
Päivitetty 12.12.2006