Esioletukset vertailevan surveytutkimuksen sudenkuoppina

Koko dokumentti sivutettuna

Kirjoittaja: Riitta Kyllönen on toiminut tutkijana Tilastokeskuksen SurveyLaboratoriossa. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 3/2008.

Mittareiden rakentamista ohjaavien määritelmien kulttuurisidonnaiset esioletukset ovat vertailevan surveytutkimuksen haaste. Lomaketestausten avulla voidaan tunnistaa tilastojen vertailukelpoisuutta heikentäviä oletuksia.

Surveytutkimusten mittareiden suunnittelun haasteet ovat melkoisia jo kansallisissa tiedonkeruissa. Vertailevissa kansainvälisissä tutkimuksissa haasteet moninkertaistuvat, sillä maiden väliset kielelliset, kulttuuriset ja rakenteelliset erot vaikeuttavat funktionaalisesti ekvivalenttien mittareiden rakentamista. Funktionaalinen ekvivalenssi tarkoittaa, että mitataan käsitteellisesti samaa ilmiötä. Samatkin termit voivat eri maissa tarkoittaa aivan erilaisia asioita. Rakenne-erojen - kuten erilaisten yhteiskunnallisten instituutioiden ja järjestelmien - takia ekvivalentteja mittauskohteita ei välttämättä ole edes olemassa. Tieteellisesti uskottavia kansainvälisiä surveymittareita voidaan kuitenkin tuottaa vain, jos nämä erot otetaan vakavasti jo lomakesuunnittelussa. (Smith 2004, 431.)

Suunnitteluvaiheessa muuttujan määritelmiin saatetaan rakentaa sisään oletuksia, jotka toimivat vain joissakin maissa, mutta heikentävät mittarin pätevyyttä toisissa maissa. Tarkastelen artikkelissani, miten kulttuuriin sidotut alkuoletukset vaikuttavat surveytutkimukseen vastaamiseen maassa, jossa todelliset tilanteet poikkeavat oletuksesta. Käytän esimerkkinä Tilastokeskuksen SurveyLaboratoriossa testattua Euroopan unionin työvoimatutkimuksen lisätutkimusta, joka käsittelee työn ja perheen yhteensovittamista.

Alkuoletukset ovat kaiken tutkimuksen perusta

Systemaattiset lomaketestaukset ovat tärkeä väline EU:n tiedonkeruiden yhtenäistämisessä. Niiden tehtävä on tunnistaa vertailukelpoisuudeltaan heikkoja muuttujia ja kysymyksiä, niiden taustalla olevia kulttuurisia eroja ja virheellisiä olettamuksia (Smith 2004). Muuttujiin ja kysymyksiin voi olla rakennettuna ongelmallisia olettamuksia esimerkiksi vastaajasta ja hänen elämäntilanteestaan. Samoin jokin vaihteleva kokemus tai tilanne voidaan virheellisesti olettaa pysyväksi. "Samoilta" näyttävät asiat eivät välttämättä olekaan samoja. Yhdessä lomakekysymyksessä voi myös piillä useita kysymyksiä.

Alkuoletukset eivät sinänsä ole ongelma, sillä ne ovat kaiken mittaamisen lähtökohta; mitattavaa ilmiötä ei ole koskaan mahdollista tarkastella puhtaalta pöydältä. Esiymmärrys määrittää, mistä ilmiöstä halutaan tietoa ja mistä näkökulmasta ilmiötä tarkastellaan. Valittu näkökulma toimii tiedonkeruun lähtökohtana.

Ongelmallisia esioletukset ovat silloin, kun ne eivät tee oikeutta vastaajien elämäntilanteille ja -rakenteille. Tällaiset esioletukset heikentävät mittarin pätevyyttä eli validiteettia. Kysymystä pidetään oikein asetettuna silloin, kun "se pystyy haastateltavan kokemuksista valikoimaan hänen jokapäiväisen elämänsä ratkaisutilanteita ja virittämään niille muodon, joka vastaa hänen itsensä niille antamia tuntomerkkejä" (Sariola 1956, 55).

Sivun alkuun

Lisätutkimus testattiin neljässä maassa

Vuonna 2010 Euroopan tilastovirasto Eurostat toteuttaa toista kertaa työvoimatutkimuksen yhteydessä lisätutkimuksen työn ja perheen yhteensovittamisesta. Sen suunnittelua varten perustettu Task Force -työryhmä oli luonnostellut alustavan muuttujalistan, joka testattiin neljässä maassa. Suomi ja Itävalta käyttivät esitestauksessa menetelmänä kognitiivisia haastatteluja. Tšekki ja Slovakia tekivät pilottitutkimuksia suuremmalla otoksella. Lisätutkimuksen suunnittelussa noudatettiin toista kertaa uutta työskentelytapaa: muuttujat testattiin ennen lopullisen muuttujalistan hyväksymistä.

Lisätutkimuksen tavoitteena on selvittää, missä määrin EU-maiden työikäinen väestö osallistuu työmarkkinoille haluamallaan tavalla, ja jos työmarkkinoille ei voida osallistua halutulla tavalla, onko siihen syynä sopivien lasten- ja vanhustenhoivapalveluiden puute. Lisäksi tavoitteena on analysoida työn joustoja perheen suuntaan sekä arvioida, kuinka paljon perhevapaita ja muita vapaita käytetään työn ja perheen yhdistämiseksi.

Eurostatin output-harmonisoiduissa tiedonkeruissa kansalliset tilastovirastot saavat englanninkieliset kuvaukset mittaustavoitteista ja niiden pohjalta mittaamista varten määritellyt muuttujat. Output-harmonisointi tarkoittaa, että muuttujat on määritelty kaikille maille yhtenäisesti, mutta kukin maa voi muotoilla niiden pohjalta kysymykset ja kerätä tiedon tavalla, joka ottaa huomioon maan erityispiirteet. Kuvausten ja muuttujien pohjalta rakensimme ensin suomalaisen kysymyslomakkeen, jonka testasimme (ks. Kyllönen ym. 2007).

Sivun alkuun

Tarkastelussa lastenhoito-ongelmat

Lastenhoito-ongelmia koskevalla muuttujalla haluttiin selvittää, onko vanhemmilla vaikeuksia saada alle 15-vuotiaille lapsille hoitoa loma-aikoina (koulujen lomat, lastenhoitopalvelut kiinni, hoitaja lomalla). Jotta kaikki mahdolliset tilanteet saataisiin esille, muuttujan viiteaika oli koko vuosi.

Kysymysten muotoilua varten saimme tarkan muuttujan määritelmän: Koulujen loma-aikoina tai kun tavanomaiset lastenhoitopalvelut ovat suljettuja tai kun hoitaja on lomalla: Henkilö piti vapaata/vapaapäiviä (days off) tai lyhensi työaikaansa tai teki muita erityisjärjestelyitä viimeisten 12 kuukauden aikana hoitaakseen lastaan/lapsiaan.

Lastenhoito-ongelmia selvitetään kaikilta 15-64-vuotiailta, jotka asuvat samassa kotitaloudessa vähintään yhden alle 15-vuotiaan oman tai puolison lapsen kanssa ja jotka olivat työllisiä tutkimusviikolla tai olivat työskennelleet viimeisten 12 kuukauden aikana. Tieto halutaan erikseen koululaisista ja lapsista, jotka eivät vielä ole koulussa.

Rakensimme muuttujasta kaksi kysymystä (A ja B). Kyllä-vastauksesta seurasi molemmissa jatkokysymys, jota en tässä käsittele.

Kysymys päivähoidossa/esikoulussa olevien lasten vanhemmille:A: Oletteko viimeisten 12 kuukauden aikana ottanut vapaapäiviä, lyhentänyt työaikaanne tai tehnyt muita erityisjärjestelyjä töissä hoitaaksenne lastanne/lapsianne päivähoidon loma-aikoina?

Kysymys koululaisten vanhemmille:B: Oletteko viimeisten 12 kuukauden aikana ottanut vapaapäiviä, lyhentänyt työaikaanne tai tehnyt muita erityisjärjestelyjä töissä hoitaaksenne lastanne/lapsianne koulun loma-aikoina?

Sivun alkuun

Kognitiiviset haastattelut tunnistamisen apuvälineenä

Tilastokeskuksen SurveyLaboratorio testasi kysymykset tammi-huhtikuussa 2008 haastattelemalla 24 helsinkiläistä työssä käyvää henkilöä, jotka asuvat samassa taloudessa vähintään yhden alle 15-vuotiaan oman tai puolison lapsen kanssa. Haastateltavat olivat 30-56-vuotiaita miehiä ja naisia eri sosiaali- ja ammattiryhmistä. Suurin osa heistä asui kahden aikuisen taloudessa; vain kaksi haastatelluista oli yksinhuoltajia.

Testausmenetelmänä oli kognitiivinen haastattelu. Sen avulla tunnistetaan ongelmia, jotka heikentävät kysymyksen validiteettia. Vertailevassa surveytiedonkeruussa menetelmän avulla selvitetään, mittaako kysymys eri maissa ja väestöryhmissä sitä, mitä sen on tarkoitus mitata, ja mistä mahdolliset erot johtuvat. (Miller 2007.)

Kognitiivisen teorian mukaan surveykysymyksiin vastaaminen käynnistää vastaajan mielessä sarjan monimutkaisia kognitiivisia prosesseja (Willis 2005). Ensiksikin kysymys on ymmärrettävä ja tulkittava. Lisäksi sen edellyttämä tieto on palautettava mieleen sekä arvioitava ja muotoiltava vastaamista varten. Lopuksi vastaajan on ratkaistava, vastaako hän totuudenmukaisesti vai editoiko hän vastaustaan sosiaalisesti suotavammaksi (Sudman ym. 1996). Kognitiivisten haastatteluiden avulla voidaan paikantaa, mitä ongelmia vastaamisprosessissa on.

Sivun alkuun

Päivähoidon loma-ajat eivät ole ongelma Suomessa

Suurin osa vastanneista alle kouluikäisten vanhemmista vastasi "kyllä" kysymykseen A: Oletteko viimeisten 12 kuukauden aikana ottanut vapaapäiviä, lyhentänyt työaikaanne tai tehnyt muita erityisjärjestelyjä töissä hoitaaksenne lastanne/lapsianne päivähoidon loma-aikoina? Heillä oli kuitenkin vaikeuksia vastaamisessa, sillä kysymys ei sopinut heidän tilanteeseensa. Kaikkien lapset olivat kunnallisessa päivähoidossa. Suomessa kunnallinen päivähoito järjestää lapsen hoidon toisessa päiväkodissa silloin, kun lapsen oma hoitopaikka on kiinni. Hoidon järjestäminen ei siten tänä aikana ole vanhemmille sinänsä ongelma, eikä edellytä erityisjärjestelyjä töissä.

Vastatessaan suurin osa haastateltavista ajattelikin päiväkodin henkilökunnan lyhyitä koulutuspäiviä. Vastaamisen logiikka kulki seuraavasti: myös koulutuspäivinä lapset voisivat mennä varapäiväkotiin, mutta se sekoittaisi heidän päivärytminsä. Vanhemmat järjestävätkin mieluummin hoidon omin neuvoin, muun muassa tekemällä järjestelyjä töissä (vaihtamalla työvuoroja) tai pitämällä vapaapäiviä. Koulutuspäivät nousivat vastauksissa keskeisimmäksi asiaksi, sillä ne ovat tavallisin tilanne, jossa vanhemmat tekevät erityisjärjestelyjä töissä lastensa hoidon johdosta. Syynä tosin eivät ole hoitovaikeudet, joita kysymyksessä halutaan selvittää.

Nämä vanhemmat vastasivat itse asiassa seuraavanlaiseen kysymykseen: Oletteko viimeisten 12 kuukauden aikana ottanut vapaapäiviä, lyhentänyt työaikaanne tai tehnyt muita erityisjärjestelyjä töissä hoitaaksenne lastanne/lapsianne päivähoidon hoitajien koulutuspäivien aikana, jotta lapsenne ei tarvitsisi mennä varatarhaan?

Jotkut vastaajista ajattelivat tilanteita, joissa lapsen vieminen päivähoitoon ei ole lainkaan mahdollista, toisin sanoen kun lapsi on sairas. Huomion kiinnittäminen "erityisjärjestelyihin" johti kysymyksen tarkoituksen virheelliseen tulkintaan.

Ilmaus "päivähoidon loma-aikoina" oli vaikea myös silloin kun lapset ovat vuorohoidossa. Vuoropäiväkodit toimivat tarvittaessa yötä päivää vuoden ympäri, mutta vanhemmat eivät voi käyttää palvelua koko vuoden ajan. Tällaisille vastaajille kysymys ei toimi halutulla tavalla. Sen sijaan kysymys on relevantti pienelle ryhmälle vanhempia, joiden lapsi on yksityisessä päiväkodissa tai päivähoidossa.

Ne tulkinnat, joita suurin osa suomalaista kunnallista päivähoitojärjestelmää käyttävistä vastaajista kysymyksestä teki, muuttivat kysymyksen tarkoituksen. Tällä tavalla asetettuna kysymys ei Suomessa mittaa sitä, mitä sen pitäisi mitata. Muuttujan operationaalisessa määritelmässä, jonka pohjalta kysymykset tehtiin, ei puhuta lastenhoito-ongelmista lainkaan, vaan vain työssä tehdyistä järjestelyistä. Siinä kuitenkin oletetaan, että työssä tehdyt erityisjärjestelyt liittyvät nimenomaan lasten hoito-ongelmiin. Koska tällainen piilo-oletus on monille suomalaisille vastaajille palvelurakenteen takia epäolennainen, he päättelevät kysymyksen tarkoituksen oman tilanteensa pohjalta. Heidän kyllä-vastauksensa kertoo "mukavuusvalinnasta", ei hoitovaikeuksista.

Sivun alkuun

Kaikki lapset eivät tarvitse hoitoa

Kysymys B: Oletteko viimeisten 12 kuukauden aikana ottanut vapaapäiviä, lyhentänyt työaikaanne tai tehnyt muita erityisjärjestelyjä töissä hoitaaksenne lastanne/lapsianne koulun loma-aikoina? tuotti ongelmia monille koululaisten vanhemmille. He tulkitsivat sen eri tavoin riippuen siitä, minkä ikäisiä heidän lapsensa olivat.

Ensimmäiseen kysymysversioon käänsimme termin in order to care for child/ren suomeksi: hoitaaksenne lastanne/lapsianne.Tämä muotoilu oli ongelmallinen niille vastaajille, joiden lapset olivat jo niin isoja, etteivät he enää tarvitse hoitoa. Yleisesti vanhemmat ajattelivat, että peruskoulun alaluokilla lapset vielä tarvitsevat jonkun katsomaan peräänsä. Sitä vanhempien lasten ajateltiin pärjäävän useimmiten yksin.

Kysymys ei siis toiminut niille vanhemmille, joiden lapset pärjäävät yksin kotona. Koska se heidän näkökulmastaan sisälsi ristiriitaisia elementtejä, he joutuivat valitsemaan, mihin kysymyksen osaan keskittyä ja mitä jättää pois. Monet ohittivat keskeisen hoito-ulottuvuuden epärelevanttina ja vastasivat erityisjärjestely-osaan. Vanhemmat siis muunsivat kysymyksen muotoon, johon pystyivät vastaamaan: Oletteko järjestänyt lomianne koulujen loma-aikojen kanssa samaan aikaan, jotta voisitte viettää aikaa yhdessä lapsenne kanssa?

Kysymystä testattiin myös toisella versiolla, jossa termi "hoitaa" korvattiin termillä "huolehtia". Tämäkin oli liian vahva käsite teini-ikäisen lapsen vanhemmalle, joka korosti haluavansa vain viettää aikaa ja tehdä asioita yhdessä lapsensa kanssa.

Koska erityisjärjestelyihin työssä joudutaan tämän ikäisten lasten hoitamiseksi turvautumaan vain poikkeustilanteissa kuten sairaustapauksissa, jotkut teini-ikäisten vanhemmat tulkitsivat koko kysymyksen väärin: Oletteko tehnyt erityisjärjestelyjä työssänne hoitaaksenne sairasta lastanne? Sen sijaan hoidon järjestäminen koulujen loma-aikoina oli selkeä ongelma alaluokilla olevien lasten vanhemmille, jotka tunnistivat tarpeen työhön liittyviin erityisjärjestelyihin.

Kulttuurieron vuoksi kysymys mittasi Suomessa vain joissakin tapauksissa sitä, mitä sen haluttiin mittaavan. Kysymyksen ongelma on oletuksessa, että kaikki alle 15-vuotiaat lapset tarvitsevat hoitoa. Oletus ei toimi Suomessa, jossa nuoret ovat itsenäisempiä kuin monissa muissa Euroopan maissa.

Sivun alkuun

Operationaalinen määritelmä uudistettiin testauksen perusteella

Euroopan tilastoviraston Eurostatin Task Force -työryhmässä käytiin muuttujasta keskustelu testitulosten pohjalta. Suomen tulosten ohella esiin nousi muitakin ongelmia, jotka viittasivat siihen, että muuttuja oli väärin asetettu: eniten lastenhoito-ongelmia saattaa olla sellaisilla vastaajilla, jotka eivät voi tehdä työssään erityisjärjestelyitä.

Muuttujan näkökulma sovitettiin paremmin mittaustavoitteeseen määrittelemällä se uudelleen. Uudessa määritelmässä huomio kohdennetaan suoraan siihen, onko vastaajalla ollut vaikeuksia järjestää lastenhoitoa kyseisinä loma-aikoina viimeisten 12 kuukauden aikana, ja muuttuja muotoiltiin seuraavasti: Vaikeudet järjestää lastenhoito viimeisten 12 kuukauden aikana koulujen loma-aikoina tai kun tavanomaiset lastenhoitopalvelut ovat suljettuja tai kun hoitaja on lomalla.

Sivun alkuun

Testaus tuo tietoa vain muutamasta maasta

Esimerkkimuuttujan ongelmat voidaan paikantaa kysymyksen mittaustavoitteen eli lastenhoito-ongelmien epäonnistuneeseen operationalisointiin mittaamista varten: siihen sisältyi kulttuurisesti vinoutuneita olettamuksia. Muuttujan määritteleminen siten, että se sopii kaikkiin 27 EU-maahan, on äärimmäisen haastava tehtävä. On täysin mahdotonta tietää etukäteen, miten eri vastaajaryhmät eri maissa muuttujasta tehdyn kysymyksen tulkitsevat. Kansainvälinen lomaketestaus on tärkeä lomakesuunnittelun apuväline. Lomaketestausten avulla pystytään tunnistamaan ongelmia molemmissa mittauksen kannalta tärkeissä käännösprosesseissa: tutkimustavoitteen muotoilemisessa yhtenäiseksi muuttujaksi ja kansallisten kysymysten tekemisessä tämän muuttujan pohjalta.

Muuttujien testaaminen ennen lopullisen muuttujalistan hyväksymistä on osa ymmärtämisen kehämäistä luonnetta. Virheellinen esiymmärrys korjaantuu testauksissa, ja ongelmallisia ja kulttuurisesti vinoutuneita muuttujia ja käsitteitä voidaan muokata sen jälkeen, kun ongelmien syyt on selvitetty. Tavoitteena vertailevassa surveytutkimuksessa on kehittää sellaisia mittareita, jotka mahdollistavat erilaiset näkökulmat (decentring). Decentring on prosessi, jossa muuttujat muotoillaan siten, että ne eivät kiinnity yhteen tai muutamaan kieleen tai kulttuuriin, vaan sopivat kaikkiin (Smith 2004, 447). Tämä on tärkeää siksi, että Euroopan unionin tiedonkeruut ovat EU-politiikan teon pohja ja mittari. Surveytutkimuksen onnistuminen vaikuttaa suoraan EU-politiikan suunnitteluun ja seurantaan.

Muuttujan mittaustavoitetta ei myöskään aina onnistuta määrittelemään parhaalla mahdollisella tavalla. Mittaustavoite voi olla muotoiltu siten, ettei se viime kädessä vastaakaan sitä teoreettista määritelmää tai asiaa, jota halutaan mitata. Esitestaukset voivat antaa vihjeitä siitä, miten mittaustavoitetta tulisi muuttaa.

Mittaamisen ytimenä pidetään sitä prosessia, jossa surveyn tavoitteet ja käsitteet määritellään (Hox 1997). Käsitteet, niiden perusteellinen ajattelu ja operationalisointi ovat pitävien kysymysten lähtökohta (Ahola 2006). Koko se prosessi, jossa mittaustavoitteet asetetaan ja määritellään mittaamista varten, tulisi tehdä mahdollisimman läpinäkyväksi vertailevissa tiedonkeruissa. Tällä tavalla mahdolliset virheet on helpompi havaita suunnittelun eri vaiheissa jo ennen esitestauksia. Täysin toimiakseen prosessi, jossa mittaustavoitteet ja muuttujat sovitetaan kaikkiin osallistuviin maihin, edellyttäisi laajoja kansainvälisiä testauksia. Nykyisellään EU:n tiedonkeruuvälineiden esitestauksiin osallistuu vain muutama maa. Kun käsitteitä tai muuttujia muokataan näiden testitulosten pohjalta, on vaikea tietää, missä määrin mittari jää vinoksi.

Osallistuminen testaushankkeisiin tuottaa arvokasta tietoa siitä, miten muuttujat toimivat oman maan erilaisissa vastaajaryhmissä. Kun tiedetään kansallisesti heikosti toimivat muuttujat ja käsitteet, voidaan vaikuttaa muuttujien muokkaamiseen sellaisiksi, että ne sopivat suomalaisille vastaajille. Samalla myös kansalliset kysymykset voidaan laatia siten, että ne tuottavat halutun tiedon parhaalla mahdollisella tavalla.

Lähteet:

Ahola, A. 2006. Lomaketestaus EU-tilastojen tärkeäksi harmonisoinnin keinoksi. Hyvinvointikatsaus 4/2006.
Hox, J. H. 1997. From Theoretical Concept to Survey Question. Teoksessa: Survey Measurement and Process Quality. Lars Lyberg - Paul Biemer - Martin Collins - Edith De Leeuw - Cathryn Dippo - Norbert Schwartz - Dennis Trewin. Wiley & Sons, New York.
Kyllönen, R. - Järvensivu, M. - Ahola, A. 2007. Reconciliation between work and family life. Preliminary tests for the 2010 LFS ad hoc module. Final report, 25 April 2008, Statistics Finland.
Miller, K. 2007. Design and Analysis of Cognitive Interviews for Cross-National Testing. Esitys Comparative Pretesting -työryhmässä ESRA 2007 -konferenssissa. Praha 25.6.-29.6.2007.
Sariola, S. 1956.Sosiaalitutkimuksen menetelmät. WSOY, Helsinki.
Smith, T. W. 2004. Developing and Evaluating Cross-National Survey Instruments. Teoksessa: Methods for Testing and Evaluating Survey Questions. Toim. Stanley Presser - Jennifer M. Rothgeb - Mick P. Coupler - Judith T. Lessler - Elizabeth Martin - Jean Martin - Eleanor Singer. Wiley & Sons, New Jersey.
Sudman, S. - Bradburn, N. M. - Schwarz, N. 1996.Thinking About Answers. The Application of Cognitive Process to Survey Methodology. Jossey-Bass Publishers, San Francisco.
Willis, G. B. 2005.Cognitive Interviewing. A Tool for Improving Questionnaire Design. Sage, London.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 15.9.2008