SurveyLaboratorio vierailee maaseudulla

Koko dokumentti sivutettuna

Kirjoittaja: Petri Godenhjelm on tutkija Tilastokeskuksen Elinolot-yksikön SurveyLaboratoriossa. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 2/2007.

Suurissa maatalouskyselyissä pienikin testauksen aikaansaama parannus lomakkeella näkyy heti vastauksissa. Kyselylomakkeen ohjeiden ja määritelmien sisällöllä, määrällä ja asettelulla voi olla huomattavia positiivisia vaikutuksia niin saatujen vastausten määrään kuin laatuunkin.

Maanviljelijät saavat vuosittain täytettäväkseen useita kyselylomakkeita maataloutta kuvaavien tilastojen tuottamiseksi. Tike, Maa- ja metsätalousministeriön tietopalvelukeskus testautti kahta lomaketta syksyn 2006 ja kevään 2007 aikana. Satotutkimuksen lomaketta testattiin varsinaisen tiedonkeruun yhteydessä, mutta rakennetutkimuksen lomaketta testattiin jo keväällä ennen syksyn varsinaista tiedonkeruuta. Rakennetutkimukseen, jossa tutkitaan maanviljelijöiden työn määrää ja viljelijöiden muuta yritystoimintaa, osallistuu noin puolet Suomen maatiloista, yli 35 000 tilaa.

Rakennetutkimuksen lomakkeen testaus tehtiin tutkimalla paperilomakkeen täyttöä paikan päällä, jolloin viljelijä on itse ensimmäistä kertaa tekemisissä lomakkeen kanssa. Itse tiedonkeruuasetelmaan kuuluu myös puhelinhaastattelu, jolla Tilastokeskuksen tilastohaastattelijat tiedot lopulta keräävät varsinaisessa tutkimuksessa. Tietojen kerääminen ei aina ole ollut sujuvaa puhelinhaastattelulla, koska viljelijät joutuvat hakemaan useat tiedot omista kirjanpidoistaan. Puhelinkontaktin avulla vastausosuus on kuitenkin saatu pysymään korkeana ja haastattelijat voivat tarvittaessa myös selventää lomakkeen epäselviä kohtia.

Haastattelut pirtissä - analyysi virastossa

Tutkimushenkilöiksi haettiin erilaisia maanviljelijöitä, tilan koon, viljelijän iän, alueen (Uusimaa, Varsinais-Suomi ja Häme) sekä rakennetutkimuksessa myös sen mukaan, onko viljelijällä muuta yritystoimintaa. Maanviljelijät suhtautuivat tavallista myönteisemmin testaukseen, jopa noin neljä viidestä suostui testihaastatteluun. Kaikki 24 haastattelua nauhoitettiin ääninauhalle ja osaan haastatteluista osallistui Tilastokeskuksen tutkijan lisäksi myös vastaava tutkija Tikestä. Lomakkeen testaaminen onkin parhaimmillaan iteratiivinen, monivaiheinen prosessi, jossa myös lomakkeen viimeinen, paranneltu versio testataan. Näin tehtiinkin rakennetutkimuksen lomakkeen kohdalla.

Testauksen aikana viljelijät pohtivat ääneen vastaamistaan kun täyttivät lomaketta. Lisäksi haastattelun kuluessa kysyttiin tarkemmin ennalta sovituista lomakkeen kohdista, jotka olivat erityisen mielenkiinnon kohteena. Ääneen ajattelulla pyrittiin saamaan selville, mitä vastaaja ajatteli kysymyksellä tarkoitettavan, miten määritelmät ymmärrettiin, mitä yksittäiset termit ja käsitteet merkitsivät, minkä tyyppistä informaation mieleen palauttamista vastaajalta edellytettiin sekä minkälaista vastaamisstrategiaa viljelijä käytti. (ks. myös Ahola ym. 2002, Sudman ym. 1996) Varsinainen testauksen analyysi tapahtui haastattelujen jälkeen.

Sivun alkuun

Visuaalinen ilme vaikuttaa

Perinteisen testausmallin (ymmärtäminen, muistaminen, arviointi ja vastaaminen) alkuun omaksi vaiheekseen on viime aikaisissa tutkimuksissa lisätty viides vaihe, joka koskee lomakkeella olevien tietojen havaitsemista ja tarkkaavaisuuden keskittämistä. Ennen kuin vastaaja käy läpi eri vaiheita, kiinnittää hän huomionsa visuaaliseen informaatioon, jolla on vaikutusta siihen tapaan, kuinka vastaus annetaan tai vastataanko ylipäätään esitettyyn kysymykseen. (Dillman 2007.)

Viljelijöiden haastatteluissa pystyi selvästi havaitsemaan kuinka numerointi, asettelu ja symbolit ohjasivat lomakkeella navigointia ja samalla myös kysymysten ymmärtämistä. Kyselylomakkeessa osa kysymyksistä oli matriisimaisessa muodossa, jolloin vastaaja tulkitsi kysymyksen sarakkeessa olleen tiedon perusteella. Sarakkeeseen mahtuu ymmärrettävästi kovin vähän informaatiota. Vaikka vastausmatriisin yläpuolella olikin määritelmiä omissa laatikoissaan, niitä ei läheskään aina huomattu. Koska ohjeissa kuitenkin on vastaamisen kannalta relevanttia tietoa, olisi tutkijan syytä pohtia tarkkaan, mitä tietoa hän pitää tärkeimpänä välittää, jotta taataan vastausten vertailtavuus. Tässä kohtaa tutkija tekee strategisen valinnan mitä, miten ja kuinka paljon kommunikoi vastaajalle.

Vastaajan itse täytettävissä lomakkeissa onkin usein matriisimaisia rakenteita, missä yhdellä rivillä voi olla useitakin sarakeotsikoita ja sarakkeita, jotka itse asiassa muodostavat kysytyn kysymyksen yhdessä riveillä olevien tapausten kanssa. Zukerberg ja Lee (1998) havaitsivat tutkimuksissaan, että vastaajat katsovat hyvinkin tarkkaan sarakeotsikoita. He käyttivät tätä havaintoa perusteena ohjeiden tuomiselle sarakeotsikon yhteyteen siinä määrin kuin se oli mahdollista. Tällä tavalla ohje saadaan lähelle kysymyksen vastaajalle asettavaa kognitiivista tehtävää (ks. Godenhjelm 2006).

Osa ongelmista liittyi lomakkeiden käsitteisiin, niiden määritelmien sijaintiin ja määrään lomakkeella. Navigointipolun, jolla tarkoitan vastaamisen suunniteltua etenemisjärjestystä, epäselvyydet aiheuttivat jonkin verran ongelmia vastaamisessa. Esimerkiksi nurmirehun määrä vastattiin usein koko vuotta koskien, vaikka lomakkeella kysyttiin asiaa sadoittain: "ai tässä olisi pitänyt jakaa, eihän tällasta ennen ole ollut, ekaa satoo ja tokaa satoo, sitten mun täytyy taas kerran sutata tätä....pistänks mä sen toiseks sadoks, koska sitä ei saatu vai kolmanneks sadoks, jolloin se kerättiin, toinen sato jäi välistä, silloin ei saatu mitään, ei kannattanu kerätä...mä laittasin sen kolmanneks sadoks". Tässä kohden lomaketta ehdotettiin parannettavan navigointipolkua selkeyttämällä, jotta vastaaja havaitsee relevantin tiedon ja ymmärtää heti vastata sato kerrallaan.

Sivun alkuun

Laskemisen ongelmat ja ohjeet

Tässä tutkimuksessa vastaamiseen liittyi myös laskemisen ongelmia. Ongelmia saattoi aiheuttaa viljelijän oma, kenties vaihtelevakin viljan määrän laskuyksikkö, joka tilan rehun säilöntätavasta riippuen saattoi olla joko kuutio tai paali. Kuitenkin lomakkeella kysyttiin rehun määrää kiloissa. Aina ei ollut selvää, kuinka paalit tai kuutiot muutetaan kiloiksi. Tätä varten puhelinhaastatteluvaiheessa tilastohaastattelijoilla olikin käytössään muuntotaulukko, jolla saatiin selville kilomäärät riippumatta siitä oliko viljelijällä tiedot paalien määränä vai kuutioina. Kuitenkaan itse vastaamistilanteessa tätä muuntotaulukkoa ei viljelijällä ollut, mikä aiheutti ongelmia ja vastausrasitetta: "niin jos mun nyt pitäis miettii satoo kiloina, niin sit pitäis laskee kaikki paalit, et mitä on miltäkin lohkosta tullut.....se on vähän arvio jos alkaa jotain kiloja siihen laittaa, et kyl se olis sit kappalemäärä paaleina.....mut sit taas tää kakkossato meni syöttöön suoraan, ku tänä vuonna ei tullut toista satoo kunnolla, se oli aika köykänen se sato, mä sanoisin että siitä tuli neljännes kakkossatoon. Mitäs toi kuivaheinäpaali mahtas painaa, pitäs varmaan tolta vanhalta isännältä kysyä".

Itselläni oli lomaketta testattaessa mukana myös haastatteluohjeet ja muuntotaulukko. Mikäli ongelmia kilomäärien laskemisessa esiintyi, kysyin testattavilta haastattelun jälkeen mielipidettä muuntotaulukoista. Kaikki viljelijät pitivät hyödyllisenä sitä, että muuntotaulukko olisi käytettävissä jo lomaketta täytettäessä.

Sivun alkuun

Ohjeiden määrä ja sijainti optimoitava kyselyissä

Se, että suunnitellaan lomake, joka täyttää mahdollisimman pitkälle sille asetut käsitteelliset tavoitteet, voi toisaalta johtaa muiden lomakesuunnittelun ohjenuorien rikkomiseen. Yrittämällä tehdä kysymys mahdollisimman selväksi lisäämällä sanoja joko itse kysymykseen tai lisäohjeisiin saatetaan pidentää kysymyksiä ja ohjeita niin, että vastaajat eivät perehdy niihin tai sivuuttavat ne kokonaan. (Zukerberg ja Lee 1998.) Kaikkien kysymysten täsmentäminen ei Conradin ja Schoberin (2005) mukaan ole edes tarpeen, koska haastatteluissa se vie aikaa ja itse täytettävissä lomakkeissa sen lisäksi tilaa.

Tämä tarkoittaa lomakesuunnittelijalle kauaskantoisten päätösten tekemistä. Toisaalta tulee taata kysymyksen keskeisen sisällön välittyminen, mutta toisaalta varmistua myös siitä, että kysymystä ja siihen kuuluvia ohjeita ei lueta ylimalkaisesti tai ohiteta kokonaan. Oheisessa kuviossa hahmotetaan lomakesuunnittelijan tilannetta tällaisessa päätöksentekotilanteessa. Toki kukin tiedonkeruu on omanlaisensa, mutta yleisenä havaintona tekemissäni itse täytettävien lomakkeiden testaamisissa yllä oleva kuvio pätee melko hyvin. Ideaalitilanteessa ollaan käyrän huipulla.

Kuvio 1. Lomakesuunnittelijan dilemma.

Piirros: Petri Godenhjelm

Sivun alkuun

Lähdeluettelo

Ahola, A., Godenhjelm, P., Lehtinen, M.(2002): Kysymisen taito. Surveylaboratorio lomaketutkimusten kehittämisessä. Katsauksia 2002/2. Tilastokeskus.
Conrad, F. G., Schober, M. F.(2005): Promoting Uniform Question Understanding in Today's and Tomorrow's Surveys. Journal of Official Statistics Vol. 21, No. 2.
Dillman, D. A.(2007): Mail and Internet Surveys. The Tailored Design Method, 2007. Update With New Internet, Visual, and Mixed-Mode Guide. Jon Wiley & Sons Inc.
Dillman, D. A.(2002): Navigating the Rapids of Change: Some Observations on Survey Methodology in the Early Twenty-First Century. Public Opinion Quarterly 66.
Godenhjelm, P.(2006): Arjen keskustelukäytännöt pätevät myös lomakesuunnittelussa. Hyvinvointikatsaus 2/2006. Tilastokeskus.
Sudman, S., Bradburn, N. M., Schwarz, N.(1996): Thinking about answers. Jossey-Bass Publishers, San Francisco.
Zukerberg, A., Lee, M.(1998): Better Formatting For Lower Response Burden. U.S. Bureau of the Census.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 15.6.2007