Tutkimustiedon kansainvälisen vertailtavuuden varmistaminen vaatii paljon työtä

Koko dokumentti sivutettuna

Kirjoittaja: Antero Malin on professori Koulutuksen tutkimuslaitoksella Jyväskylän yliopistossa ja PIAAC-tutkimuksen kansallinen tutkimusjohtaja. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 3/2013.

Yksi kansainvälisten tutkimusten suurimpia haasteita on eri maissa, eri kielillä ja eri kulttuureissa kerätyn tutkimustiedon ja siitä laskettavien tulosten kansainvälisen vertailtavuuden varmistaminen. Tätä pidetään mahdollisena, mutta se vaatii koko tutkimuksen ajan kestävää ja laaja-alaista, ennalta tarkkaan suunniteltua ja monipuolista laadunvarmistustyötä, johon kaikki tutkimuksen tahot ovat sitoutuneita. Tässä artikkelissa kuvataan, miten ja millä keinoin Kansainvälisessä aikuistutkimuksessa (PIAAC) pyrittiin varmistamaan eri maiden tutkimusaineistojen laatu, luotettavuus ja kansainvälinen vertailukelpoisuus.

Kansainvälinen aikuistutkimus (PIAAC), englanninkieliseltä nimeltään Survey of Adult Skills, on aikuisväestön työ- ja arkielämän perustaitojen osaamista ja käyttöä arvioiva tutkimus. Se on osa Taloudellisen yhteistyön ja kehityksen järjestö OECD:n (Organisation for Economic and Cultural Development) aloitteesta käynnistettyä tutkimusohjelmaa Programme for the International Assessment of Adult Competencies. Tutkimuksen ensimmäiseen vaiheeseen osallistui 24 maata (ks. tietolaatikko). Tutkimuksen tiedonkeruu alkoi elokuussa vuonna 2011 ja päättyi maaliskuun lopussa vuonna 2012. Tutkimuksen ensimmäiset tulokset julkaistaan lokakuussa vuonna 2013. Kansainvälinen tutkimusaineisto vapautuu samanaikaisesti tutkijoiden käyttöön.

Tietolaatikko. Kansainvälisen aikuistutkimuksen (PIAAC) osallistujamaat

Alankomaat Norja
Australia Puola
Belgia (Flanderi) Ranska
Espanja Ruotsi
Irlanti Saksa
Iso-Britannia (Englanti, Pohjois-Irlanti) Slovakia
Italia Suomi
Itävalta Tanska
Japani Tšekki
Kanada Venäjä
Korea Viro
Kypros Yhdysvallat

Keskeisenä kiinnostuksen kohteena tutkimuksessa oli kolme aikuisten kognitiivista perustaitoa: lukutaito, numerotaito ja tietotekniikkaa soveltava ongelmanratkaisutaito. Näitä pidetään aikuisten tiedonkäsittelyn avaintaitoina, joita tarvitaan niin työelämässä, koulutuksessa kuin arkielämässäkin. Tavoitteena oli selvittää, ovatko aikuisten perustaidot sillä tasolla, että he ovat valmiita vastaamaan tulevaisuuden mukanaan tuomiin ehkä nopeisiin ja yllättäviinkin muutoksiin ja haasteisiin.

Tutkimuksessa arvioitiin perustaitoja tehtäviä tekemällä. Arviointitehtävät muistuttivat erilaisia työ- ja arkielämän tilanteita, joissa vastaajan tarvitsi käyttää arvioinnin kohteena olevia taitoja. Tehtävät tehtiin tietokoneella, mutta mikäli vastaajan tietotekniset taidot eivät riittäneet tähän tai hän ei halunnut vastata tietokoneella, hän käytti perinteistä paperista tehtävävihkoa. Lisäksi tutkimukseen kuului laaja taustakysely, joka pyrki kattamaan ne olennaiset tekijät, jotka teorian tai empiiristen tutkimusten mukaan ovat yhteydessä tutkittavien perustaitojen hallintaan ja kehittymiseen. Tutkimuksen tavoitteita ja sisältöä on tarkemmin esitelty kahdessa artikkelissa (Malin 2010; 2012).

Tutkimusta johti ja koordinoi Educational Testing Service (ETS) USA:sta. ETS on yksi maailman johtavista koulutuksen ja kasvatuksen arviointitutkimuksen laitoksista. OECD valitsi sen tutkimuksen kansainväliseksi toteuttajaksi tarjouskilpailun perusteella. ETS:n johdolla tutkimuksen kansainväliseen osuuden toteuttamiseen osallistui laaja tutkimusorganisaatioiden yhteenliittymä eri maista.

Tutkimuksen Suomen osuuden toteutuksesta vastasi Jyväskylän yliopiston Koulutuksen tutkimuslaitos. Tutkimuksen tiedonkeruun ja aineiston muokkaamisen tutkimuskäyttöön teki Tilastokeskus. Suomen osuuden tutkimuksesta ovat rahoittaneet opetus- ja kulttuuriministeriö sekä työ- ja elinkeinoministeriö. Tutkimuksen kansalliseen ja kansainväliseen ohjaukseen osallistui ministeriöiden lisäksi myös Opetushallitus.

Kansainvälisen vertailtavuuden ongelma

Tutkimuksen yhtenä tavoitteena oli verrata perustaitojen tasoa ja jakaantumista eri maiden välillä. Tämä on erityisen haastavaa, sillä kielet, kulttuurit ja koulutusjärjestelmät vaihtelevat maittain. Tämän tavoitteen toteuttamiseksi kognitiivisten tehtävien ja taustakyselyn piti olla täsmälleen samanlaisia kaikissa maissa ja kaikilla tutkimuksessa käytetyillä kielillä, kaikkien maiden tuli noudattaa yhteisiä laatuvaatimuksia, ja tutkimus tuli toteuttaa kaikissa maissa täsmälleen samalla tavalla.

Tutkimusaineistojen luotettavuus, laatu ja kansainvälinen vertailtavuus varmistettiin hyvin yksityiskohtaisella kansainvälisellä ohjeistuksella, jota kaikkien osallistujamaiden oli noudatettava ja jonka noudattamista myös tarkkaan seurattiin. Laadunvalvonta oli jatkuvaa ja säännöllistä, ja se kesti koko tutkimuksen ajan. Se kattoi niin tutkimuksen suunnittelun, tiedonkeruun kuin tiedonkeruun jälkeiset toimenpiteetkin. Sen muotoja olivat maakohtaisten suunnitelmien laatiminen ohjeiden mukaan ja suunnitelmien hyväksyntä, toteutuneiden toimenpiteiden raportointi, seuranta ja hyväksyntä, kaikkiin tutkimuksen kriittisiin vaiheisiin liittyvä koulutus sekä jatkuva yhteydenpito kansainvälisen johdon ja osallistujamaiden välillä.

Varsinaista päätutkimuksen tiedonkeruuta edelsi laaja esitutkimus, jonka tiedonkeruu toteutettiin keväällä 2010. Sen tarkoituksena oli testata tutkimusvälineiden ja tutkimusorganisaatioiden toimivuus. Esitutkimus toteutettiin samalla tarkkuudella ja huolellisuudella kuin päätutkimus. Esitutkimukseen osallistui kussakin osallistujamaassa noin 1 300−1 400 henkilöä. Esitutkimuksessa kerättyjä tietoja käytettiin tutkimusvälineiden kehittämiseen ja päätutkimuksen valmisteluun.

Seuraavaksi esitellään keskeisiä kansainvälisiä toimenpiteitä, joilla tutkimuksen tiedon laatu, luotettavuus ja kansainvälinen vertailtavuus pyrittiin takaamaan. Niiden lisäksi suoritettiin kansallista laadunvalvontaa, jota ei tässä yhteydessä käsitellä. Yksityiskohtaisempaa tietoa toimenpiteistä löytyy tutkimuksen toteutukseen liittyvistä ohjeista (OECD 2010) ja tutkimuksen teknisestä raportista (OECD 2013c).

Sivun alkuun

Vaatimukset, ohjeet ja suositukset dokumentoitiin ohjekirjaan

Tärkein tutkimuksen suunnittelua ja toteutusta osallistujamaissa ohjaava väline oli tutkimuksen kansainvälisen johdon valmistama Technical Standards and Guidelines (TSG) (OECD 2010). Se on noin 200 sivua pitkä dokumentti. Se sisältää 62 vaatimusta, joita osallistujamaiden edellytettiin ehdottomasti noudattavan, ja siinä kuvataan myös keinot vaatimusten täyttämiseksi. Lisäksi se sisältää 181 laadun varmistukseen liittyvää ohjetta ja suositusta. TSG on kaikkein laajin laadunvarmistuksen ohjekirja, mikä on koskaan ollut käytössä monikansallisissa arviointitutkimuksissa. Tutkimuksen johto tuotti myös runsaasti laatukäsikirjaa täydentäviä dokumentteja, jotka vielä yksityiskohtaisemmin ohjeistivat toimintaa. Lisäksi järjestettiin runsaasti koulutusta, jotta osallistujamaat myös kykenivät toteuttamaan niille asetetut vaatimukset.

Tutkimuksen kansainvälinen johto kehitti myös kattavan laadunvalvonnan seurantaohjelman, jonka avulla varmistettiin, että TSG:n ohjeita noudatettiin. Ohjeiden noudattamista seurattiin koko tutkimuksen ajan, ja osallistujamaiden oli säännöllisesti raportoitava tutkimuksen etenemisestä tutkimusjohdolle. Näin pystyttiin seuraamaan niin tiedonkeruun kuin koko tutkimuksen etenemistä ja toteuttamista jokaisessa osallistujamaassa, ja tarpeen vaatiessa maille pystyttiin tarjoamaan tukea ongelmien ratkaisemiseksi.

Sivun alkuun

Vertailtavuuden perustana olivat yhtenäinen perusjoukko ja otantamenettelyt

Tutkimuksen perusjoukko määriteltiin tarkkaan, ja se oli sama kaikissa maissa. Perusjoukon muodostivat tiedonkeruun aikana kussakin osallistujamaassa asuvat 16–65-vuotiaat henkilöt riippumatta esimerkiksi kansalaisuudesta, äidinkielestä tai synnyinmaasta. Laitoksissa asuva väestö suljettiin perusjoukon ulkopuolelle. Perusjoukkoon kuuluvia henkilöitä asui Suomessa noin 3,5 miljoonaa.

Otoskehikon piti kattaa vähintään 95 prosenttia perusjoukosta. Otoskehikosta voitiin perustelluista syistä poistaa esimerkiksi laittomasti maassa oleskelevat henkilöt sekä henkilöt, jotka asuivat niin kaukaisilla alueilla, että heitä oli käytännössä mahdoton tavoittaa.

Ohjeissa määriteltiin otos hyvin tarkasti. Tärkeätä oli tutkimukseen osallistuvien henkilöiden vähimmäismäärä. Tämä määräytyi ensisijaisesti sen mukaan, kuinka paljon tietoa tarvittiin kognitiivisten tehtävien psykometristen ominaisuuksien riittävän tarkkaan estimoimiseen. Jotta tutkimusaineistoon saatiin riittävästi henkilöitä, oli kaikissa maissa poimittava perusjoukosta riittävän suuri edustava otos ottaen huomioon todennäköinen vastaajakato. Käytetyn otantamenetelmän tuli olla todennäköisyysotanta. Otannasta oli etukäteen tehtävä hyvin yksityiskohtainen suunnitelma, jonka tutkimuksen kansainvälinen johto hyväksyi. Lisäksi otannan toteutuminen oli raportoitava yhtä yksityiskohtaisesti.

Mikäli tutkimus toteutettiin vain yhdellä kielellä, tutkimukseen tarvittavien osallistujien vähimmäismäärä oli 5 000. Mikäli tutkimus tehtiin useammalla kielellä ja tulokset haluttiin raportoida erikseen eri kieliryhmistä, tarvittiin tuo määrä vastaajia kaikilla kielillä. Jos tutkimus sen sijaan toteutettiin useammalla kielellä, mutta kieliryhmien tulokset Suomen tapaan raportoitiin yhdessä, oli lopullista vastaajajoukkoa kasvatettava muita kieliä puhuvien suhteellisella osuudella. Suomessa tutkimus toteutettiin sekä suomeksi että ruotsiksi, ja Suomen tavoite oli 5 000 suomenkielistä ja 300 ruotsinkielistä vastaajaa. Tämän tavoitteen Suomi saavutti, ja lopullinen toteutunut otos oli 5 464 henkilöä. Suomen otoskoko oli 8 099 henkilöä.

Sivun alkuun

Tiedonkeruuvälineiden kääntäminen kohdekielelle oli perusteellinen prosessi

Lukutaidon, numerotaidon ja ongelmanratkaisutaidon tehtävien sekä taustakyselyn laatimisesta oli vastuussa kunkin alueen kansainvälinen asiantuntijaryhmä (OECD 2012; 2011). Osallistujamaiden vastuulla oli kognitiivisten tehtävien ja taustakyselyn kääntäminen englannista tutkimuksen toteutuskielille. Kaikkeen kääntämiseen liittyi hyvin yksityiskohtaiset ohjeet, joiden mukaan kääntäminen tuli suorittaa. Kaikki käännökset tarkastettiin ja käännösohjeiden noudattaminen varmistettiin tutkimusjohdon toimesta. Tämän tarkastuksen suoritti kansainvälisen johdon valitsema kokenut kääntäjä, jonka äidinkieli oli kyseinen kieli. Hän hyväksyi kaikki käännökset ja korjasi niitä tarvittaessa. Tarkastuksella varmistettiin, että käännökset olivat yhdenmukaisia alkuperäisten tekstien kanssa, ja että tekstiin tarvittavat kansalliset muutokset olivat asianmukaisia. Lisäksi tarkastettiin, että kognitiivisten tehtävien ulkonäkö vastasi alkuperäistä ja oli sama sekä tehtävävihkossa että tietokoneella.

Kaikkien tehtävien ja taustakyselyn toimivuus testattiin esikokeessa, ja ainoastaan kaikissa osallistujamaissa luotettavasti toimivat tehtävät ja kysymykset hyväksyttiin päätutkimukseen. Mikäli käännöksiin jouduttiin tekemään muutoksia esikokeen jälkeen, muutokset kävivät läpi saman tarkastusprosessin uudestaan. Ennen tiedonkeruuta tietokoneella tehtävien kognitiivisten tehtävien toimivuus testattiin useaan kertaan, jotta tietokoneen pisteytysohjelma toimi oikein ja samalla tavoin kaikissa maissa.

Sivun alkuun

Tiedonkeruun laatu varmistettiin yhtenäistämällä menettelyjä ja kouluttamalla haastattelijoita

Tutkimuksen tiedonkeruun tekivät koulutetut haastattelijat käyntihaastatteluina. Suomessa Tilastokeskuksen tilastohaastattelijat toteuttivat tiedonkeruun sekä suomeksi että ruotsiksi. Käyntihaastattelut toteutettiin kaikissa maissa mahdollisimman yhdenmukaisesti kansainvälisten ohjeiden mukaan.

Haastattelijoille järjestettiin kahden päivän koulutus tehtäväänsä ennen esitutkimuksen ja ennen päätutkimuksen tiedonkeruuta. Koulutus perustui tutkimusjohdon laatimiin ohjeisiin ja se järjestettiin mahdollisimman yhdenmukaisesti kaikissa maissa. Haastattelijakoulutuksen toteutus oli raportoitava yksityiskohtaisesti kansainväliselle johdolle.

Tiedonkeruu sisälsi kaksi vaihetta. Haastattelun ensimmäinen osa oli haastattelijan tekemä tietokoneavusteinen taustakysely. Toisen osan muodosti perustaitoja mittaavien tehtävien itsenäinen tekeminen. Tehtävät tehtiin pääsääntöisesti tietokoneella, mutta mikäli vastaaja ei osannut käyttää tietokonetta riittävän hyvin tai ei halunnut käyttää sitä, tehtävät tehtiin perinteisiin paperisiin tehtävävihkoihin. Ennen tehtävien tekemistä tietokoneen käytön perustaitojen hallinta varmistettiin tekemällä pieni joukko helpohkoja tehtäviä. Kognitiivisten tehtävien tekemisessä ei minkäänlainen apu ollut sallittua.

Tiedonkeruun ajankohta oli sama kaikissa maissa. Se alkoi elokuun alussa 2011 ja päättyi maaliskuun lopussa 2012. Tiedonkeruun etenemisestä raportoitiin kuukausittain ja laadittiin loppuraportti tiedonkeruun päätyttyä. Tiedonkeruun aikana järjestettiin laadunseurantapuheluja vähintään joka toinen kuukausi. Niissä keskusteltiin tiedonkeruun etenemisestä, siihen mahdollisesti liittyvistä ongelmista ja niiden ratkaisemisesta.

Sivun alkuun

Vastaajien motivointiin kiinnitettiin huomiota

Suuri uhka tutkimusaineiston laadulle on alhainen vastausosuus. Mitä alhaisempi on vastausosuus, sitä suurempi on riski, että aineisto sisältää harhaa. Siksi mailta edellytettiin toimenpiteitä, joiden avulla vastausosuutta pyrittiin nostamaan mahdollisimman korkeaksi. Tällaisia olivat mm. ammattitaitoisten haastattelijoiden käyttö ja heidän kouluttamisensa motivoimaan otoshenkilöitä osallistumaan tutkimukseen, tiedonkeruun etenemisen tarkka seuranta ongelmallisten vastaajaryhmien havaitsemiseksi ja näihin panostaminen, myönteisen julkisuuden tavoitteleminen tutkimukselle ja kannustimien käyttö vastaajien motivoimiseksi. Suomessa kannustimina käytettiin jokaiselle otokseen kuuluvalle henkilölle lähetettyä muistitikkua, joka sisälsi Tilastollisen vuosikirjan, ja tämän lisäksi tutkimukseen osallistuneiden kesken arvottiin kolme iPadia.

TSG:ssa asetettu tavoite oli 70 prosentin vastausosuus. Viisi maata saavutti tämän, ja useimpien maiden vastausosuus vaihteli 50−60 prosentin välillä. Suomen vastausosuus oli 66 prosenttia. Kaikkien osallistujamaiden oli tehtävä hyvin yksityiskohtaiset vastaajaharha-analyysit. Tarkoituksena oli arvioida jäljelle jäävää harhaa, kun tuloksia painotetaan. Analyysien perusteella vastaajaharhaa pystyttiin painokertoimien avulla korjaamaan varsin hyvin, vaikka ei aivan kokonaan.

Sivun alkuun

Tietokonetehtävien pisteytys oli automatisoitu

Mikäli vastaajat tekivät kognitiiviset tehtävät tietokoneella, tehtävien pisteytys tapahtui automaattisesti, sillä se oli ohjelmoitu tietokoneelle. Mikäli vastaajat käyttivät tehtävävihkoa, oli pisteytys tehtävä manuaalisesti. Jokaiseen paperiseen tehtävävihkoon annetut vastaukset pisteytti kaksi eri henkilöä. Suomessa käytettiin kolmea pisteyttäjää, jotka olivat suomen kielen opintojen loppuvaiheessa olevia opiskelijoita. Pisteytysten yhdenmukaisuuden tuli olla 95 prosenttia. Näin saatiin maan sisäisen pisteytyksen luotettavuus arvioitua.

Kansainvälisen yhdenmukaisuuden arvioimiseksi käytettiin englanninkielisiä tehtävävihkoja. Vähintään kaksi pisteyttäjää kussakin maassa pisteytti nämä, ja pisteyttäjiltä vaadittiin myös 95 prosentin yhdenmukaisuus oikeiden vastausten kanssa. Avovastausten pisteyttäjille järjestettiin koulutus samalla tavalla annettujen ohjeiden mukaisesti kaikissa maissa.

Sivun alkuun

Aineiston laadun yleinen arviointi varmisti aineistojen käytettävyyden

Kaikissa maissa kerättyjen aineistojen laatu alistettiin vielä yleiseen laadunarviointiin. Sen tarkoituksena oli varmistaa, että kunkin maan aineisto oli laadultaan riittävän korkeatasoinen, jotta sen perusteella voidaan raportoida tulokset, ja että se voidaan vapauttaa tutkijoiden käyttöön. Tässä yhteydessä arvioitiin vielä neljää seikkaa: otanta, aineiston kattavuus ja vastaajaharha, tiedonkeruun toteutus, ja tiedonkeruuvälineiden laatu. Kaikkia seikkoja verrattiin asetettuihin laatuindikaattoreihin. Kaikkien maiden aineistot täyttivät laatuvaatimukset riittävän hyvin, jotta aineistoja voidaan käyttää tulosten raportointiin ja jotta ne voidaan luovuttaa tutkijoiden käyttöön.

Sivun alkuun

Kansainvälinen johto muokkasi aineiston käyttökuntoon

Kansainvälisen johdon toimesta kansallisista tiedostoista muodostettiin kaikkien maiden tiedot sisältävä kansainvälinen tiedosto. Tätä edelsi laaja kansallisten tiedostojen virheettömyyden varmistaminen. Mikäli virheitä löytyi, oli maiden reagoitava korjauspyyntöihin kolmen työpäivän kuluessa.

Kansainvälisen tiedoston muodostaminen edellytti monenlaisia tilastollisia toimenpiteitä, jotka suoritettiin keskitetysti tutkimuksen johdon toimesta. Kaikki kognitiivisten tehtävien psykometriset analyysit tehtiin keskitetysti, jotta voitiin varmistaa tehtävien yhdenmukainen toimivuus kaikissa osallistujamaissa. Kognitiivisten perustaitojen suorituspistemäärät laskettiin kaikille maille keskitetysti, jotta ne ovat varmasti vertailukelpoisia. Taustakyselyn muuttujista myös johdettiin runsaasti uusia maiden kesken vertailukelpoisia muuttujia. Yhteistyössä maiden ja kansainvälisen johdon kanssa tutkimusaineistoon laskettiin painokertoimet, joilla varmistetaan, että otos vastaa perusjoukon rakennetta mahdollisimman hyvin.

Sivun alkuun

Lopputuloksena kansainvälinen vertailtavuus

Vaikka kansainvälinen vertailukelpoisuus pyrittiin takaamaan mitä moninaisimmin keinoin, ei kansallista vaihtelua ehkä kokonaan pystytä poistamaan aineistoista. Esimerkiksi vastausosuus ei ylittänyt tavoiteltua 70 prosenttia kuin viidessä osallistujamaassa. Mikäli kuitenkin vastaajaharha on pieni, painokertoimien avulla aineiston edustavuutta voidaan korjata ja säilyttää sen vertailukelpoisuus. Myös kielelliset ja kulttuuriset tekijät tuovat aineistoon ylimääräistä vaihtelua, jonka suuruutta on vaikea arvioida. Kaiken kaikkiaan aineiston laadun kansainvälisen vertailtavuuden varmistamiseksi Kansainvälisessä aikuistutkimuksessa oli käytössä kaikki mahdolliset keinot, joita kohtuudella voidaan edellyttää käytettävän tällaisissa tutkimuksissa.

Yhteenvetona voidaan todeta, että kansainvälisen vertailtavuuden varmistamiseksi tarvitaan yksityiskohtaiset ja selkeät ohjeet, kattava seuranta, riittävä koulutus sekä toimiva tukipalvelu ongelmien sattuessa. Tärkeä merkitys on esitutkimuksella, jonka avulla mittavälineet ja tutkimusorganisaatiot saadaan viritettyä päätutkimuksen edellyttämään kuntoon. Ja ennen kaikkea kansainvälisen vertailtavuuden varmistaminen vaatii paljon työtä.

Lisätietoja Kansainvälisestä aikuistutkimuksesta (PIAAC):

Sivun alkuun

Lähteet:

Malin, Antero 2010. Kansainvälinen aikuistutkimus PIAAC: Mitä se mittaa? Mitä uutta tietoa se tuo? Teoksessa: Reijo Laukkanen (toim.) PISA, PIAAC, AHELO. Miksi ja miten OECD mittaa osaamista? Opetus- ja kulttuuriministeriön julkaisuja 2010:17. http://www.minedu.fi/OPM/Julkaisut/2010/Miksi_ja_miten_OECD_mittaa_osaamista.html.

Malin, Antero 2012. Kansainvälinen aikuistutkimus arvioi aikuisten perustaitoja. Aikuiskasvatus 2/2012.

OECD 2010. PIAAC Technical Standards and Guidelines. http://www.oecd.org/site/piaac/PIAAC-NPM(2010_12)PIAAC_Technical_Standards_and_Guidelines.pdf.

OECD 2011. PIAAC Conceptual Framework of the Background Questionnaire Main Survey. http://www.oecd.org/site/piaac/PIAAC(2011_11)MS_BQ_ConceptualFramework_1%20Dec%202011.pdf.

OECD 2012. Literacy, Numeracy and Problem Solving in Technology-Rich Environments: Framework for the OECD Survey of Adult Skills. OECD Publishing. http://dx.doi.org/10.1787/9789264128859-en.

OECD 2013c. Survey of Adult Skills (PIAAC): Technical Report. OECD Publishing. (Painossa.)

Päivitetty 9.12.2013