Suuri lama teki työvoimatutkimuksesta otostutkimusten edelläkävijän

Koko dokumentti sivutettuna

Kirjoittaja: Vesa Kuusela on kehittämispäällikkö Tilastokeskuksen Elinolot-yksikössä. Artikkeli on julkaistu Tilastokeskuksen  Hyvinvointikatsauksessa 1/2009.

Yhdysvaltojen suuren talouslaman torjumiseksi hallitus tarvitsi kipeästi tietoja työvoimasta ja työttömyydestä. Siitä alkoi kehitys, joka tuotti työvoimatutkimuksesta luotettavan otostutkimuksen. Kehitystä tuki merkittävästi tietokoneiden yleistyminen ja matemaattis-tilastollisten ohjelmistojen kehittyminen. Muutamassa vuosikymmenessä otostutkimuksista on tullut keskeinen tapa hankkia yhteiskunnan toiminnan kannalta tärkeää tietoa.

Yhdysvaltojen Suuri lama alkoi lokakuussa 1929 New Yorkin pörssiromahduksella, ja "mustan torstain" seurauksena osakkeiden arvosta katosi 90 prosenttia. Laman seurauksena Yhdysvaltojen teollisuustuotanto aleni 47 ja bruttokansantuote 33 prosenttia. Keskimääräinen työttömyys nousi pahimmillaan yli 20 prosentin, ja joillakin alueilla työttömyys oli jopa yli 60 prosenttia. Ihmisten hätä oli suuri, koska sosiaaliturva oli lähes olematon.

Presidentti Franklin D. Rooseveltin (presidenttinä vuosina 1933-1937) aloitteesta tehtiin joukko lakimuutoksia, joiden tarkoituksena oli pelastaa maa laman seurauksilta. Toimia alettiin kutsua New Dealiksi, ja niihin sisältyi suuria julkisia investointihankkeita, ammattiyhdistystoimintaa suosivaa lainsäädäntöä, sosiaaliturvan parannuksia ja verojen korotuksia. Lainmuutosten lisäksi Rooseveltin toimet sisälsivät useita sosiaaliohjelmia työväestön auttamiseksi.

Laman torjumiseksi tarvittiin tietoja

New Deal -ohjelma loi valtavia paineita luotettavan tiedon saamiseksi yhteiskunnan tilasta. Joitakin tietoja oli kyllä saatavilla, mutta ne olivat epäluotettavia. Morris Hansenin mukaan esimerkiksi eri menetelmillä saadut arviot työttömien määrästä vaihtelivat viidestä kolmeentoista miljoonaan. On luonnollista, että hallinto oli tyytymätön tiedon laatuun.

Myös Yhdysvaltojen tutkijapiirit arvostelivat kärkevästi tutkimuksissa käytettyjä menetelmiä. Esimerkiksi Margaret Hogg, joka oli aikaisemmin Englannissa työskennellyt Arthur Bowleyn oppilaana ja ollut mukana tämän surveytutkimuksissa, laati kaksi erittäin kriittistä kirjoitusta työttömyyden (ja työvoiman) tutkimisessa käytetyistä menetelmistä (Hogg 1930 ja 1932). 1

Yhdysvaltoihin perustettiin 1930-luvun puolivälissä hallintovirastoja kuten Federal Emergency Relief Administration ja Work Project Administration (WPA) sosiaalisten olojen tutkimiseksi ja kohentamiseksi. Erityisesti WPA pyrki tutkimaan työttömyyttä ja siihen liittyviä seikkoja. WPA:n aloitteesta Yhdysvaltojen kongressi antoi - presidentti Rooseveltin tuella - valtuudet vapaaehtoisuuteen pohjautuvaan työttömien ja osittain työttömien rekisteröintiin, jotta olisi saatu käsitys työttömyyden laajuudesta. Tätä varten jokaiseen kotitalouteen jaettiin Rooseveltin allekirjoittama lomake, jossa työttömiä vedottiin rekisteröitymään. Kenttätyön toteutti maan postilaitos lokakuussa 1937 (ks. Stephan 1948).

Sivun alkuun

Tarkistusmittauksesta tuli surveyn merkkipaalu

Eräät Yhdysvaltojen tilastoviraston (U.S. Bureau of the Census) työtekijöistä epäilivät saatuja tuloksia ja taivuttelivat hallinnon tekemään tarkistuslaskennan (enumerative check census). Tarkistus päätettiin toteuttaa siten, että aluksi poimittiin satunnaisesti joukko maantieteellisiä alueita, ja sen jälkeen näillä alueilla haastateltiin jokainen kotitalous postin jakelureiteillä.

Postinkantajat toimivat haastattelijoina, ja lisäksi he yhdistivät haastattelut ja aikaisemmin saadut vapaaehtoiset työttömyysilmoitukset. Näillä toimilla saatiin tilastotieteellisesti luotettava arvio työttömyyden laajuudesta. Työttömyysasteen saamistakin tärkeämpää oli kutenkin se, että tutkimus vakuutti valtionhallinnon otantatutkimusten käyttökelpoisuudesta valtakunnallisten selvitysten tekemisessä. Noihin aikoihin otostutkimuksia kohtaan tunnettiin suurta epäluuloa niin hallinnossa kuin suuren yleisön keskuudessakin. Morris Hansenin (1987) mukaan Census Bureaun johdossa jopa pelättiin, että otostutkimukset turmelisivat viraston maineen.

Otokseen perustuvan tarkistuslaskennan - oikeammin tarkistussurveyn - onnistuminen vakuutti Census Bureaun johdon otannan soveltuvuudesta, ja vastaavaa menetelmää päätettiin käyttää myös vuoden 1940 väestölaskennan yhteydessä. Satunnaisesti valituilta kotitalouksilta kerättiin sellaisia lisätietoja, joita ei kohtuullisin kustannuksin voitu sisällyttää varsinaiseen väestölaskentaan. Tämän tutkimuksen onnistumisen lisäksi myös oikeaan osuneet galluptutkimukset lisäsivät luottamusta otostutkimuksiin (Hansen 1987, Olkin 1987).

Kokeilujen onnistuminen johti siihen, että vuoden 1940 keväällä WPA ryhtyi suunnittelemaan kuukausittaista työttömyyttä mittaavaa otostutkimusta (Sample Survey of Unemployment). Tiedonkeruu alkoi jo saman vuoden syksyllä, ja otanta-asetelmana oli mullistava monivaiheinen otanta. Siihen asti oli ajateltu, että ainoa luotettava menetelmä olisi yksivaiheinen otanta, jossa kaikilla perusjoukkoon kuuluvilla on sama todennäköisyys tulla valituksi otokseen. Vuonna 1942 tutkimus siirrettiin Census Bureaun tehtäväksi, ja sen nimeksi tuli Current Population Survey (CPS). Otantamenetelmää alkoi kehittää uusi vastavalmistunut tutkijapolvi.

Sivun alkuun

Nuoret tutkijat luovat uuden menetelmän

Vielä 1930-luvulla ei ollut olemassa nykymuotoista tilastotieteellistä otantateoriaa. Puolalaissyntyinen Jerzy Neyman kehitti 1930-luvun loppupuolella otantateorian teoreettisen kehikon, mutta hänen ajatuksensa eivät soveltuneet käytännön työhön. Yhteiskunnallisten otantatutkimusten keskeisenä ongelmana on tiedonkeruun toteuttaminen kohtuullisin kustannuksin niin, että tietojen pohjalta voidaan laskea luotettavia estimaatteja. Varsinkin Yhdysvaltojen kaltaisessa isossa ja monimuotoisessa maassa se on hyvin vaikeaa.

Census Bureaun nuoret tutkijat Morris Hansen ja William Hurwitz ryhtyivät ilman esikuvia kunnianhimoisesti uudistamaan CPS:n tiedonkeruun organisointia ja siihen liittyvää otanta-asetelmaa - uudistus eteni tässä järjestyksessä. Yhdysvalloissa käyntihaastattelu oli käytännössä ainoa mahdollinen menetelmä tietojen keräämiseksi kotitalouksilta. Haastatteleminen on kuitenkin hyvin kallista varsinkin silloin, kun haastattelijoiden pitää liikkua pitkiä matkoja; sen lisäksi tietojen kerääminen voi olla hidasta. Näistä syistä otanta-asetelmalla on keskeinen merkitys niin tiedonkeruun kustannusten kuin tiedonkeruuajankin kannalta.

Hansen ja Hurwitz tekivät tiedonkeruusta täysin satunnaisotantaan perustuvan siten, että todennäköisyyslaskentaa voitiin soveltaa estimaattien laskennassa. Lisäksi keruussa alettiin soveltaa täysin uudenlaista tekniikkaa, joka perustui erisuuruisiin poimintatodennäköisyyksiin.

Sivun alkuun

Uudelle menetelmälle runsaasti käyttöä

Työn lopputuloksena Hansen ja Hurwitz kehittivät tilastotieteellisesti vakaalla pohjalla olevan otantamenetelmän, jolla on teoreettisten etujen lisäksi muitakin hyviä ominaisuuksia. Menetelmän avulla tietojen keruukustannukset pysyvät kohtuullisina, ja haastattelijoiden työtä voidaan tasapainottaa, mikä puolestaan tehostaa haastattelutyön hallinnointia. - Tämä menetelmä on jonkin verran kehiteltynä edelleen käytössä Yhdysvalloissa.

Census Bureaussa tehty kehitystyö omaksuttiin miltei välittömästi eli vuonna 1945 Kanadassa, ja parin vuoden kuluttua Japanissa ja Puerto Ricossa. Yhdysvaltojen ulkopuolella tutkimuksen nimeksi otettiin Labour Force Survey (LFS). Vähitellen menetelmä otettiin käyttöön yhä useammassa maassa, esimerkiksi Ranskassa vuonna 1950 ja Intiassa 1955. Näissä maissa tiedonkeruu organisoitiin käytännöllisesti katsoen Yhdysvalloissa luodun mallin mukaan.

Pohjoismaissa tutkimus otettiin käyttöön vasta 1950-luvun lopulla. Suomessa työvoimatutkimus aloitettiin vuonna 1958 (ks. Ristimäki 1971) ja Ruotsissa vuonna 1959. Pohjoismaissa ei sovellettu CPS:n menetelmiä suoraan; Suomessa tiedot kerättiin aluksi postikyselynä. Otanta-asetelma oli yksivaiheinen satunnaisotanta, jossa kaikilla työikäisillä oli yhtä suuri todennäköisyys tulla poimituiksi.

Suomen työvoimatutkimuksen menetelmien kehittymiseen vaikuttivat ratkaisevasti Lauri Heikinheimon tutkimukset metsätyövoiman määrästä (Heikinheimo 1954). Heikinheimon mallina oli Hansenin ja Hurwitzin kehittämä menetelmä, mutta hänen mukaansa Suomen väestökirjanpito oli niin hyvällä tolalla, että meillä ei tarvittaisi monimutkaista otanta-asetelmaa. Heikinheimon kokeilussa tiedot kerättiin haastattelemalla, mutta varsinaisessa Työvoimatutkimuksessa päädyttiin postikyselyyn. Menetelmän valinta perustui oletettavasti tiedonkeruun kustannuksiin ja siihen, että tuohon aikaan tutkimuksen käytössä ei ollut nykyisenkaltaista haastattelijaorganisaatiota.

Sivun alkuun

Laskentatekniikan kehitys loi modernin surveyn perustan

Alkuvaiheessa tietojen keruu ei ollut ajantasaisten tilastojen tuottamisen suurin ongelma, vaan ongelmaksi muodostui kerättyjen tietojen prosessointi taulukoiksi tai tunnusluvuiksi. Laskentatekniikan nopea kehitys olikin nykymuotoisten otostutkimusten kehittymisen tärkeimpiä edellytyksiä.

Vuoden 1880 väestölaskennan tulokset valmistuivat Yhdysvalloissa yhdeksässä vuodessa. Siinä vaihessa Census Bureaussa alettiin pelätä, että väestölaskennan tuloksia ei saataisi valmiiksi ennen seuraavan laskennan aloittamista. Onneksi Census Bureaun silloinen työntekijä Herman Hollerith kehitti väestölaskentaa varten reikäkorteilla toimivan mekaanisen laskimen, "Hollerith-koneen". 2 Niinpä seuraavan väestölaskennan tulokset valmistuivat seitsemässä vuodessa, vaikka laskennalla kerättiin huomattavasti enemmän tietoja kuin aikaisemmin.

1940-luvun alkuun mennessä laskentamenetelmät ja laitteet olivat huomattavasti kehittyneet alkuajoista; varsinkin Iowa State Collegen tilastolaboratorio kehitteli tilastollista laskentaa. Aluksi kehitys perustui reikäkorttien laskentalaitteisiin, mutta jo vuonna 1940 Iowassa koottiin laite, jossa oli tietokoneen keskeiset komponentit. Sodan takia koneen kehittely jäi kesken, mutta se oli kuitenkin esikuvana ensimmäistä tietokonetta (ENIAC) kehiteltäessä.

Laskentatehon lisääntymisen pohjalta tuntui mahdolliselta lähteä kehittämään sellaista tutkimusta, jonka tulokset otettaisiin huomioon ajankohtaisissa poliittisissa päätöksissä. Otantamenetelmien kehittelyssä oli vielä 1940-luvulla tietojen keruun organisoinnin lisäksi kiinnitettävä huomiota sihen, että estimaattien laskenta ei olisi liian vaikeaa sen aikaisilla laitteilla.

Toisen maailmansodan jälkeen Census Bureau otti aktiivisesti osaa ensimmäisen siviilikäyttöön tarkoitetun tietokoneen rakentamiseen. Vuonna 1951 Census Bureau vastaanotti ensimmäisen Univac-tietokoneensa, jossa oli magneettinauhat tietojen lukua ja tulostusta varten, keskusmuisti ja (silloisen käsityksen mukaan) nopea aritmetiikka- ja logiikkayksikkö eli prosessori.

Aluksi konetta käytettiin vuoden 1950 väestölaskennan tietojen käsittelyyn, ja koneen vapautuessa sillä alettiin käsitellä CPS:n tietoja. Kone mahdollisti uudenlaisten ja entistä monimutkaisempien laskenta-algoritmien käyttöönoton ja samalla entistä monimutkaisempien otanta-asetelmien ja estimaattien laskennan - tosin aluksi nämäkin olivat likiarvoja (Bellhouse 2000). Tietokoneiden ja laskenta-algoritmien nopea kehitys 1950- ja 60-luvuilla loi pohjan nykymuotoisille otostutkimuksille. Ilman niitä surveytutkimukset olisivat olennaisesti nykyistä harvinaisempia ja otokset pienempiä.

Sivun alkuun

Loppu on historiaa

Tilastovirastojen työvoimatutkimuksilla on ollut keskeinen tehtävä tilastotieteellisten otantamenetelmien kehittämisessä. Ne olivat ensimmäisiä yhteiskuntatutkimuksia, joissa sovellettiin modernia otantateoriaa. 3 Uudenaikaisen otantateorian kehitys sai tärkeimmän sysäyksensä Yhdysvaltojen työvoimatutkimuksen (Current Population Survey CPS) käynnistämisestä 1940-luvun alussa, ja CPS:ää varten kehitetyt tiedonkeruumenetelmät otettiin nopeasti käyttöön muiden maiden vastaavissa tutkimuksissa.

Yhdysvaltojen työvoimatutkimuksen tarpeisiin luotu teoria loi pohjan erittäin monimutkaisille otoksen poiminta- ja estimointimenetelmille. Yhtenä seurauksena tästä työstä oli kymmenen vuotta myöhemmin julkaistu Hansenin, Hurwitzin ja Madowin (1953) kaksiosainen otantateoriaa käsittelevä teos Survey Sampling Methods and Theory, josta tuli yksi alan perusteoksista. Tämä kehitystyö innoitti myös muita tilastotieteilijöitä, ja 1940- ja 50-lukujen taitteessa julkaistiin kolme muuta tilastotieteellisen otantateorian perusteosta.

CPS:n käyttämät menetelmät ja erityisesti sen tulokset huomattiin nopeasti myös muilla hallinnonaloilla ja tutkimuslaitoksissa. Kehitettyä otantamenetelmää alettiin soveltaa yhä laajemmin yhteiskunnallisissa ja taloudellisissa tutkimuksissa - muiden muassa Pekka Kuusi piti Hansenin ja Hurwitzin menetelmää esikuvanaan (Kuusela 2008). Parissa vuosikymmenessä menetelmän käyttö ja teoreettinen kehittely lisääntyivät räjähdysmäisesti. Tähän vaikutti merkittävästi tietokoneiden kehittyminen ja tilastollisten ohjelmistojen ilmestyminen markkinoille.

Todennäköisyysotannan suosion taustalla on kaksi merkittävää tekijää: menetelmällä on vankka teoreettinen perusta ja sen avulla pystytään arvioimaan estimaattien tarkkuutta. Lisäksi poimintamenetelmä on objektiivinen, mikä lisää saatujen tulosten uskottavuutta.

Otostutkimuksista on tullut keskeinen osa modernia yhteiskuntaa.

__________

1 Arthur Bowley oli Lontoon University Collegen professori, joka julkaisi ensimmäisen formaalin otantateorian vuonna 1926. Lisäksi hän toteutti Englannissa useita otostutkimuksia, jotka muistuttivat nykyisiä elinolotutkimuksia.
2 Herman Hollerith oli Census Bureaun työntekijä, kun hän rakensi ensimmäisen reikäkorttikoneen. Vuonna 1896 Hollerith perusti oman yrityksen valmistamaan ja markkinoimaan koneita, ja 1920-luvulla yrityksen nimeksi tuli International Business Machines (IBM).
3 Maataloutta koskevissa tutkimuksissa otantateoriaa oli sovellettu jo aiemmin, mutta CPS oli ensimmäinen ihmistutkimus, jossa sovellettiin modernia otantateoriaa. Ihmispopulaatioita oli tutkittu aikaisemminkin surveymenetelmää käyttäen, mutta otoksia ei poimittu satunnaispoiminnalla.

Lähteet:

Bellhouse, D. R. 2000. Survey Sampling Theory over Twentieth Century and its Relation to Computing Technology. Survey Methodology 26, 11-20.
Hansen, M. H. 1987. Some History and Reminiscences on Survey Sampling. Statistical Science 2, 180-190.
Hansen, M. H. - Hurwitz, W. N. - Madow, W. G. 1953. Survey sampling methods and theory I & II. John Wiley & Sons.
Heikinheimo, L. 1954. Metsätyövoiman tutkimusmenetelmä. Acta forestalia Fennica 63. Helsinki.
Hogg, M. H. 1930. Sources of Incomparability and Error in Employment-Unemployment Surveys. Journal of the American Statistical Association 25, 284-294.
Hogg, M. H. 1932. The Incidence of Work Shortage. Russell Sage Foundation, New York.
Kuusela, V. 2008. Surveyn alkutaival tieteelliseksi tutkimusmenetelmäksi. Hyvinvointikatsaus 4/2008.
Olkin, I. 1987. A Conversion with Morris Hansen. Statistical Science 2, 162-179.
Ristimäki, T. 1971. Suomen Työvoimatiedustelu. Menetelmät ja tulokset vuosina 1959-1969. Tilastollisia tiedonantoja 48. Tilastokeskus, Helsinki.
Stephan, F. F. 1948. History of the Uses of Modern Sampling Procedures. Journal of the American Statistical Association 43, 12-39.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 8.6.2009