Available via license: CC BY-NC-SA
Content may be subject to copyright.
KATSAUS
Informaatiovuorovaikutus kontekstissa:
Salton Award Keynote 9.7.2018
Kalervo Järvelin
Tampereen yliopisto
Informaatioteknologian ja viestinnän tiedekunta
kalervo.jarvelin@tuni.
https://orcid.org/0000-0001-7655-8930
Tämä artikkeli on suomenkielinen lyhennelmä Salton-palkinnon (http://sigir.org/awards/
gerard-salton-awards/) vastaanottopuheesta, jonka professori (emer.) Kalervo Järvelin piti 41.
ACM SIGIR -konferenssin yhteydessä 9. heinäkuuta 2018 Ann Arborissa (MI) USA:ssa.
Aluksi tekijä kertoo taustastaan ja tarkastelee sitten joitakin tiedon hankinnan ja haun osa-
alueita, jotka ovat olleet keskeisiä tekijän tutkimustyössä. Näihin kuuluvat tehtäväperusteinen
tiedon hankinta ja informaatiovuorovaikutus, luonnollisen kielen käsittely yksi- ja monikielistä
tiedonhakua varten ja tiedonhaun evaluointimetriikat. Lopuksi tekijä luonnostelee lähestymis-
tavan informaatiovuorovaikutusta koskevan tutkimuksen organisointiin.
Puhe on julkaistu englanniksi kokonaan SIGIR Forum verkkolehdessä, vol. 52 no. 2
(http://sigir.org/wp-content/uploads/2019/01/p052.pdf).
Asiasanat: tiedonhaku, tiedonhakujärjestelmät, tiedonhankinta, tiedonsaanti, tiedontarve
Johdanto
Hyvät kollegat ja ystävät: haluan aloittaa kiittämällä ACM SIGRiä Gerard
Salton 2018 -palkinnon myöntämisestä minulle. Pidän sitä suurena kunniana.
Minulla oli tilaisuus tavata professori Salton henkilökohtaisesti vain kerran,
vuoden 1991 SIGIR-konferenssissa. Hän kutsui minut tuolloin vierailevaksi
tutkijaksi omaan yliopistoonsa, Cornelliin. En voinut tuolloin noudattaa
Artikkeli on lisensoitu Creative Commons Nimeä-EiKaupallinen-JaaSamoin 4.0 Kansainvälinen -lisenssillä
Pysyvä osoite: https://doi.org/10.23978/inf.87043
Informaatiotutkimus 3–4(38)60
kutsua. Olin kuitenkin jo pitkään arvostanut hänen suurenmoista pioneeri-
työtään automaattisen tiedonhaun alalla ja SMART-hakujärjestelmän
kehittämisessä. Olin myös välittänyt hänen ideoitaan omille opiskelijoilleni.
Arvostin häntä tutkijana, jolla on näkemys tutkimusalan kehittämisestä ja
auktoriteettia sen toteuttamiseksi. Hän olisi hyvin saattanut ohjata minut
enemmän järjestelmäsuuntautuneelle tielle tiedonhaun tutkimuksessa kuin
se, jollaiseksi tieni muodostui.
Olen myös nöyrä siitä kunniasta, että minut on valittu uudeksi jäseneksi
niiden 11 tutkijan joukkoon, jotka ovat aiemmin saaneet Salton-palkinnon.
Heidän työnsä tulokset ovat erittäin arvokkaita tiedonhaun kehittämisessä.
Olen nauttinut heidän tutkimuksistaan, joista monet ovat suuresti vaikutta-
neet omaan ajatteluuni. Enpä ollut ikinä ajatellut, että olisin joskus pitämässä
tätä puhetta.
Moni aiempi Salton-palkinnon voittaja on kiitospuheessaan esittänyt
henkilökohtaisen näkökulman tiedonhakun. Jatkan tätä traditiota. Aloitan
kertomalla omasta taustastani informaatiotutkimuksessa ja tiedonhaun tut-
kimuksessa. Jatkan esittelemällä muutamia viimeaikaisia tutkimuksia, joissa
tarkastellaan tiedonhakua ja informaatiovuorovaikutusta työkontekstissa.
Päätän esitykseni omaan ehdotukseeni siitä, mitä tulisi sisällyttää tiedonhaun
tutkimukseen.
Alkuvuodet
Tutustuin tiedonhakuun informaatiotutkimuksen (kirjastotieteen ja infor-
matiikan) opintojen kautta. Olen työskennellyt lähes koko urani Tampereen
yliopistossa, jossa aloitin maisteriopinnot syksyllä 1972. Ajatukseni oli suorit-
taa kirjastotutkinto, mutta ensimmäinen professorini, Sinikka Koskiala, tutus-
tutti minut pian tiedonhakuun, tiedonhankintaan ja yleisemmin informaatio-
tieteeseen inspiroivien kirjojen avulla: näitä olivat etenkin Wilfried Lancas-
terin (Lancaster 1968), Gerard Saltonin (Salton 1968) ja Manfred Kochenin
(1967) teokset. Kaksi ensin mainittua tunnetaan hyvin tiedonhakuyhteisössä.
Olen erityisen iloinen mainitessani tri Kochenin, koska hän työskenteli täällä,
Michiganin yliopistossa, 1960-luvun puolivälistä 1980-luvun lopulle. Profes-
sori Koskiala neuvoi minua myös aloittamaan tietojenkäsittelytieteen opinnot.
Tämä valinta johdatti minut tutkimaan tiedonhallintaa ja oli viedä mukanaan
toiselle alalle.
Tuohon aikaan oli tietokäyttäytymisen (tai käyttäjä- ja tiedontarvetut-
kimuksen) tutkimusalue sangen suosittu informaatiotutkimuksessa. Sen
nähtiin tarjoavan kirjastojen kehittämisen vankka tieteellinen perusta.
Informaatiotutkimus 3–4(38) 61
Jo 1960-luvulla olivat Willliam Paisley (Paisley 1968) ja muut (kuten Allen
1969, Menzel 1966) esittäneet varsin vaikutusvaltaisia ja hyviä malleja
henkilön tietokäyttäytymisestä. Kuitenkin valtaosa alueen tutkimuksista oli
käyttäjätutkimuksia, tai instituutiokeskeisiä, keskittyen käyttäjien rooliin
kirjastojen elämässä ja pääosin laiminlyöden mainitut kehittyneemmät mallit.
Myöhemmin tutustuin Gernot Wersigin (informaatiososiologia, Wersig
1973), Nick Belkinin (ASK-hypoteesi; Belkin, Oddy & Brooks 1982), Brenda
Dervinin (sense-making-teoria; Dervin ja Nilan 1986), Douglas C. Engel-
bartin (tietotyön vahvistamistutkimus; Engelbart 1962), ja Steven Alterin
(päätöstukijärjestelmät; Alter 1980) ajatuksiin, muutamia esimerkkejä maini-
takseni. Nämä johtivat minut ajattelemaan informaatiotutkimusta opinalana,
joka tutkii ihmisiä toimijoina (actor) omassa työssään ja elämässään. Tästä
seuraa, ettei ihmisiä pidä ensisijaisesti tarkastella joidenkin tiedonjakelu-
instituutioiden käyttäjinä eikä edes tiedon hankkijoina, vaan aktiivisina toimi-
joina omassa informaatioympäristössään ja tehtävissään.
Moni läsnäolijoista suunnittelee ja kehittää tietopalveluja ja tietojärjes-
telmiä ja olettaa, että tieto on aina hyödyllistä ja että kaikki toimijalle kulloi-
sessakin tilanteessa relevantti tieto pitäisi etsiä ja käyttää hyödyksi. Tämä
on tavallinen rationalistinen tietojärjestelmäkeskeinen näkökulma ihmisiin
toimijoina (IR-rationalismia)1. Toimijoita tarkastellaan käyttäjinä, joiden
tulisi toimia ennalta päätetyllä tavalla tietojärjestelmän kanssa. Jotkin
hallinto- ja yhteiskuntatieteilijät kertovat erilaisen tarinan kuvatakseen parem-
min toimijoiden todellista käytöstä. Esimerkiksi emeritusprofessori Nathan
Caplan (sosiologia, University of Michigan) tutki päätöksentekijöiden infor-
maatiovuorovaikutusta (Caplan, Morrison & Stambaugh 1975) ja kuvasi useita
vuorovaikutustyylejä, joista osa merkitsi tahallista relevantin tiedon sivuutta-
mista, jollei se tukenut päätöksentekijän omaa näkökulmaa tarkasteltavaan
tilanteeseen.
Tällaiset seikat siirsivät informaatiotutkimuksen huomionkohteet vähitel-
len kohti tietopalvelujen ja järjestelmien roolia ihmisten toiminnassa. Ne myös
osaltaan edesauttoivat informaatiotutkimuksen fokuksen siirtymistä instituu-
tioista ja järjestelmistä toimijoihin konteksteissaan.
Tehtävän monimutkaisuus ja tietokäyttäytyminen
Suoritettavana olevat tehtävät ovat avaintekijöitä muovaamassa toimijoiden
informaatio-vuorovaikutusta. Teoreettiset pohdinnat johdattelivat minut
1 Tässä ’IR’ on perinteinen lyhenne termistä engl. Information Retrieval
Informaatiotutkimus 3–4(38)62
ajattelemaan, että tehtävätyyppi ja tehtävän monimutkaisuus voivat olla tässä
keskeisiä osatekijöitä. Siten esim. monimutkaisuudeltaan eritasoiset tehtävät
aiheuttavat erilaisia vaikeuksia tehtävän suorituksessa – kuten riittämättömän
tai epätarkan datan tai puutteellisen tietotaidon aiheuttamat vaikeudet.
Monimutkaisuudeltaan eritasoiset tehtävät voisivat vaatia eri tyyppisiä tietoja
tuekseen – kuten tehtäväaluetta koskeva yleistieto, ongelmakohtainen spesi
tieto ja ongelmanratkaisun menetelmätieto. Tarvittu tieto voidaan lopulta
konstruoida raakadatasta tai informaatiosta, joka on saatavissa erityyppisistä
lähteistä, jotka ovat vaihtelevassa määrin toimijan saavutettavissa.
Nämä ideat näyttävät varsin itsestään selviltä, kun ne kerran esitetään,
mutta niitä ei ollut esikuvien puuttuessa helppo tutkia empiirisesti. Niinpä
luovuin tutkimuksen empiirisestä osuudesta ja jatkoin sen sijaan formaalia
tutkimustyötäni tiedonhallinnan alalla. Empiiriseen tutkimukseen tarttui
kekseliäs gradun tekijä Katriina Murtonen2 prof. Pertti Vakkarin ohjauksessa.
Murtonen otti tehtäväkseen kehittää menetelmän, jolla voitaisiin saada
empiiristä näyttöä tehtävien monimutkaisuuden vaikutuksista tieto-käyttäyty-
miseen tehtävien suoritusprosessin tasolla sen sijaan, että näyttöä kerättäisiin
jälkikäteisinä mielipiteinä kyselylomakkeiden avulla.
Byström ja minä (Byström & Järvelin 1995) määrittelimme tehtävän
monimutkaisuuden sen havaituksi kuvailtavuudeksi etukäteen. Kuvailtavuus
koskee tehtävän syötteitä, prosesseja ja tuloksia. Erottelimme viisi tehtävän
monimutkaisuuden tasoa alkaen automaattisesta tietojenkäsittelytehtävästä,
joka on täysin kuvattavissa etukäteen ennen sen suoritusta, ja päätyen aitoon
päätöksentekotehtävään, joka aiheuttaa hämmennystä niin syötteiden, käsitte-
lyn kuin tulostenkin suhteen ennen suoritusta. Löysimme näyttöä erityyppi-
sistä tiedontarpeista, erityyppisistä tiedonlähteistä ja kanavista tehtävien eri
monimutkaisuusluokissa.
Vaikka ideat näyttäisivät itsestään selviltä, ei niitä välttämättä kuitenkaan
helposti hyväksytä. Yhteisartikkelin “Task complexity aects information
seeking and use” käsikirjoitus hylättiin ”puolivillaisena” yhdessä johtavassa
informaatiotutkimuksen aikakauslehdessä. Myöhemmin se kuitenkin onneksi
hyväksyttiin pienin täydennyksin Information Processing & Management
-lehteen (Byström & Järvelin 1995).
Muutaman vuoden kypsymisajan jälkeen ideamme tuli varsin suosituksi
vuorovaikutteisen tiedonhaun ja tiedonhankinnan tutkimuksen piirissä. Muut
tutkijat ovat sittemmin kehittäneet näitä ideoita sekä teoreettisesti (Pertti
Vakkari: Vakkari 2001a-b; Vakkari & Kuokkanen 1997) että ehdottamal-
la (työ-)tehtävien tai hakutehtävien luokituksia (esim. Li & Belkin 2008,
2 Sittemmin YTT, prof. Katriina Byström
Informaatiotutkimus 3–4(38) 63
Wildemuth & Freund & Toms 2014, sekä Kelly & al. 2015). Yksi esimerkki
on Lin ja Belkinin (2008) ehdotus tehtävien fasettiluokitukseksi: siinä erotel-
laan objektiivinen tehtävän monimutkaisuus sen subjektiivisesta monimutkai-
suudesta ja tarjotaan muitakin fasetteja, kuten tehtävien keskinäisriippuvuus,
kiireellisyys ja vaikeus. Tehtävien analysointi ja luokittelu mitä ilmeisimmin
parantavat mahdollisuuksiamme tutkia tehtävien ja informaatiovuorovaiku-
tuksen eri osa-alueiden välisiä suhteita.
Relevanssilajittelu huomion kohteena
Suuriin tekstikokoelmiin perustuva tiedonhaun tutkimus edistyi ripeästi
1990-luvun alussa. Tämän takia perustimme vuonna 1991 Tampereen yli-
opistoon tiedonhaun laboratorion ja tutkimusryhmän FIRE3. Tiedonhaun
kansainvälinen tutkimusyhteisö keskittyi kehittämään hakutulosten relevans-
silajittelun menetelmiä, jotka toimivat suurissa tietokannoissa. Tuo tutkimus
oli kiistatta tärkeää ja menestyksellistä – ja tulokset huomattavia. Ajattelimme
Tampereella kuitenkin, että relevanssilajittelua laajempi ja hakijasuuntautu-
neempi tarkastelu olisi eduksi alalle. Tämän edistämiseksi, arviomme mukaan,
tarvittaisiin uskottavuutta, jota voitaisiin hankkia vain tulemalla tutkimus-
yhteisön täysivaltaiseksi jäseneksi. Tämä taas onnistuisi tekemällä menestyk-
sellistä tutkimusta samanlaisin tavoittein kuin muutkin tutkimusyhteisössä
– siis keskittymällä relevanssilajitteluun testikokoelmissa. Sen lisäksi, että
käytimme kansainvälisiä TReC-testikokoelmia4, päätimme rakentaa suomen-
kielisen testikokoelman osana Eero Sormusen väitöskirjaprojektia (Sormunen
2000). Tästä oli kaksi merkittävää etua: yhtäältä suomen kielen morfologinen
monimutkaisuus vaati kehittämään tiedonhaun kieliteknologiaa, ja toisaalta
testikokoelma palautti moniportaiset relevanssiarviot tiedonhaun evaluoin-
tiin. Ensin mainitulla alueella menestyimme varsin hyvin tutkimuksessa, joka
koski:
• kieliteknologian soveltamista eri kielten tiedonhakuun; sovelsimme
• reduktiivisia menetelmiä, ml. tekstin sanojen perusmuoto-
jen ja sanavartaloiden tuottaminen, sanojen taivutusmuotojen
yhdistämiseen indeksoinnissa;
• generatiivisia menetelmiä, kuten sanojen taivutusvartaloiden
ja kaikkien taivutusmuotojen tuottaminen, sanan mahdollisten
taivutusmuotojen kattamiseen taivutusmuotoisista indekseistä
haettaessa useissa Euroopan, Intian ja Afrikan kielissä.
3 Finnish Information Retrieval Experts
4 TReC on lyhenne konferenssille Text Retrieval Conference (ks. https://trec.nist.gov/)
Informaatiotutkimus 3–4(38)64
• Kehitimme myös menetelmiä kieltenväliseen tiedonhakuun:
• soveltaen kolmea päälähestymistapaa (sanakirjakäännös-,
konekäännös- ja rinnakkaiskokoelmaan perustuvat käännös-
menetelmät) sekä näiden yhdistelmiä, ja
• luoden sumeita merkkijonomenetelmiä sellaisten sanojen
kääntämiseen, joiden kääntäminen ei muilla menetelmillä
onnistu;
• Pirkola-menetelmä, jonka Ari Pirkola kehitti väitöstutkimuk-
sessaan sanakirjakäännöstä varten, oli yksinkertaisuudestaan
huolimatta vuoden 2000 paikkeilla vuosikausia ylivoimainen
käännösmenetelmä (Pirkola 1999).
Tutkimme myös relevanssilajittelua ontologioiden ja kyselyjen laajentamisen
yhteydessä (Kekäläinen 1999) ja rakenteisten dokumenttien hakumenetelmiä
(Arvola, Junkkari & Kekäläinen 2005).
Käyttäjäsuuntautuneita metriikoita?
Toinen seuraus oman testikokoelman kehittämisestä oli moniportaisen
relevanssiarvioinnin palauttaminen tiedonhaun evaluointiin. Varhaisissa
Craneld-testikokoelmissa5 oli moniportainen relevanssiarviointi, mutta
TReC-konferensseissa käytettiin aluksi vain kaksiportaisia arviointeja. Meitä
innosti ilmeisen löysien relevanssikriteerien käyttö TReC-testikokoelmissa:
dokumentti on aiherelevantti hakuaiheen kannalta, jos se sisältää vähintään
yhden lauseen, joka koskee hakuaihetta. Koska monet dokumentit tarjoavat
paljon enemmän, pohdimme vaikuttaisiko evaluointi erittäin relevanttien
dokumenttien löytämisen suhteen evaluointituloksiin – syntyisikö eri haku-
menetelmien tuloksellisuudesta erilainen kuva.
Tämä pohdinta johti kehittämään tiedonhaun evaluointimetriikkoja, jotka
perustuvat moniportaisiin relevanssiarvioihin – yleistetty saanti-tarkkuus
-metriikka ja kumuloidun hyödyn metriikat, tärkeimpänä nDCG-metriikka6,
jonka kehitimme YTT Jaana Kekäläisen (Järvelin & Kekäläinen 2002; 2002;
Kekäläinen & Järvelin 2002) ja Heikki Keskustalon (Keskustalo & al. 2008)
kanssa. Ensimmäinen metriikka yleisti saannin löydetyksi osuudeksi tietokan-
nan kokonaisrelevanssimassasta hakuaiheen suhteen ja tarkkuuden relevantin
massan osuudeksi hakutuloksen kokonaismassasta. Myöhemmin muut ovat
5 ks. https://www.nowpublishers.com/article/Details/INR-009
6 normalized discounted cumulative gain, tunnettu yleisesti lyhennyksellään nDCG.
Informaatiotutkimus 3–4(38) 65
esittäneet jatkokehitelmiä näille metriikoille (ks. esim. Robertson, Kanoulas &
Yilmaz 2010).
Ehdotimme nDCG-metriikkaa käyttäjäsuuntautuneeksi evaluointi-
metriikaksi. Tämä johtui siitä, että tiedonhaun evaluoinnissa tavallisilla
metriikoilla usein palkittiin hakumenetelmiä silloinkin, kun ne löysivät vain
marginaalisesti relevantteja dokumentteja ja sijoittivat ne varsin kauas haku-
tuloksen kärjestä. Näin saatettiin evaluointikokeissa saada esille tilastollisesti
merkitseviä eroja hakumenetelmien tuloksellisuudessa, vaikka eroilla
ei olisi käytännön merkitystä tiedonhakijalle. Pidimme nDCG-metriikkaa
käyttäjäsuuntautuneena, koska se perustui moniportaiseen relevanssi-
arvioon, tarjosi mahdollisuuden vaihdella eri relevanssitasojen keskinäisiä
painoarvoja evaluoinnissa ja tarjosi mahdollisuuden alentaa kauas haku-
tuloksen kärjestä sijoitettujen dokumenttien kerryttämää hyötyä evaluoin-
nissa. Tiivistäen voidaan sanoa, että metriikka palkitsee hakumenetelmää
erittäin relevanttien dokumenttien löytämisestä nopeasti (hakutuloksen
kärkeen). Metriikka kuitenkin sallii palkkion aleneman säätelyn ja mukau-
tuu siten erilaisten hakutilanteiden evaluointiin.7 Sittemmin perus-
metriikkaan on esitetty huomattava määrä muunnelmia ja laajennoksia
koskien mm. hakijoiden mallinnusta ja monta kyselyä kattavien haku-
istuntojen evaluointia.
Pohjimmiltaan nDCG-metriikka oli kuitenkin tarkoitettu, ja sitä on pääa-
siassa käytetty, metriikkana yksittäisen hakutuloksen laadun evaluointiin
kokeellisessa tiedonhaussa. Tällaiset evaluoinnit suoritetaan tyypillisesti tes-
tikokoelmissa ilman hakijoiden osallistumista päätavoitteena relevanssilajit-
telun parantaminen. Tässä tehtävässä nDCG on palvellut tiedonhaun tutki-
musta hyvin.
Kun ihmiset ovat olleet aktiivisina toimijoina mukana evaluoinnin koe-
asetelmissa, evaluointituloksista on usein voitu päätellä, ettei parempi
relevanssilajittelu välttämättä johda parempaan hakutehtävän tai sen taus-
talla olevan työtehtävän suoritukseen. Esimerkiksi Turpin & Scholerin
kokeessa (2006) hakijat käyttivät hakukoneita, jotka oli keinotekoisesti asetet-
tu toimimaan 55–95% keskitarkkuudella. Jotkin hakijat siis saivat tarkemman
hakukoneen kuin toiset. Tutkimuksen tulokset osoittavat, ettei hakukoneen
tarkkuudella ja yksinkertaisen tarkkuuspainotteisen hakutehtävän onnis-
tuneella suorittamisella ollut merkittävää yhteyttä. Smith ja Kantor (2008)
taas havaitsivat, että hakijat, joille annettiin tarkkuudeltaan heikennetty haku-
kone, olivat hakuistunnoissaan yhtä tuloksellisia kuin hakijat, jotka käyttivät
heikentämätöntä konetta. Ensin mainitut kompensoivat hakukoneen puutteet
7 Hakutilanne voi esim. koskea parin hyvän dokumentin löytämistä tai kattavaa hakua.
Informaatiotutkimus 3–4(38)66
muuttamalla toimintatapaansa. Vakkari ja Huuskonen (2012) tutkivat opiske-
lijoiden tiedonhakua oppimistehtävää varten. Heitä kiinnosti hakujen onnistu-
neisuuden yhteys oppimistehtävän tuloksen laatuun. Opiskelijoiden suurempi
panostus hakuprosessiin aiheutti hakutulosten tarkkuuden aleneman, mutta
paransi oppimistehtävän tulosta.
Näissä esimerkeissä hakijoiden ponnistelut kompensoivat heikompia
hakutuloksia matkalla tehtävän onnistuneeseen suorittamiseen. Tämän
takia ei ole itsestään selvää, mitä hakukoneiden ja niiden käyttöliittymien
ominaisuuksia pitäisi kehittää, jotta toimijat suoriutuisivat tehtävistään
paremmin. Kehittämiseen tarvitaan laajempi konteksti, koska optimaaliset
ratkaisut voivat jäädä löytymättä, jos tiedonhaku- ja tietopalvelujen kehit-
tämisessä ei tunneta niiden käyttötilanteita. Tätä näkökulmaa kehitin edelleen
yhdessä Peter Ingwersenin kanssa kirjassamme ’The Turn’ (Järvelin &
Ingwersen 2005). Kirjan tavoitteena oli integroida tiedonhaun ja tiedon
hankinnan tutkimusta teoreettisella tasolla. Saman aikaansaaminen
empiirisellä tasolla edellytti toimijoiden tutkimista omissa informaatio-
ympäristöissään.
Samaan aikaan tiedonhakuteollisuudessa tapahtui muutos, joka kohdistui
hakukoneiden käyttäjiä koskevan datan keruuseen ja analysointiin tavoitteena
parantaa relevanssilajittelua ja suosituksia sekä mainosten sijoittelua. Tähän
tarvittiin hakukoneen käyttäjän käytöstä koskevan lokitiedon laajamittaista
tallentamista palvelimelle kunkin hakukoneen näkökulmasta erikseen.
Lokeja analysoimalla on voitu kehittää merkittäviä parannuksia hakijan ja
hakukoneen vuorovaikutukseen – ja tuotettu melkoisia tietosuojaongelmia.
Tämä lähestymistapa jättää kuitenkin epämääräiseksi kuvan siitä, kuinka
toimija vuorovaikuttaa informaation kanssa työ- ja arkielämän tilanteissa,
joissa on tarjolla lukuisia tiedonlähteitä, tietopalveluja ja -järjestelmiä.
Seurauksena jotkin tiedonhaun tutkijat siirtyivät hakukoneesta (ja -algorit-
meista) toimijoihin huomion pääkohteena (ks. tiedonhaun tutkimuksen jat-
kumo; Kelly 2009).
Elämää työpaikoilla
Bruno Latourin ja Steve Woolgarin kirja Laboratory Life (1986) innoitti
minua tarkastelemaan toimijoiden työntekoa eri tilanteissa. Kirja kuvaa
tunnetun ranskalaisen sosiologin ja loson seikkailuja hänen yrittäessään
selvittää etnograsin menetelmin mitä oikeastaan tapahtuu kalifornialaisessa
biologisessa tutkimuslaboratoriossa. Kirjan kirjoittajat tutkivat, kuinka labora-
torion sosiaalinen ympäristö tuotti tutkimuspapereita ja muita tekstejä.
Informaatiotutkimus 3–4(38) 67
He havaitsivat, että on välttämätöntä tehdä etnograsia havaintoja, koska jos
tutkijoilta kysyy heidän tutkimustyöstään, niin heidän kertomuksensa sys-
temaattisesti hämärtävät heidän papereita tuottavan toimintansa luonteen.
Yleistäen voidaan todeta, että kysyttäessä muiden alojen työntekijöiltä heidän
työnsä tekemisestä, saadaan esiin rationalisoituja ja idealisoituja kuvauksia,
jotka eivät vastaa todellisuutta. Niinpä päättelimme, että jos haluamme oppia
tuntemaan todellista informaatiovuorovaikutusta, on mentävä havainnoimaan
sitä, kuinka toimijat suorittavat tehtävänsä. Tämän takia useissa väitöskirja-
projektissamme kerättiin aineisto työpaikoilla:
• patenttialalla Preben Hansen (2011): “Task-based Information
Seeking and Retrieval in the Patent Domain”
• molekyylilääketieteessä Sanna Kumpulainen (2013): “Task-based
information access in molecular medicine: task performance,
barriers, and searching within a heterogeneous information envi-
ronment”
• sosiaalityössä Saila Huuskonen (2014): “Recording and Use of
Information in a Client Information System in Child Protection
Work”, ja
• hallinnossa Miamaria Saastamoinen (2017): “Information Searching
in Authentic Work Tasks: A eld study on the eects of task type
and complexity”.
Kartoitimme toimijoiden informaatioympäristöjä ja heidän toimintaansa
niissä. Sovelsimme useita datan keruumenetelmiä, kuten haastattelut, työn
havainnointi, valokuvaus ja lokitietojen tallennus. Näin saimme monipuolisen
kuvan siitä:
• kuinka tiedon hankinta ja haku liittyy laajempiin työprosesseihin
• kuinka toimijat tekevät yhteistyötä tiedon hankinnassa ja haussa
• kuinka toimijat käyttivät useita tiedonlähteitä ja tietojärjestelmiä
integroidusti, erityisesti monimutkaisissa tehtävissä
• kuinka erilaiset esteet tekivät tietojärjestelmien puutteet näkyviksi
ja vaativat kiertämistä
• millaisia kyselyjä ja hakuistuntoja käytettiin tiedontarpeiden tyydyt-
tämiseen eri tilanteissa
• kuinka paljon aikaa toimijat kuluttivat kussakin tietojärjestelmä-
tyypissä eri tyyppisissä tehtävissä.
Tarkastelen lähemmin esimerkkinä kahta löydöstä. Ensimmäinen on
Sanna Kumpulaisen väitöskirjasta (2013). Kuva 1 esittää erään todellisen
molekyylilääketieteen yksittäisen, monimutkaisen tehtävän informaatio-
Informaatiotutkimus 3–4(38)68
vuorovaikutusta. Siinä käytetään useita eri tyyppisiä tiedonhankinnan lähteitä
ja kanavia. Tehtävän suoritus kuvataan vaiheittain, joita on 23 kpl kahden
tunnin aikana.
Kuva 1. Esimerkki tehtävän suoritusprosessista molekyylilääketieteessä (Kumpulainen
2013, 45). Kyselytyyppien merkinnät: BF – bio-faktahaku; BR – bio-resurssihaku;
WN – Web-navigaatiohaku
Kuvan ylärivi esittää käytetyt kyselyt (8) ja niiden tyypit, ja alarivin palkki
noin 15 min osina tehtävän keston. Palkin osat ovat graasesti eri mittaisia,
koska jossain vartin pätkässä oli tapahtumia paljon enemmän kuin jossain
toisessa. Sininen (varjostettu) ja valkoinen väri erottelevat palkin osat
toisistaan. Pystypalkki (#14) on tunnin ruokatunti.
Kuvan 1 keskialue työntekijöiden informaatioympäristön rakennetta ja on
jaettu vaakasuuntaan kanavatyypeiksi hakukoneet, verkkosivustot, kirjalli-
suustietokannat, biologiset tietokannat, PC:n työkalut ja muut välineet sekä
tulokset. Jokainen kapeampi rata kunkin kanavan sisällä edustaa jotakin
yksittäistä resurssia kanavatyypin sisällä ja pysyy samana työprosessin ajan.
Eri radat saman kanavatyypin sisällä edustavat eri kanavia. Pienet laatikot
edustavat työvaiheita, yhtenäiset nuolet niiden järjestystä, katkopistenuolet
siirtymisiä linkkien avulla, ja pistenuolet datan/informaation kulkua.
Informaatiotutkimus 3–4(38) 69
Vaikka tämän tehtävän työvaiheiden enemmistö tapahtuukin kolmen
bio-resurssin kesken, käytetään siinä kuitenkin kaikkiaan yhdeksää kanavaa.
Tehtävä etenee monen eri kanavatyyppeihin kuuluvan välineen kautta ja voi
palata uudelleen jo aiemmin käytettyyn välineeseen. Tehtävän suorittaja
ottaa välineitä käyttöönsä ja integroi ne tehtävään kuten parhaaksi näkee.
Tämä riippuu hänen henkilökohtaisesta – koetusta – informaatioympäris-
töstään. Jos kiinnitämme huomiomme vain kahdeksaan kyselyyn, erityisesti
kerättäessä lokitietoja kanavakohtaisesti palvelinpäässä, saadaan vain hyvin
kapea kuva tehtävän suorittajan informaatiovuorovaikutuksesta.
Olen vakuuttunut siitä, että samantapaisia havaintoja informaatiovuoro-
vaikutuksesta voidaan tehdä muillakin aloilla, ei ainoastaan molekyylilääke-
tieteessä tai pelkästään tutkimustehtävissä.
Tarkastelen toisena esimerkkinä Miamaria Saastamoisen löydöksiä (2017).
Hän tarkasteli mm. tehtävän monimutkaisuuden suhdetta tehtävää tukevan
tiedonhaun piirteisiin ja havaitsi, että:
• jopa 42% tehtävistä suoritettiin ilman tiedonhakua, vaikka muuta
vuorovaikutusta käytettävissä olevan informaation kanssa esiin-
tyikin. Lopuissa tehtävissä esiintyi keskimäärin 2.5 hakutehtävää;
monimutkaisissa keskimäärin enemmän kuin yksinkertaisissa.
• useimmat tehtävät olivat hyvin yksinkertaisia:
• sisältäen tyypillisesti yhden kyselyn, jossa käytettiin yhtä
erisnimi-tyyppistä hakuavainta
• mutta jälleen monimutkaisissa tehtävissä oli enemmän, pidem-
piä ja vaihtelevampia kyselyjä
• tehtävien suoritusajasta kului 50%–60% PC:llä jo olevien tiedon-
lähteiden tai viestintävälineiden, kuten sähköposti, käyttöön.
Näitä löydöksiä vasten kannattaa pohtia tyypillisiä tiedonhaun tutkimuk-
sia. Niissä käytetään simuloituja työtehtäviä tai valmiiksi muotoiltuja haku-
tehtäviä, jotka vaativat monia hakuja ja pitkiä hakuistuntoja, joissa käyte-
tään yhtä hakujärjestelmää tai tiedonlähdettä. Saastamoisen (2017) mukaan
reaalimaailman tiedonhaku on hyvin yksinkertaista, mutta kuitenkin riittävän
tuloksellista tehtävän suorittamiseksi, eikä kuitenkaan rajoitu yhden haku-
järjestelmän tai tiedonlähteen käyttöön.
Autenttisessa tehtävien suoritusvirrassa toimijat näyttivät vain harvoin
tunnistavan erillisiä ’hakutehtäviä’ tai pohtivan niiden sisältöä. Tiedonhaun
tutkimuksessa käytettävät hakutehtävät voivat siten olla akateemisia
konstruktioita, joita alan tutkijat näkevät, mutta joita reaalimaailman toimijat
eivät pohdiskele.
Informaatiotutkimus 3–4(38)70
Tehtäväperusteinen informaatiovuorovaikutus ja
käyttöliittymien kyvyt
Teimme ehdotuksen tehtäväperusteisen informaatiovuorovaikutuksen
arviointiviitekehykseksi (Järvelin & al. 2015) osittain samanaikaisesti edellä
kuvattujen tutkimusten kanssa. Lähtökohtana oli, että evaluointi aivan yleises-
ti ottaen merkitsee jonkin tarkasteltavan kohteen hyvyyden systemaattista
arviointia annetuista tavoitteista johdettujen evaluointikriteerien nojalla.
Tarkoituksena on analysoida, missä määrin evaluoinnin kohde saavuttaa nämä
tavoitteet. Evaluoinnin suorittamiseksi on tarpeen määritellä (a) evaluoinnin
kohde, (b) sen tavoitteet ja (c) tavoitteiden saavuttamista mittaavat mittarit.
Tavoitteita määriteltäessä on tärkeää ymmärtää ero evaluoinnin kohteen välit-
tömien tuotosten ja sen laajempien ja pitkäaikaisempien vaikutusten välillä.
Tulee myös ymmärtää evaluoinnin kohteen ominaisuuksien ja käytön yhteydet
tavoitteisiin ja tuotoksiin. Muuten ei ymmärretä kohteen toimintaa ja sen
kehittämisestä tulee kuin melontaa sumuisessa yössä.
Määrittelimme (Järvelin & al. 2015) tehtäväperusteisen informaatio-
vuorovaikutuksen käyttäytymiseksi ja ajatustoiminnaksi, jotka liittyvät
tehtävien suunnitteluun ja etenemisen seurantaan (SS), tarvittavien tietojen
hakuun (TH), tiedonlähteiden valintaan (LV), lähteiden kanssa työskente-
lyyn (LT), sekä synteesin tekoon ja raportointiin (SR). Tehtävän suorittajat
käyttävät tässä toiminnassa liutaa välineitä, kuten järjestelmiä tiedon-
hakuun, työajan ja projektien hallintaan, viestintään, tiedonhallintaan ja
taulukkolaskentaan, viitteiden ja yhteystietojen hallintaan, doku-
menttien ja tekstinkäsittelyyn, kuvien ja esitysten hallintaan sekä
tehtäväalan omintakeiseen tiedonkäsittelyyn. Monet mainituista järjes-
telmistä tarjoavat hakutoimintoja omassa tietoavaruudessaan, vaikka pää-
toiminto onkin joku muu kuin haku. Jos tehtäväperusteiselle informaatio-
vuorovaikutukselle hyväksytään tällainen laaja määritelmä, mainitut järjes-
telmät tulevat kehittämisen ja evaluoinnin kohteiksi informaatiovuoro-
vaikutuksen evaluoinnissa.
Nykyinen tutkimustieto ei riitä tehtäväperusteisen informaatiovuorovai-
kutuksen kattavaan ymmärtämiseen. Emme vielä ymmärrä, mitkä meka-
nismit tuottavat monimutkaisten tehtävien tulokset ja kuinka erilaiset infor-
maatiovuorovaikutukset avustavat tässä. Erityisesti käsityksemme siitä,
miten hakutoiminnot tukevat tehtävien suoritusta, on puutteellinen.
Ymmärryksen edistämiseksi tulisi tarkastella uudelleen Marcia Batesin
(1990) liki 30 vuotta sitten julkaiseman artikkelin 4. “where should the per-
son stop and the information search interface start“ sisältämää ehdotusta.
Bates tarkasteli hakutoimintoa kahden ulottuvuuden suhteen. Ensimmäinen
Informaatiotutkimus 3–4(38) 71
oli hakutoiminnon jäsennystaso, kuten siirrot (moves), taktiikat (tactics) ja
strategiat (strategies). Toinen oli hakujärjestelmän tuen taso tehtävän suorit-
tamiseen, kuten ’ei mitään’, neuvonanto toimintavaihtoehtoja luettelemalla,
toiminnon suoritus käskystä, tehtävän seuranta ja toiminnon suositus, sekä
automaattinen suoritus. Bates antoi myös suosituksen koskien T&K ponniste-
lujen kohdentamista. Keskeistä olisi tutkimus, joka vahvistaisi toimijan mah-
dollisuuksia ohjata vuorovaikutusta ja järjestelmän tukea siihen – varsinkin
laajemmilla hakutoiminnon jäsennystasoilla.
Batesin lähestymistapa voidaan laajentaa kattamaan kaikki tehtävä-
perusteisen informaatiovuorovaikutuksen toiminnot. Hänen esittämänsä
kysymys voidaan siten muotoilla uudelleen: “where should the person stop
and the information interaction interface start?“ Tämä muotoilu houkuttelee
pohtimaan, tiedämmekö millaista tukea tehtävien suorittamiseen on olemas-
sa, millaista käytetään ja tarvitaan, tai millainen on mahdollista kussakin
toiminnossa. Tässä joitakin esimerkkejä:
• SS: työnkulkujen kuvausten tarjonta eri tehtäviin (tuki: vaihtoehto-
jen luettelu; taso: strategiat)
• TH: hakujen suosittelu (tuki: vaihtoehtojen luettelu; taso: siirto)
• LV: hakutulosten ryhmittely (tuki: suoritus käskystä; taso: siirto)
• LT: dokumentin vieritys ja hakuavainten näyttö kontekstissa (tuki:
suoritus käskystä; taso: siirto)
• SR: dokumenttimallialustojen suosittelu (tuki: suoritus käskystä;
taso: siirto)
Kun ideat käyttöliittymän tuesta liitetään tehtävän monimutkaisuuteen,
tulee ilmeiseksi kysyä, missä automaattinen tuki on mahdollista, tuloksellista,
hyödyllistä tai toivottavaa. Todennäköisesti yksinkertaiset ja usein toistu-
vat tehtävät kuuluvat tähän joukkoon. Esimerkistä käy median jo soveltama
rutiininomaisten urheilutulosten ja sääennusteiden automaattinen rapor-
tointi. Vaativampi esimerkki on automaattisen järjestelmän kehittäminen
yliopiston pääsykoetehtäviin vastaamista varten8. Jos tehtävä kuitenkin on
monimutkainen ja vielä jäsentymätön, sen lienee parasta pysyä suorittajansa
ohjauksessa.
Yksi tapa jäsentää tietämystä informaatiovuorovaikutuksen alalla
on tarkastella sitä neljän edellä esitetyn käsitteen kautta: informaatio-
vuorovaikutuksen toiminnot, tehtävän jäsennystaso, tarjotun tuen taso,
ja tehtävän monimutkaisuus (kuva 2). Kullekin toiminnolle muodostuu
tutkimuskuutio, jonka ulottuvuudet ovat tehtävän jäsennystaso, tehtävän
8 Ks. http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings13/pdf/ntcir/01-NT-
CIR13-OV-QALAB-ShibukiH.pdf
Informaatiotutkimus 3–4(38)72
tuen taso ja tehtävän monimutkaisuus.
Kuva 2. Informaatiovuorovaikutuksen tutkimuskuutiot kohdennettuna hakutoi-
mintoon (TH). Muut toiminnot kuvassa SS = suunnittelu ja seuranta sekä LV =
lähteiden valinta; sekä kuvan ulkopuolella LT = lähteiden kanssa työskentely ja SR
= synteesi ja raportointi
Ideana on, että jokainen olemassa tai suunnitteilla oleva tukiväline ja
sen hyödyllisyyttä koskevat tutkimustiedot voidaan sijoittaa johonkin tutki-
muskuutioon ja siinä tuetun tehtävän jäsennystasoa, tukitasoa ja monimut-
kaisuutta vastaavaan soluun. Kuutioiden tyhjät solut osoittavat alueita, joilla
T&K-toimintaa kannattaisi harkita. Tutkittavaa on varmasti paljon.
Lopuksi
Teknologiat kehittyvät ja muuttavat ihmisten töitä, arkea ja konkreettisia
informaatiovuorovaikutuksen käytäntöjä. Kun tietojärjestelmät muuttuvat,
tehtävän suorittajan käyttävissä oleva informaatio ja sen lähteet saattavat
muuttua, tehtävä suoritusprosessi voi muuttua – ja lopulta tehtävän tavoit-
teet voivat muuttua. Näiden muutosten ja niiden asioiden, jotka niiden myötä
tulevat tarjolle, mahdollisiksi, hyödyllisiksi tai toivottaviksi, tutkiminen aut-
taa parhaiten suunnittelemaan teknologioita, jotka tukevat ihmisiä asian-
tuntijoina omassa työssään ja arjessaan. Aivan kuten informaatiotutkimuksen
kehityksessä, myös tiedonhaun tutkimuksen kehityksessä tulee vahvistaa
ihmisten informaatiovuorovaikutuksen näkökulmaa – ei niinkään systeemien
käyttäjinä kuin itsenäisinä toimijoina.
Informaatiotutkimus 3–4(38) 73
Useampi aikaisempi Salton-palkinnon vastaanottaja on painottanut
ihmisten keskeisyyttä tiedonhaun tutkimuksessa. Myös käyttäjiä koskevan
datan analysointiin keskittyvien tutkimusartikkelien lukumäärä on kasvanut
suuresti. Tämä kehitys osoittaa, että koko tiedonhaun tutkimusyhteisö pitää
tärkeänä ihmisten ja heidän informaatiovuorovaikutuksensa tutkimista. Tämä
on terve merkki alasta. Kiitän kuulijoitani tästä asenteesta ja saamastani
tunnustuksesta.
Viitteet
Allen, T.J. (1969). Information needs and uses. Teoksessa: Cuadra, C.A. (Ed.), Annual Review of
Information Science and Technology: Vol. 4 (ARIST 4). Chicago, IL: William Benton, 1–29.
Alter, S.L. (1980). Decision support systems: Current practice and continuing challenges.
Reading, MA: Addison-Wesley.
Arvola, P., Junkkari, M., & Kekäläinen, J. (2005). Generalized contextualization method for XML
information retrieval. Teoksessa: Herzog, O. & al. (Eds.), Proceedings of the 14th ACM inter-
national conference on Information and knowledge management (CIKM 2005). New York,
NY: ACM, 20–27.
Bates, M.J. (1990). Where should the person stop and the information search interface start?
Information Processing & Management, 26(5), 575–591.
Belkin, N.J., Oddy, R.N. & Brooks, H.M., (1982). Ask for information retrieval: Part 1. Journal of
Documentation, 38(2), 61–71. https://doi.org/10.1108/eb026722
Byström, K. & Järvelin, K. (1995). Task complexity aects information seeking and use. Information
Processing & Management, 31(2), 191–213. https://doi.org/10.1016/0306-4573(95)80035-R
Caplan, N., Morrison, A. & Stambaugh, R.J. (1975). The Use of Social Science Knowledge in Policy
Decisions at the National Level: A Report to the Respondents. Ann Arbor, MI: University of
Michigan, Institute for Social Research.
Dervin, B. & Nilan, M. (1986). Information needs and uses. Teoksessa: Williams, M.E. (Ed.),
Annual Review of Information Science and Technology, vol. 21 (ARIST 21). White Plains,
NY: Knowledge Industry Publications, 3–33.
Engelbart, D. (1962). Augmenting Human Intellect: A conceptual Framework. Menlo Park, CA:
Stanford Research Institute.
Hansen, P. (2011). Task-based Information Seeking and Retrieval in the Patent Domain: Pro-
cesses and Relationships. Tampere: Tampere University Press, Acta Electronica Universitatis
Tamperensis, vol. 1093. http://urn./urn:isbn:978-951-44-8497-1
Huuskonen, S. (2014). Recording and Use of Information in a Client Information System in Child
Protection Work. Tampere: Tampere University Press, Acta Electronica Universitatis Tampe-
rensis, vol. 1387. http://urn./URN:ISBN:978-951-44-9368-3
Ingwersen, P. & Järvelin, K. (2005). The Turn: Integration of Information Seeking and Retrieval
in Context. Heidelberg: Springer.
Informaatiotutkimus 3–4(38)74
Järvelin, K. & al. (2015). Task-Based Information Interaction Evaluation: The Viewpoint of
Program Theory. ACM Transaction of Information Systems (ACM TOIS) 33(1), Article 3,
Special Issue on Contextual Search and Recommendation. https://doi.org/10.1145/2699660
Järvelin, K. & Kekäläinen, J. (2000). IR evaluation methods for highly relevant documents. Teok-
sessa: Belkin, N.J., Ingwersen, P. & Leong, M.-K. (Eds.), SIGIR '00: Proceedings of the 23rd
Annual Conference on Research and Development in Information Retrieval (ACM SIGIR
‘00). New York, NY: ACM Press, 41–48. https://doi.org/10.1145/345508.345545
Järvelin, K. & Kekäläinen, J. (2002). Cumulated gain-based evaluation of IR techniques.
ACM Transactions on Information Systems (ACM TOIS), 20(4), 422–446. https://doi.
org/10.1145/582415.582418
Kekäläinen, J. (1999). The eects of query complexity, expansion and structure on retrieval
performance in probabilistic text retrieval. Tampere, Finland: University of Tampere, Acta
Universitatis Tamperensis, vol. 678. https://trepo.tuni./handle/10024/67696
Kekäläinen, J. & Järvelin, K. (2002). Using graded relevance assessments in IR evaluation.
Journal of the American Society for Information Science and Technology, 53(13), 1120–1129.
https://doi.org/10.1002/asi.10137
Kelly, D. (2009). Methods for evaluating interactive information retrieval systems with
users. Foundations and Trends in Information Retrieval, 3(1–2), 1–224. https://doi.
org/10.1561/1500000012
Kelly, D., Arguello, J., Edwards, A. & Wu, W-C. (2015). Development and evaluation of search
tasks for IIR experiments using a cognitive complexity framework. Teoksessa: Allan, J. & al.
(Eds.), Proceedings of the 2015 international conference on the theory of information re-
trieval. New York, NY: ACM, 101–110.
Keskustalo, H., Järvelin, K., Pirkola, A. & Kekäläinen, J. (2008). Intuition-Supporting Visualiza-
tion of User’s Performance Based on Explicit Negative Higher-Order Relevance. Teoksessa:
Sung Hyon Myaeng & al. (Eds.), Proceedings of the 31st Annual International ACM SIGIR
Conference on Research and Development in Information Retrieval (ACM SIGIR '08). New
York, NY: ACM Press, 675–682. https://doi.org/10.1145/1390334.1390448
Kochen, M. (1967). The growth of knowledge: readings on organization and retrieval of infor-
mation. New York, NY: Wiley.
Kumpulainen, S. (2013). Task-based information access in molecular medicine: task per-
formance, barriers, and searching within a heterogeneous information environment.
Tampere: Tampere University Press, Acta Electronica Universitatis Tamperensis, vol. 1360.
http://urn./URN:ISBN:978-951-44-9287-7
Kumpulainen, S. & Järvelin, K. (2010). Information Interaction in Molecular Medicine: Analyzing
Task Processes and Search Logs. Teoksessa: Belkin, N.J. & Kelly, D. (Eds.), Proceedings of
the third symposium on Information interaction in context (IIiX 2010). New York, NY: ACM,
95–104. https://doi.org/10.1145/1840784.1840800
Lancaster, F.W. (1968). Information Retrieval Systems: Characteristics, Testing, and
Evaluation. New York, NY: Wiley.
Latour, B. & Woolgar, S. (1986). Laboratory Life: The Construction of Scientic Facts, 2nd Ed.
Princeton, NJ: Princeton University Press.
Informaatiotutkimus 3–4(38) 75
Li, Y. & Belkin, N. (2008). A faceted approach to conceptualizing tasks in
information seeking. Information Processing and Management, 44(6), 1822–1837.
https://doi.org/10.1016/j.ipm.2008.07.005
Menzel, H. (1966). Information needs and uses. Teoksessa: Cuadra, C.A. (Ed.), Annual Review of
Information Science and Technology, vol. 4 (ARIST 4). Chicago, IL: William Benton, 1–29.
Paisley, W. (1968). Information needs and uses. Teoksessa: Cuadra, C.A. (Ed.), Annual Review of
Information Science and Technology, vol. 3 (ARIST 3). Chicago, IL: William Benton, 1–30.
Pirkola, A. (1999). Studies on Linguistic Problems and Methods in Text Retrieval. Tampere,
Finland: University of Tampere, Acta Universitatis Tamperensis, vol. 672. http://tampub.
uta./handle/10024/67651
Robertson, S.E., Kanoulas, E. & Yilmaz, E. (2010). Extending average precision to graded rele-
vance judgments. Teoksessa: Crestani, F. & al. (Eds.), Proceedings of the 33rd international
ACM SIGIR conference on Research and development in information retrieval (SIGIR '10).
New York, NY, ACM, 603–610. https://doi.org/10.1145/1835449.1835550
Saastamoinen, M. (2017). Information searching in authentic work tasks: A eld study on the
eects of task type and complexity. Tampere: Tampere University Press, Acta Electronica
Universitatis Tamperensis, vol. 1744. http://urn./URN:ISBN:978-952-03-0310-5
Salton, G. (1968). Automatic Information Organization and Retrieval. New York, NY: McGraw-
Hill.
Smith, C.L. & Kantor, P.B. (2008). User adaptation: good results from poor systems. Teoksessa:
Sung Hyon Myaeng & al. (Eds.), Proceedings of the 31st annual international ACM SIGIR
conference on Research and development in information retrieval (SIGIR '08). New York,
NY: ACM, 147–154. https://doi.org/10.1145/1390334.1390362
Sormunen, E. (2000). A Method for Measuring Wide Range Performance of Boolean Queries
in Full-Text Databases. Tampere: Tampere University Press, Acta Electronica Universitatis
Tamperensis, vol. 34. http://urn./urn:isbn:951-44-4732-8
Turpin, A. & Scholer, F. (2006). User performance versus precision measures for simple search
tasks. Teoksessa: Efthimiadis, E. & al. (Eds.), Proceedings of the 29th annual international
ACM SIGIR conference on Research and development in information retrieval (SIGIR '06).
ACM, New York, NY, USA, 11–18. https://doi.org/10.1145/1148170.1148176
Vakkari, P. (2001a). A theory of the task-based information retrieval process: a summary
and generalization of a longitudinal study. Journal of Documentation, 57(1), 44–60.
https://doi.org/10.1108/EUM0000000007075
Vakkari, P. (2001b). Changes in search tactics and relevance judgments in preparing a research
proposal: A summary of ndings of a longitudinal study. Information Retrieval, 4(3/4), 295–
310. https://doi.org/10.1023/A:1016089224008
Vakkari, P. & Huuskonen, S. (2012). Search eort degrades search output but improves task out-
come. JASIST, 63(4), 657–670. https://doi.org/10.1002/asi.21683
Vakkari, P. & Kuokkanen, M. (1997). Theory growth in information science: applications of the
theory of science to a theory of information seeking. Journal of Documentation, 53(5), 497–
519. https://doi.org/10.1108/EUM0000000007210
Wersig, G. (1973). Informationssoziologie: Hinweise zu einem informationswissenschaftlichen
Teilbereich. Frankfurt, Germany: Athenäum Fischer.
