Löytääkö tekoäly virheen, jota ihminen ei huomaa – vai käykö joskus päinvastoin? Hoitosuositustyössä vastaan tullut tapaus muistutti, että nopeiden vastausten aikakaudella tarvitaan kriittistä lukemista, menetelmäosaamista ja asiantuntijan tuottamaa hidasta tietoa.
Ennen kesälomaa yksi Käypä hoito -toimittajistamme otti minuun yhteyttä. Hän ehdotti, että tarkastelisimme yhdessä erästä julkaisua ja sen käyttökelpoisuutta suositustyössä. Tiedonhaussa työryhmä oli löytänyt aiheen kannalta keskeisiä hoitomuotoja vertailevan systemaattisen katsauksen ja verkostometa-analyysin. Katsaus oli julkaistu korkeatasoisessa lehdessä, jonka impact factor oli yli 50. Ensivaikutelma oli lupaava: julkaisu näytti tarjoavan aineistoa, jota voitaisiin hyödyntää myös hoitojen vaikuttavuuden visuaalisessa esittämisessä.
Tarkempi lukeminen muutti kuitenkin kuvan. Verkostometa-analyysin päätuloksia esittävässä taulukossa kaikkien tarkasteltujen hoitojen luottamusvälit näyttivät ulottuvan nollan molemmin puolin – hyödystä nollavaikutukseen tai jopa haittaan. Tämä on toki mahdollista, mutta epätodennäköistä, kun vertailussa on useita kymmeniä hoitomuotoja. Kun perehdyimme artikkelin lisämateriaalina julkaistuun Excel-taulukkoon ja GRADE-arviointeihin, epäluottamus kasvoi. Osassa tuloksista numerot olivat samoja kuin artikkelissa, mutta miinusmerkin puuttuminen tai esiintyminen muutti tuloksen merkityksen olennaisesti. Lisäksi useissa kohdissa vaikuttavuutta kuvaava piste-estimaatti ei sijoittunut luottamusvälin sisälle. Johtopäätös oli selvä: kyseistä katsausta ei voitu käyttää Käypä hoito -suosituksen laatimisessa, vaikka sen pohjalta oli jo julkaistu yksi kansainvälinen hoitosuositus.
Voimme vain arvailla, mitä prosessin aikana oli tapahtunut. Oliko verkostometa-analyysin tai artikkelin laatimisessa käytetty tekoälyä? Oliko vertaisarviointi toteutunut riittävän huolellisesti? Oliko tekijöiden asema tiedeyhteisössä vaikuttanut siihen, kuinka tarkasti julkaisu oli arvioitu? Varmaa vastausta emme tiedä. Mutta tapaus muistutti siitä, että arvostetussa lehdessä julkaistu artikkeli ei yksin takaa tulosten luotettavuutta.
Haluan nostaa tämän esimerkin esiin, koska tekoälyä käytetään myös tiedeyhteisössä yhä enemmän: kirjoittamiseen, kääntämiseen, yhteenvetojen laatimiseen ja aineistojen tarkasteluun. Päätin siksi kokeilla, tunnistaisiko ChatGPT katsauksen ongelmat. Keskustelu oli opettavainen.
Aluksi tekoäly vakuutti kohteliaasti, ettei artikkelin kuvan ja Excel-taulukon välillä ollut numeerisia ristiriitoja. Kun osoitin sille puuttuvan miinusmerkin, se kiitti huomiosta, korjasi vastauksensa ja tulkitsi virheen todennäköiseksi painovirheeksi. Seuraavaksi kysyin, löytyykö Excel-taulukosta piste-estimaatteja, jotka eivät sijoitu luottamusvälin sisälle. Taas tekoäly vastasi ensin kieltävästi. Kun osoitin yhden esimerkin, se myönsi havainnon oikeaksi ja tuloksen matemaattisesti mahdottomaksi sekä tarjoutui tarkistamaan koko aineiston systemaattisesti. Lopulta se raportoi löytäneensä 30 epäjohdonmukaista tulosta.
Ainakin tämän yhden esimerkin perusteella ihmisen hidas ajattelu voitti tekoälyn nopean vastauksen 6–0.
Tästä ei pidä päätellä, etteikö tekoälystä voisi olla hyötyä hoitosuositustyössä. Sen avulla olemmekin jo kehittäneet työkaluja, jotka nopeuttavat merkittävästi suosituksen ja sen materiaalien muokkaamista lausuntokierros- ja julkaisukuntoon. Olen myös toiveikas, että lähitulevaisuudessa meillä on työvälineitä, jotka nopeuttavat näytönastekatsausten laatimista. Mutta hyödynnämme näitä työkaluja osaavan asiantuntijan apuna – ei tämän korvikkeena.
ChatGPT:n kanssa käymäni keskustelun perusteella johtopäätökseni ovat seuraavat:
- artikkelien arviointiin pitää edelleen syventyä ja käyttää aikaa,
- tutkimustiedon luotettavuuden arvioinnin taidot ovat edelleen välttämättömiä, jolleivat jopa entistä tärkeämpiä,
- hidas tieto tulee nostaa kunniaan.
Hitaan tiedon käsitteen nappasin omaan sanavarastooni eräästä Duodecimin tapahtumasta. Sillä tarkoitetaan asiantuntijan tuottamaa arvioitua ja punnittua tietoa.
Onko hidas tieto sitten kuollut sukupuuttoon? Ei ole! Juuri tätä me Duodecimissa tuotamme yhdessä laajan asiantuntijajoukon kanssa.