4. Tulosten analysointi, esittäminen ja raportointi

eDelphi on kahdenkymmenen kehitysvuotensa aikana rakentunut etenkin laadullisen Delfoi-tutkimuksen verkkotyökaluksi, jossa painotetaan laaja-alaisen ja monitietoisen asiantuntijapaneelin vuorovaikutteista oppimisprosessia pelkän tiedonkeruun ja -kierrätyksen sijasta. Tällainen argumentatiivinen eDelphi-prosessi koostuu neljästä vaiheesta, jotka ovat

1. Paneelin ja kyselyn laatiminen
2. Asiantuntijapaneelin rakentaminen
3. Delfoi-kierrosten toteutus
4. Delfoi-tulosten analysointi, esittäminen ja raportointi

Neljännessä osassa tarkastellaan mitä apuja eDelphi tarjoaa Delfoi-kyselyjen aineistojen analysointiin, raportointiin ja esitysmateriaalien tekoon. Aloitetaan raportoinneista, koska ne ovat käytettävissä ja jaettavissa heti kun aineisto on kerätty ja paneeli suljettu. eDelphin tuottamasta grafiikasta on apua paitsi raportointiin myös tutkimusprojektia esittelevien esitysten tekemisessä Analyysissä tärkeää on tunnistaa ja rakenteistaa eroja, mitä on erilaisten tulevaisuuksien arvioinnissa ja argumentoinnissa. Sitä tehtävää helpottaa eDelphin kyky laittaa argumentit järjestykseen sen mukaan, miten asteikolla tai aikasarjassa on vastattu. Toinen tärkeä analyysikeino on jakaa tutkimusaineistoa eri kriteereiden perusteella osajoukkoihin, joiden vastauksia voi verrata keskenään.

Paneelin alaryhmien havainnolliseen vertailuun on kehitetty erillinen analyysitoiminto, jossa vertailu tapahtuu reaaliaikaisesti kahden vertailuikkunan avulla. Vaativimmat analyysit tapahtuvat eDelphin ulkopuolella sisällön- tai tilastoanalyyseissä. Sitä varten eDelphissä on mahdollisuus viedä aineistoa eri muodoissa jatkoanalysoitavaksi teksti- ja taulukkomuodoissa. Eri jatkoanalyysejä on esitelty Delfoi-kehittäjäyhteisön kuukausittaisissa työpajoissa ja verkkoympäristössä http://edelfoi.ning.com .

Esimerkkiaineistona käytetään edellisten ohjevideoiden tapaan Ihminen Plus -paneelia ks. (https://www.edelphi.org/ihminen-plus), mutta tällä kertaa tarkasteltavana on “Tekoäly oppimisessa” -kysely, jonka aineisto on kopioitu vuonna 2017 toteutetusta Dare to Learn -projektista (ks. https://metodix.fi/2017/09/06/dare2030/) .

Delfoi-kyselyn voi sellaisenaan viedä kahdella tavalla tiedostoksi sen lisäksi että raportti on ladattavissa suoraan näytölle seuraavan prosessin kautta.

Avaa paneelisi Hallinnointi-sivu. Prosessi-otsikon alla näet kohdan Kyselyiden tulokset. Klikkaa sitä. Eteesi aukeaa Kyselyiden tulokset -sivu. Sivun vasemmassa reunassa näet kaikki paneelisi kyselyt. Klikkaa Tekoäly oppimisessa -kyselyä, jonka jälkeen raportti latautuu näytölle. Jos aineisto on suuri, latautuminen saattaa kestää jonkin aikaa. Voit vaihtaa tarkasteltavaa teesiä tai kyselyä klikkaamalla nimen viereistä Näytä raportti-ikonia. Mikäli haluat viedä kyselyn tilannetulokset paperilla tarkasteltavaksi niin VIE RAPORTTI PDF- tiedostoksi.

Ennen varsinaista raporttia on joukko asetusoptioita, joilla manageri voi muokata raporttia. Ylimpänä näkyy paneelin asiantuntijamatriisi, joka paljastaa onko aineistossa asiantuntijuusaukkoja. Se on tärkeä tieto kun kohdennetaan viestintää. Matriisin ja ryhmittelyn avulla on myös mahdollista rajata tarkasteltavaa joukkoa alaryhmiin. Se miten se tapahtuu on tarkemmin neuvottu seuraavassa kohdassa.

Raportin kommenttiaineisto järjestyy automaattisesti kriteerimuuttujan mukaisesti alenevaan järjestykseen. Tämä helpottaa erityisesti 1D-, 2D ja aikasarja- eli trendikysymysten analyysia. Ensimmäiseksi ryhmitellään kommentit, joissa asteikolta on valittu positiivisin arvo ensimmäisen kriteerimuuttujan mukaan. Esimerkkitapauksessa todennäköisyysarvio on silloin +++ samoin kuin toivottavuuskin. Viimeisenä tulevat arviot, joissa sekä todennäköisyys että toivottavuus on - - - .

Toinen raportointimuoto on viedä aineisto Google-dokumentiksi. Tähän tarvitaan Google-tunnus ja sähköposti. Raportti on muotoiluja lukuunottamatta tällöinkin identtinen näyttöraportin kanssa. Olennaista on, että raporttiformaatti on tekstinkäsittelytilassa, jossa voi poistaa, lisätä ja muokata kaikkea aineistoa. Wordin käyttäjät vaihtavat vientitoiminnon avulla tiedoston heille tutumpaan ympäristöön. Google-dokumentin vahva puoli on maksuttomuuden lisäksi se, että se pilvipalveluna mahdollistaa yhteistoiminnan tutkimusraportin käsittelyssä.

Asteikkokysymyksissä kuten myös aikasarjakysymyksissä aineisto on mahdollista panna yksiselitteiseen järjestykseen sen mukaan, minkä valinnan panelistit ovat tehneet. Asteikkovalinta ennakoi erilaisia valintoja myös tulevaisuuksien suhteen ja niiden perusteluja haetaan asiantuntijoiden kommenteista.

Delfoi-kierroksen aikana kiinnostavia poimintoja ovat etenkin kysymykset, jotka jakavat vahvasti paneelia. Se viestii siitä että ne ovat kiistatilassa, jolloin monipuolinen argumentointi ja keskustelu on erityisen tarpeellista. Vastausten hajonnan perusteella tulevaisuusväitteiden tilan voi karkeasti jakaa kolmeen tilaan: kiista, dialogi ja ratkaisu. Ratkaisutilassa vastaukset keskittyvät vahvasti asteikon yhteen kohtaan ja hajonta on pieni. Dialogitilassa hajontaa on suhteellisen tasaisesti pitkin asteikkoja, kun taas kiistatilassa asetelma on polarisoitu ja vastaukset kasautuvat asteikon laidoille ns. kaksikyttyräisen kamelin muodon mukaan.

Kiistatilassa näkemykset ja argumentit tulevasta kehityksestä polarisoituvat oppimisen kannalta tärkeässä asiassa usein tunnepitoiseksi riitakysymykseksi. Dialogivaiheessa

käsitykset tulevasta kehityksestä jakautuvat moniksi näkökulmiksi ja tulevaisuuspoluiksi, jotka on mahdollista ja tarpeen ottaa yhteiseen keskusteluun. Ratkaisutilassa panelistit ovat tulevaisuusväitteestä suhteellisen yksimielisiä. Pääkysymykseksi muodostuukin se, milloin ja miten muutos tapahtuu.

Usein kiistakysymykset ovat niitä, joita monen kierroksen Delfoissa syvennetään toisella kierroksella. Vastaavasti ratkaisutilassa olevat kysymykset voi tavallaan merkitä jo tuloksiksi ensimmäisen kierroksen jälkeen.

Järjestykseen asettamisesta seuraa yksinkertaisimpana analyysikeinona paneeliaineiston halkaiseminen kahtia kummankin kriteerin suhteen. Hieman työläämpää on järjestää aineisto nelikentäksi kriteerimuuttuja-arvojen mukaan.

Jos pallografiikka jaetaan neljään yhtä suureen osaan niin silloin siinä on oikealla ylhäällä argumentit, joissa tulevaisuusväitettä pidetään sekä todennäköisenä että toivottavana (++). Vasemmalla alhaalla ovat argumentit, jossa väitteestä ollaan päinvastaista mieltä eri pidetään sitä epätodennäköisenä ja ei-toivottavana (- -). Vasemmalla ylhäällä ovat perustelut, joiden mukaan väitetulevaisuus on toivottava mutta epätodennäköinen (- +). Vastaavasti oikealla alhaalla ovat argumentit, joissa tulevaisuus näyttäytyy todennäköisenä mutta ei toivottavana (+ -). Jos argumentit halutaan yksiselitteisesti saada sijoitetuksi johonkin neljästä vaihtoehdosta niin asteikot pitää tehdä parillisiksi, jolloin ei ole mahdollisuutta vastata keskelle. eDelphin likert-asteikon oletusarvo on seitsemän (7), joten sitä pitää muokata.

Aineiston järjestämisestä ei ole pitkä matka aineiston skenarointiin, johon on useitakin mahdollisia metodisia ratkaisuja tulevaisuustaulukoinnista tilastomatemaattiseen ryhmittelyanalyysiin, joka tunnetaan paremmin englanninkielisellä nimellä Cluster Analysis. Näistä vaihtoehdoista on tarjolla tietoa ja tukea Delfoi-yhteisön pajoissa ja verkkopalveluissa.

Olennainen osa tulosten analysointia on vertailla eri ryhmien vastauksia toisiinsa. Sen mahdollistaa se, että koko paneelin aineisto on mahdollista osittaa monin eri tavoin.

Raportin ulkoasuun voit siis vaikuttaa suodattamalla tulokset koskemaan vain osaa paneelista. Asiantuntijamatriisista voi osittaa tarkasteltavaksi minkä tahansa solun tai soluryhmän. Samoin jos manageri on määrittänyt paneelille käyttäjäryhmiä niin niiden perusteella voi myös tehdä rajauksia. Jos kyselyssä on mukana taustamuuttujia niin myös niiden perusteella paneeli voidaan jakaa osaryhmiin.

Tärkeä yksityiskohta on se, että 2D-kysymysten kohdalla on mahdollisuus vaihtaa kaksiulotteinen pallografiikka kahdeksi pylväsdiagrammiksi. Vaihtoehto on usein kaksidimensionaalista grafiikkaa havainnollisempi tapa arvioida paneelin käsitysten hajonnan eroja todennäköisyyden ja toivottavuuden - jos ne ovat käytetyt kriteerimuuttujat - suhteen. Pylväsdiagrammikuvaus pannaan päälle klikkaamalla kohtaa “Näytä 2D-graafit 1D-graafeina”. Rastituksen jälkeen klikkaa PÄIVITÄ-painiketta ja odota hetki kun uudet kuvat latautuvat.

eDelphissä on myös erillinen raporttien vertailumahdollisuus. Avaa paneelin Hallinnointi -välilehti. Prosessi -otsikon alla näet kohdan Raporttien vertailu. Klikkaa sitä.

Eteesi avautuu kahteen ikkunaan jaettu näyttö, jossa voidaan vertailla suodatettua raporttia koko aineistoon tai toiseen suodatettuun raporttiin. Valitaan kyselyksi “Tekoäly oppimisessa” ja suodatetaan ensimmäiseen raporttiin EKONOMIA- ja TEKNOLOGIA-sektorin edustajat, joiden tuloksia verrataan toisessa ikkunassa koko aineistoon. Kummankin raportin voi viedä ja raportoida normaaliin tapaan. Raporttien vertailu-toiminnosta palataan hallinnointitilaan selaimen pakita-toiminnolla.

Jos kyseessä on pitkäkestoinen barometrityyppinen Delfoi-prosessi niin vertailuja pitää päästä tekemään eri aikoina kerättyjen tietojen kesken. Sitä varten eDelphissä on mahdollisuus “aikaleimaukseen”. Kyselyiden tulokset-sivun alareunassa näet kohdan Paneelin leimat. Valitse ensin se aikaleima, minkä aikaisia tuloksia haluat tarkastella. Mikäli et valitse leimaa, näyttää raportti nykyhetken tilanteen. Paneelin “leimausta” käytetään toisinaan erottelemaan Delfoi-kierroksen eri vaiheiden tuloksia toisistaan. Paneelin voi aikaleimata kohdassa Hallinnointi/Paneelin leimat.

Jakaumatietoja voi viedä myös grafiikkakuviksi kolmessa eri muodossa: Lataa PNG-muodossa (yleinen standardi), Lataa SVG-muodossa (avoin kuvastandardi), ja Vie Google-kuviksi. PNG- ja SVG-formaattien osalta eDelphi toimii samalla tavalla eli grafiikat viedään ladattaessa yhtenä zip-tiedostona lataajan tietokoneelle, jossa tiedoston avaaminen purkaa kaikki kyselyn grafiikat erillisinä tiedostoina yhteen kansioon.

Kuvat voi tuoda tai copypasteta Powerpoint-esitysohjelmistoon tai sen maksuttomaan Google-versioon Google Slidesiin. Tämän video-ohjesarjan oheistuotteeksi on tehty kalvosarja Google Slidesiin http://bit.ly/2UBdvrr , johon grafiikkaa on tuotu ja joissakin tapauksissa myös piirroksin havainnollistettu tavalla, joka on analoginen tilanteeseen jossa manageri haluaa rakentaa esittelykalvot omalle Delfoi-tutkimukselleen.

Syvemmät jatkoanalyysit tehdään eDelphin ulkopuolella joko määrällisin tai laadullisin tekniikoin. Oli kyse kummasta tahansa niin tutkimusdata siirretään eDelphistä niitä varten taulukko- tai tekstiformaatissa. Tilastollisissa operaatioissa käytetään usein SPSS-ohjelmistoa (ks. http://spss.fi/), jonka avulla 2D-tyyppisistä kyselyistä on ajettu klusterianalyysiä käyttämällä skenaarioita. Tästä Petri Tapio on kehittänyt sofistikoidun Disaggregative Policy Delphi-tekniikan (ks. https://helda.helsinki.fi/handle/1975/274 ) Taulukkopohjainen aineisto sopii myös laadulliseen analyysiin esimerkiksi Atlas.ti-ohjelmistoa (ks. https://atlasti.com/) käyttäen. Se on yleisemmin eDelphin yhteydessä käytetty kvalitatiivinen työkalu, josta Delfoi-kehittäjäyhteisössä on hyviä kokemuksia.

eDelphissä data viedään taulukkomuodossa Google-taulukkoon. Formaatti on yhteensopiva Excelin ja SPSS:n kanssa. Taulukkoa joutuu yleensä dekoodaamaan ennen kuin siinä voi jatkaa analyysejä. Katsotaan yhtä taulukkoa (ks. http://bit.ly/2B8IFgM), joka on luotu Osaamisen ennakointifoorumin paneelin (ks. https://www.edelphi.org/oef) Signaalit-kyselyn jatkoanalyysiin. Se on jalostettu raakataulukosta muuntamalla esimerkiksi asteikossa käytetyt plussat ja miinukset numeeriseksi asteikoksi 1-7. Muuntamisessa käytetään hyväksi Google-taulukon “Etsi ja korvaa”-toimintoa. Jokaisen kysymyksestä on laskettu myös keskiluvut (keskiarvo ja keskihajonta). Kysymys- ja kyselykohtaisista tuloksista on luotu myös lukuisia diagrammeja.

Jos halutaan rakentaa kysymyksen vastauksista argumenttinelikenttiä niin tekstimuotoinen (Lataa CSV:nä) vienti on hyvä vaihtoehto. CSV on sopiva siirtomuoto siksi, ettei se sisällä mitään muotoiluja vaan kommenttilainaukset on helppo viedä eteenpäin analysoitavaksi tai esitettäväksi. Havainnollisuutta ja analyysityötä helpottaa se, että tässäkin tiedostomuodossa aineisto on järjestetty asteikkovastauksen - tai aikasarjavastauksen - mukaisesti alenevaan järjestykseen.