3. Delfoi-kierrosten toteutus

eDelphi on kahdenkymmenen kehitysvuotensa aikana rakentunut etenkin laadullisen Delfoi-tutkimuksen verkkotyökaluksi, jossa painotetaan laaja-alaisen ja monitietoisen asiantuntijapaneelin vuorovaikutteista oppimisprosessia pelkän tiedonkeruun ja -kierrätyksen sijasta. Tällainen argumentatiivinen eDelphi-prosessi koostuu neljästä vaiheesta, jotka ovat

  1. Paneelin ja kyselyn laatiminen
  2. Asiantuntijapaneelin rakentaminen
  3. Delfoi-kierrosten toteutus
  4. Delfoi-tulosten analysointi, esittäminen ja raportointi

Kolmannessa osassa ollaan keskellä Delfoi-kierrosta, jossa kerätään panelistien tuottama aineisto, jota sitten viimeisessä osassa kuvataan, analysoidaan ja raportoidaan. Delfoi-kierroksen aikana aktivoidaan panelistit, mutta suorastaan proaktiivista aikaa se on myös paneelin managerille.

eDelphi-prosessin video-ohjeessa käydään ensin kertauksena edellisestä vaiheesta läpi, miten panelistit kutsutaan osallistumaan Delfoi-kierrokseen ja miten heitä manageroidaan. Toiseksi näytetään miten panelistien kyselyihin vastaamista on mahdollista seurata. Samoin on hyvä havainnoida sitä, jääkö asiantuntijamatriisiin aukkoja kierroksen edetessä. Päinvastoin kuin survey-tyyppisissä kyselyissä Delfoi-manageroinnissa suositaan aktiivista kommunikointia. Tavoitteena ei ole vain kerätä olemassa olevaa ja hajallaan eri asiantuntijayhteisöissä sijaitsevaa tietoa vaan myös muodostaan sitä panelistien välisessä vuorovaikutuksessa, jota tulee mahdolliseksi kun panelisti ensikertaisen vastaamisen lisäksi tutustuu muiden kommentteihin kommentoimalla niitä ja mahdollisesti myös tarkistamalla omaa alkuperäistä vastaustaan. Video-ohjeessa demonstroidaan kahta eri tekniikkaa osallistaa ja informoida panelisteja. Lopuksi kuvataan yksi mahdollinen tekninen ratkaisu siirtyä ensimmäiseltä kierrokselta toiselle.

Esimerkkinä käytetään Vernor Vingen jo neljännesvuosisata sitten luonnostelemaa neljää mahdollista reittiä päätyä teknologiseen singulariteettiin eli siihen, että ihmisen ja koneen muuttuvasta suhteesta rakentuu uusi evoluutiovaihe, jossa koneen merkitys ohittaa ihmisen kyvyt. Aihevalinta ei ole kannanotto singulariteettiin vaan taktinen päätös valita teema, joka ei ihan heti muutu menneisyydeksi. Video-ohjetta varten on luotu avoin Delfoi-paneeli osoitteeseen https://www.edelphi.org/ihminen-plus, jossa on kaksi kyselyä. Niistä jälkimmäinen “Tekoäly oppimisessa” on kopio vuonna 2017 toteutun Dare to Learn-paneelin yhdestä kyselystä. Delfoi-manageroinnin esittelyyn tarvitaan paneeli, jossa on autenttista aineistoa. Video on Youtubessa https://youtu.be/ABNVn5Ljj78 .

Panelistien kutsuminen

Avaa paneelisi Hallinnointi-sivu. Sivun oikeassa alareunassa näet otsikon Käyttäjät ja sen alapuolella kohdan Kutsu/liitä käyttäjiä. Klikkaa sitä.

Eteesi aukeaa näkymä Käyttäjien kutsuminen paneeliin. Oikealla puolella näet paneeliin liitetyt panelistit. Vasemmassa yläreunassa näet kohdan Kutsu/Liitä käyttäjiä. Tätä kautta voit kutsua yksittäisiä käyttäjiä paneeliin. Kirjoita otsikon alapuolella olevaan kenttään kutsuttavan panelistin tai panelistien sähköpostiosoitteet yksi kerrallaan. Kun ohjelma tarjoaa oikeaa sähköpostiosoitetta, klikkaa sitä. Kutsuttavien panelistien sähköpostiosoitteet ilmestyvät kohtaan Kutsuttavat käyttäjät.

Käyttäjille lähetettävä kutsu -kohdassa voit muokata kaikille uusille panelisteille lähetettävää kutsua. Kutsu kannattaa räätälöidä paneeliin sopivaksi. Hakasuluissa olevat tiedot päivittyvät automaattisesti. Älä muokkaa tai poista kohtaa Hyväksymislinkki. Sen kautta uudet panelistit pääsevät liittymään paneeliin. Sen sijaan kirjerungon lopuksi on osa, jossa ohjataan linkkiin jossa kieltäydytään paneelista. Sitä käytetään vain siinä harvinaisessa poikkeustapauksessa, että panelistin kanssa ei ole etukäteen sovittu osallistumisesta. Tätä tekstiosaa ei kannata jättää kutsuun, sillä panelisti saattaa klikata sitä myös vahingossa ja se eliminoi vastaajan lopullisesti. Manageri ei kiellon jälkeen pysty kutsumaan samaa panelistia uudelleen ilman koodarin maksullista apua.

Kohdasta Kutsun hyväksyminen sivulle voit määritellä, mille sivulle hyväksymislinkki vie. Oletusasetuksena on paneelin etusivu. Mikäli paneelissa on useita kyselyitä ja haluat panelistin vastaavan niistä yhteen, valitse kyseinen paneeli oletukseksi.

Klikkaamalla kohtaa Liitä käyttäjät suoraan, valituille panelisteille ei lähetetä kutsua, joka heidän täytyisi hyväksyä, vaan heidät liitetään paneeliin suoraan. Tässä tapauksessa eDelphi ilmoittaa panelistin tai panelistijoukon salasanan näytön ylälaidassa. Ota salasana talteen, jos ja kun haluat myöhemmin opastaa panelisteja muuttamaan omaa salasanaansa.

Kun olet valmis, klikkaa kohtaa Lähetä kutsu.

Hetken päästä panelisti saa kutsun sähköpostiinsa. Klikkaamalla kutsulinkkiä panelisti pääsee suoraan managerin määrittämälle paneelin sivulle. Panelistin ei tarvitse ensin kirjautua sisään eDelphi-ohjelmaan.

Jos haluat liittää paneeliisi kerralla ison joukon panelisteja, voit tehdä sen vaivattomasti tekemällä heidän sähköpostiosoitteistaan csv- tai txt-tiedoston. Voit tehdä sen esimerkiksi google-taulukon kautta kirjoittamalla sähköpostisoitteet jokaisen omalle rivilleen ilman välimerkkejä, ja lataamalla tiedoston csv-muotoon. Voit tehdä saman googledocsin kautta, jolloin tiedostotyyppi on txt. Vastaavat toimenpiteet onnistuvat samoin määrityksin Excelissä ja Wordissa. Tärkeä lisävinkki on se, että järjestelmä ei hyväksy ääkkösiä, jotka on ensin poistettava vastaajien etu- ja sukunimistä. Sähköpostiosoitteista ääkkösiä ei ole.

Kun olet luonut csv- tai txt-tiedoston, mene paneelisi Hallinnointi-sivulle. Sivun alalaidassa on kohta Käyttäjät, ja sen alla kohta Kutsu/liitä käyttäjiä. Klikkaa kohtaa.

Sivun vasemmassa reunassa näet otsikon Kutsu/liitä käyttäjiä, ja sen alapuolella kohdan Csv-tiedosto. Klikkaa kohtaa lataa tiedosto. Valitse omista tiedostoistasi luomasi csv- tai txt-tiedosto ja klikkaa sen jälkeen kohtaa Lataa csv. Näet nyt kaikki tiedoston sähköpostiosoitteet Kutsuttavat käyttäjät -otsikon alla. Voit kutsua panelistit klikkaamalla sivun alalaidassa kohtaa Lähetä kutsu, kunhan ensi olet muotoillut panelisteille lähtevän kirjerungon.

Vastaamisen seuranta

Jos haluat tarkastella, kuinka moni ja ketkä panelistit ovat vastanneet yksittäiseen kyselyyn, voit tarkastaa sen kyselykohtaisesta seurannasta.

Avaa paneelin Hallinnointi -välilehti. Prosessi -otsikon alla näet kohdan Kyselykohtainen seuranta. Klikkaa sitä.

Eteesi aukeaa sivu Kyselykohtainen seuranta. Sen vasemmalla puolella näet otsikon Kyselyt. Valitse sen alapuolelta se paneelisi kysely, jonka käyttötietoja haluat tarkastella. Sivun oikealla puolella näet nyt kyselyn vastaajien tiedot. Panelistit on listattu lähtökohtaisesti aakkosjärjestykseen. Nimen perässä näet, milloin panelisti on kirjautunut viimeksi paneeliin ja milloin hän on vastannut kyseiseen kyselyyn. Klikkaamalla kohtaa Viimeisin kirjautuminen panelistit järjestetään kirjautumisajankohdan mukaan, joko aikaisimmasta viimeisimpään ja viimeisimmästä aikaisimpaan. Klikkaamalla kohtaa Vastausaika panelistit järjestetään kyselyyn vastausajankohdan mukaan.

Kyselyseurannan lisäksi paneeliin kirjautumisen tilaa voit seurata panelistien kirjautumisstatuksen mukaan. eDelphi jakaa panelistit eri ryhmiin sen mukaan miten heidät on liitetty paneeliin ja ovatko he reagoineet siihen.

Avaa paneelin Hallinnointi -välilehti. Prosessi -otsikon alla näet kohdan Kutsu/Liitä käyttäjiä. Klikkaa sitä.

Näytön oikealle puolelle on ryhmitelty paneelin jäseniä sen mukaisesti, miten heitä on kirjattu paneeliin ja miten he ovat siihen reagoineet. Jos manageri on liittänyt panelistin paneeliin kutsumatta (ilmoittamatta) siitä erikseen heitä sähköpostilla niin he kuuluvat otsakkeen MANAGERIN LIITTÄMÄT KÄYTTÄJÄT -alaiseen alaryhmään. Jos he taas ovat itse kirjautuneet paneeliin - se on mahdollista avoimessa paneelissa - niin otsakevinjetti on REKISTERÖITYNEET KÄYTTÄJÄT. Silloin kun manageri on kutsunut panelistit eDelphin kutsupostilla, listataan heidät otsakkeen ODOTTAA KUTSUN HYVÄKSYNTÄÄ alle. Sen jälkeen kun he hyväksyvät kutsun eli klikkaavat itsensä paneeliin niin status muuttuu: KUTSUN HYVÄKSYNEET KÄYTTÄJÄT. Kullekin ryhmälle voit lähettää postia klikkaamalla otsikon vieressä olevaa linkkiä: LÄHETÄ UUSI KUTSU KAIKILLE. Postin voi lähettää myös panelistikohtaisesti. Esimerkkitilanteessa kaikki tilavaihtoehdot eivät ole näkyvissä.

Valitaan se tavallisin tilanne, jossa viestintä kohdistetaan niihin panelisteihin, jotka eivät ole vastanneet. Hae näytön oikealta laidalta panelistien tilaotsikko ODOTTAA KUTSUN HYVÄKSYNTÄÄ ja klikkaa linkkiä LÄHETÄ UUSI KUTSU KAIKILLE! Esimerkkitapauksessa on se mukava tilanne, että kaikki on yhtä kuin vain yksi panelisti. Nyt voit räätälöidä sivun vasemmalla puolella olevaa viestipohjaa tilanteeseen sopivaksi. Viestin voi aina lähettää myös dokumentiksi itselle. Valitse sitten kohdasta KUTSUN HYVÄKSYMINEN VIE SIVULLE se kysely, johon haluat panelistit kutsua, tässä tapauksessa Tekoäly oppimisessa. Klikkaa lopuksi Lähetä kutsu-painiketta.

Aktiivista kommunikointia

Paneelin managerilla on kaksi selkeää informaatiopoliittista linjaa, joiden pohjalta viestiä paneelin kanssa. Toinen perustuu paneelin rakenteeseen ja vastaamisten seurantaan. Tätä toimintalinjaa demonstroitiin jo edellisessä kohdassa. Toinen linja perustuu niihin jakaumiin ja kommentteihin, joita kysymyksiin ja kyselyihin kertyy. Niistä on mahdollista nostaa kiinnostavia “uutisia”, joilla motivoidaan panelisteja osallistumaan.

Seurannan perusteella manageri arvioi tarpeen kommunikoida paneelin eri osaryhmien kanssa. Perusseurantaan kuuluu luonnollisesti jako vastanneisiin ja vastaamattomiin. Viestintä heille kannattaa siis aina eriyttää. Vastanneita muistetaan kiittää kertomalle heille etenemisestä ja tulosten kehittymisestä. Informointi on tietysti erityisen tärkeää vastaamattomille, joihin voidaan vedota esimerkiksi heidän asiantuntijuutensa ainutlaatuisuuden takia. Molemmille ryhmille säännön- ja suunnitelman mukainen posti on tärkeää senkin takia, että joka kerta kun posti kolahtaa panelistin postilaatikkoon siinä kulkee mukana myös suoralinkki paneeliin.

Jos jonkun alaryhmän kohdalla on aliedustusta. on sille syytä viestiä erikseen ja vedota argumentointiin, jotka ovat ryhmän intressien mukaisia. Yksilöllinen postitus on tehokkainta varsinkin silloin, kun on jotain sisältöä jolla personoida viesti. Tärkeää on tunnistaa, että ensimmäisen vastauksen saaminen on vasta välitavoite. Argumentatiivisessa paneelissa lopullinen tavoite on saada panelistit useamman kerran osallistumaan ja kommentoimaan myös muiden panelistien kommentteja ja mahdollisesti myös muuttamaan myös omia vastauksiaan. Molemmat piirteet ovat tunnusmerkkejä siitä, että asiantuntijajoukko on oppivassa tilassa ja Delfoi-kierroksen tulos on enemmän kuin pelkkä erillisten näkemysten kokoelma.

Paneelin “uutisia” voi etsiä samalla tavalla kuin Delfoi-kierroksen jälkeen tarkastellaan ja analysoidaan kyselyiden tuloksia. Avaa paneelisi Hallinnointi-sivu. Prosessi-otsikon alla näet kohdan Kyselyiden tulokset. Klikkaa sitä. Sivun vasemmassa reunassa näet kaikki paneelisi kyselyt. Klikkaa sen kyselyn nimeä, jota haluat tarkastella.

Eteesi aukeaa Kyselyiden tulokset -sivu (Tekoäly oppimisessa -kysely). Sivun vasemmassa reunassa näet kaikki valitsemasi kyselyn teesit sekä muut paneelisi kyselyt. Ennen varsinaista raporttia on joukko asetusoptioita, joilla manageri voi muokata raporttia. Ylimpänä näkyy paneelin asiantuntijamatriisi, joka paljastaa onko aineistossa asiantuntijuusaukkoja. Se on tärkeä tieto kun kohdennetaan viestintää. Matriisin ja ryhmittelyn avulla on myös mahdollista rajata tarkasteltavaa joukkoa alaryhmiin. Se miten se tapahtuu on tarkemmin neuvottu seuraavassa kohdassa.

“Tilanneuutisia” voi metsästää selaamalla raportti kysymys kysymykseltä. Lupaavia ovat kysymykset, joissa vastaajien valinnat hajautuvat molempien tai jommankumman kriteerimuuttujan mukaan. Silloin on yleensä kyse siitä, että panelistien käsitykset tulevasta kehityksestä poikkeavat toisistaan ja on tarpeen syventää keskustelua ja argumentointia erilaisten tulevaisuuksien puolesta ja vastaan. Erojen tarkastelu on useimmista helpompaa jos vaihtaa 2D-graafit 1D-diagrammeiksi. Tehdään se klikkaamalla rasti ruutuun 2D-graafit 1D-graafeina ja kuittaamalla valinta PÄIVITÄ-painikkeesta.

Selataan kyselyä ensimmäiseen kysymykseen big datasta, joka heti vaikuttaa lupaavalta. Paneeli on jakautunut kahtia todennäköisyysarvion mukaan. Jatketaan kuitenkin vielä selaamista eteenpäin kunnes päädytään kysymykseen eriarvoisuudesta. Siinäkin paneeli halkeaa kahtia todennäköisyyden mukaan, mutta on lähes yksimielinen epätoivottavuuden suhteen. Kyseessä on dystopiaväite, joka puolen paneelin mielestä on toteutumassa. Se on tilannekuva, joka kannattaa kertoa paneelille ja pyytää sitä jatkamaan ja syventämään keskustelua.

Kutsun voi vaihteeksi lähettää Hallinnointi/Lähetä sähköpostia -toiminnolla. Tämän toiminnon huonona puolena on se, että viestin mukana ei kulje paneelin johtavaa linkkiä. Toinen heikkous on se, ettei sähköpostin lähetyslista tue alaryhmittymisiä.

Tulosten tilannetarkastelu

Palataan kyselyiden tuloksiin. Sivun yläreunassa näet otsikon SUODATA. Sen alla olevista kohdista voit valita, millä määrityksillä ja rajauksilla tulokset suodatetaan. Kohdasta INTRESSIT JA ASIANTUNTIJUUDET voit valita, minkä asiantuntija- ja asianosaisryhmän tai -ryhmien tulokset eDelphi-ohjelma näyttää. Tämä edellyttää, että olet tehnyt paneeliisi panelistimatriisin. Aktivoi klikkaamalla haluamasi solut matriisissa. Kohdasta KÄYTTÄJÄRYHMÄT näet listattuna kaikki luomasi panelistiryhmät. Pidä aktivoituna se ryhmä tai ne ryhmät, joiden tuloksia haluat tarkastella. Kohdasta MUUT ASETUKSET valitset, näkyvätkö tulosgrafiikat 1D- vai 2D-muodossa. Oletusarvo on pallografiikkaan perustuva 2D-muoto. Kun olet valinnut haluamasi suodattimet, klikkaa kohtaa Päivitä.

Määritysten jälkeen voit tarkastella suodatettuja tuloksia eDelphi-ohjelmassa. Kunkin teesin alla näet graafisessa muodossa vastausten tulokset. Graafin alapuolella näet järjestyksessä kaikki panelistien vastaukset yhdistettynä kommentteihin, kuten jo edellisessä kohdassa kävi ilmi. Voit myös viedä raportin PDF-dokumentiksi tai Google-dokumentiksi. Suodattimien alla näet otsikon VIE RAPORTTI. Kohdasta Raportin sisältö valitset, haluatko raportin PDF-muodossa vai Google-dokumenttina. Kohdasta Raportin kuvat valitset, missä tiedostomuodossa haluat raportin grafiikat. Kohdasta Raportin data valitset, haluatko raportin datan CSV-tiedostona vai Google-taulukkona. Myös pelkät Kommentit voi ladata. Raportin vieminen dokumentiksi kestää hetkisen riippuen siitä, kuinka laaja vastausaineisto on.

eDelphissä on myös erillinen raporttien vertailumahdollisuus. Avaa paneelin Hallinnointi -välilehti. Prosessi -otsikon alla näet kohdan Raporttien vertailu. Klikkaa sitä.

Eteesi avautuu kahteen ikkunaan jaettu näyttö, jossa voidaan vertailla suodatettua raporttia koko aineistoon tai toiseen suodatettuun raporttiin. Valitaan kyselyksi “Singulariteetti” ja suodatetaan toiseen raporttiin 1. sektorin vastaajat ja toiseen 2. sektorin panelistit. Kummankin raportin voi viedä ja raportoida normaaliin tapaan. Raporttien vertailu-toiminnosta palataan hallinnointitilaan selaimen pakita-toiminnolla.

Delfoi-kierroksen aikana kiinnostavia poimintoja ovat etenkin kysymykset, jotka jakavat vahvasti paneelia. Se viestii siitä että ne ovat kiistatilassa, jolloin monipuolinen argumentointi ja keskustelu on erityisen tarpeellista. Ristiriita on usein myös hyvä pohja kierroksen aikaiselle uutisoinnille. Tiedottamisen lisäksi managerilla on käytettävissään myös muita “dramaturgisia” keinoja.

Paneelin fasilitointi

Tavallisin Delfoi-kierroksen käsikirjoitus on käynnistää kysely siten, että vastaajat eivät näe muiden vastauksia vaan vastaavat itsenäisesti. Kierroksen toisella viikolla - ellei jo aikaisemmin - kyselyt sitten avataan, jota käytetään myös paneelin motivoimisessa uudelleenvastaamiseen.

Kyselyitä on mahdollista myös avata ja sulkea. Toisinaan käytetään avaavaa ja suppeaa kyselyä, johon vastaamisen jälkeen vasta avataan uusia kyselyitä. Valmiin kyselyn piilottaminen panelisteilta onnistuu klikkaamalla kyselyn nimen vieressä olevaa silmä-ikonia. Samalla tavalla voidaan menetellä myös yksittäisten kysymysten suhteen, jotka voivat olla avoinna tai suljettuina. Kullakin kysymyksellä on neljä eri optiota: näkyvissä, kommentoitavissa, keskustelu näkyvissä, ja vastaukset näkyvissä.

Kysymykset on mahdollista myös järjestää uuteen järjestykseen missä tahansa kierroksen vaiheessa. Esimerkiksi kun halutaan keskustelun keskittyvän tiettyyn kysymykseen niin “raahataan” se kyselyn ensimmäiseksi.

Muistetaan myös se, että manageri voi kohdistaa kutsun paneelin etusivun sijasta myös suoraan tiettyyn kyselyyn. Hyviä kokemuksia on saatu myös siitä, että jossain Delfoi-kierroksen vaiheessa - usein loppupuolella - järjestetään “kuuma hetki” eli 1-2 tunnin hetki, jolloin erityisesti toivotaan osallistumista.

Jatkokierrokset

Delfoi-menetelmä on alun perin perustunut iteraatioon eli tiedon kumulatiiviseen ja vaiheittaiseen kerryttämiseen. Nykyteknologialla siinä ei välttämättä tarvita useita Delfoi-kierroksia vaan iteraatio toteutetaan ns. yhden kierroksen ratkaisuna. Tälle metodivariaatiolle on vakiintunut oma konseptinsa Real-Time Delphi, jonka käyttö on viime vuosina voimakkaasti lisääntynyt. Real-Time Delphi on nopea toteuttaa eikä kuormita panelisteja niin paljon kuin kierrosten kautta muodostuva Delfoi-prosessi. Kierroksettomassakin Delfoissa on mahdollista kierroksen loppupäässä tuottaa uusia kysymyksiä siitä kommenttiaineistosta, jota panelistit ovat tuottaneet.

Tavallisin Delfoi-muoto on toki edelleen kierrostaminen 2-4 vaiheeseen, joissa kussakin luodaan uusi tai edellisestä kierroksesta muokattu uusi kysely tai kyselyjä. Siihen on käytettävissä erilaisia eDelphi-tekniikoita, joista ehkä käytetyin on se, että ensimmäinen kierros kopioidaan datoineen toisen kierroksen pohjaksi, josta sitten poistetaan ne kohdat, joissa ensimmäinen kierros on jo antanut selkeän tuloksen esimerkiksi paneelin suhteellisen konsensuksen kautta.

Kopioidaan ensimmäisen kierroksen kysely “Tekoäly oppimisessa” sen oikealla puolella olevan ikonin avulla. Se käynnistää dialogi-ikkunan, jossa valitaan uuden kyselyn nimeksi Toinen kierros ja kysely kloonataan datan kanssa. Kopioidusta kyselystä poistetaan ne kysymykset, jotka eivät jatka toiselle kierrokselle. Jotta kysymykset voi poistaa, pitää niiden data ensin tyhjentää Kyselyiden tulokset-sivulta, klikkaamalla poistettavan kysymysten viereistä roskakori-ikonia. Kun data on tyhjennetty, siirrytään kyselyn muokkaustilaan ja poistetaan eliminoitavat kysymykset ja luodaan uusia niiden tilalle.

Toiselle kierrokselle äänestykseen otetaan sitten ne osat, joissa prosessi on selvästi kesken. Uusia kysymyksiä rakennetaan panelistien kommenteista, joita otetaan toisella kierroksella äänestykseen. Esimerkkikyselyn eriarvoistumiskysymyksessä heti ensimmäinen kommentti “Tekoäly voi olla merkittävä tekijä yhteiskunnallisessa eriarvoistumisessa.” on potentiaalinen uusi kysymys. Tehdään siitä lievästi muotoillen uusi väite, josta paneeli pääsee äänestämään seuraavalla kierroksella: “Tekoäly on merkittävä eriarvoistumista lisäävä tekijä v. 2030.”

Usein toisella kierroksella tutkimus laajenee ja suuntautuu, kun taas kolmannella kierroksella se syvenee kaikista keskeisimpiin kuumiin kysymyksiin. Mahdollinen neljäs kierros on usein ns. palautekierros, jossa manageri pyytää panelisteja arvioimaan paneelin keskeisiä tuloksia ja johtopäätöksiä.

Prosessin lopuksi paneeli suljetaan ellei sitä käytetä mediasivuna paneelin tuloksille kuten usein tapahtuu. Oma erityistapauksensa ovat barometrityyppiset paneelit, joissa tiedon keruu ja muodostuminen uusiutuu säännöllisin väliajoin.