Chatbot

Test och utvärdering av chatbot på sjuksköterskeutbildningen

Under vårterminen -23 testades  ATEA-s chatbot LIlly.  Tillsammans med en produktspecialist från ATEA testades och utvärderades produkten utifrån syftet med projektet. 

Initialt genomfördes ett antal workshops som syftade till att förtydliga hur programmeringen av dialoger i IBM-s Watsonmodul går till.  Vi märkte tidigt att det normala samtalets komplexitet bidrar till att dialogprogrammeringen blir väldigt omfattande och tidsödande. Vid  första testet av Lilly programmerades ett kort strukturerat samtal där vi valde ett antal frågor som skulle generera ett fast svar. Vi märkte då att Googles molntjänst för talsyntes inte är tillräckligt känslig för variationer i talet, vilket resulterade i att Lilly ofta inte förstod vårt tal.  

Vid nästa test så programmerades boten till att kunna svara på ett antal frågor som är vanligt förekommade vid ett perioperativt samtal. Testen genomfördes tillsammans med tre stycken nakossjuksköterskor, väl förtrogna med att genomföra den här typen av samtal.  Under testet framkom det att flera av de grundläggande frågorna som ställs följs upp av flera följdfrågor baserade på de svar som lämnas av patienten.  Dessa frågor är starkt förknippade med vilken situation sjuksköterskorna befinner sig i.  Det gör att vi hamnar i en situation där vi  behöver komplettera programmeringen med ett antal följdfrågor som är svåra att förutspå. Talsyntesens brister gör även att simuleringen tappar när det gäller känslan av immersion. 

Utifrån  ovan beskrivna  brister valde vi att inte gå vidare med att testa Lilly på några studenter.  Detta beslut grundar sig  även  i ett problem med tillgängligheten eftersom Lilly är en produkt som endast kan användas på campus. Med de brister som presenterats här ovan så tror vi att det kan vara svårt att motivera studenter att resa till campus för att genomföra en simulering med en produkt som inte kan genomföra ett enkelt samtal. Produkten skulle möjligtvis kunna ha en plats i lärandet om den fanns i en webbaserad version. Då skulle studenterna med en kortare presentation av bristerna eventuellt kunna förbereda sig inför olika campus träffar. Det kan konstateras att chatboten Lilly idag inte är ett  användbart digitalt hjälpmedel till att träna svåra samtal.

Högskolan Väst

Klicka på bilden ovan för att läsa mer om hur chatboten används vid Högskolan Väst för att träna blivande sjuksköterskor.

I filmen kan ni se när Robert Sköld testar att prata med chatboten.

Vid Högskolan Väst i Trollhättan testar de att använda en chatbot i sjuksköterskeutbildningen för att mängdträna olika typer av samtal med patienter. Robert Sköld, Tobias Ruhtenberg och Emma Almingefeldt fick möjlighet att besöka Högskolan Väst och diskutera med lärare vid sjuksköterskeutbildningen samt en IT-specialist om deras upplevelse av att använda chatboten samt deras upplevese av att programmera chatboten.

Under våren 2023 testas ATEA-s chatbot vid Högskolan i Borås. Robert Sköld och Eva Berg är ansvariga för detta test. Testet är planerat att göras vid sjuksköterskeutbildningen, men även lärarutbildningen och polisutbildningen kan komma ifråga.