Robotassistert undervisning

Beskrivelse av prosjektet

Prosjektet Robotassistert undervisning ved HVL ønsker å utvikle en metodikk for robotassistert undervisning gjennom konkret utprøving i undervisning ved HVL og i samarbeid med grunnskoler. Vi ønsker å jobbe tverrfaglig for å utvikle nye lærings- og undervisningsformer knyttet til fysiske roboter. Prosjektet som er dels eksperimentelt, men samtidig med en solid basis i tradisjonelle undervisningsmetoder. Opplegget vil både ta i bruk digital teknologi og rent fysisk, materielle arbeidsmetoder.

Gjennom prosjektet skal lærere og studenter i grunnskolelærerutdanningen få erfaring med å produsere innhold, undervisningsmetodikk og strukturer som ligger i grenselandet mellom programmering, fortelling og spill. Vi vil benytte teknologi og erfaringer fra tidligere prosjekter i kombinasjon med relativt enkel og rimelig robotteknologi.

Gjennom prosjektet “Robotassistert undervisning” ønsker vi å vinne erfaringer med robotteknologi med tanke på å kunne forberede fremtidens lærere på møter med og praktisk anvendelse av denne typen teknologi. Vi vil jobbe med skoleroboter fra det spanske selskapet Aisoy. Hovedmålet er at studenter skal kunne jobbe med metoder og verktøy som de senere kan ta med seg ut i fremtidig undervisningspraksis. Metodikken de tar med seg skal ha overføringsverdi selv om studentene senere ikke jobber eksplisitt med roboter.

Kontaktperson: Jon.Hoem@hvl.no, Institutt for kunstfag, HVL.

Talesyntesen fungerer godt på engelsk. Vi ønsker imidlertid å utvide opplegget til norsk tale. Dette forutsetter tilpasning av eSpeak – rammeverket for talesyntese, basert på åpen kildekode.

Bakgrunn for prosjektet, per juni 2018

I prosjektet vil vi arbeide med skoleroboter fra det spanske selskapet Aisoy og vi har allerede gjort noen innledende erfaringer. Skolerobotene kan programmeres via mer komplekse programmeringsspråk som Phyton og C++. I vår sammenheng er imidlertid grensesnitt basert på Scratch det mest interessante, da dette gjør sentrale funksjoner lett tilgjengelig, samtidig som elevene jobber med et blokkbasert programmeringsmiljø med høy overføringsverdi til andre tilnærminger til koding.

Aisoy har laget en egen tilpasning, ved hjelp av ScratchX, som gjør at elever enkelt kan utnytte alle robotens sensorer og servoer, samt selvfølgelig talesyntese. Nedenfor et eksempel som viser hvordan ulike egenskaper ved roboten kan kontrolleres og hvordan tale initieres gjennom å skrive dialoglinjer rett inn i blokkeditoren.

Kodlinjene skrevet inn i editoren (vist ovenfor) resulterer i tale og bevegelse, som vist i videoen til venstre,

Utdanningsteknologi

Under HVLs konferanse om bærekraft holdt prosjektdeltakerne Hoem og Eikset et innlegg om "Bærekraftig utdanning vha. programvare". Vi gjorde her et første forsøk med bruk av Aisoy-roboten i en slags forelesningssituasjon. Selv om denne opptredenen var ytterst eksperimentell, og i seg selv ikke ga betydelige erfaringer, var det et viktig første møte med en praktisk anvendelse av teknologien.

I selve innlegget tok vi videre opp det som er et viktig bakteppe for prosjektet, nemlig det som fremstår som Regjeringens løypemelding til UH-sektoren der det pekes på utdanningssektoren som en vesentlig del av løsningen i møtet med “ ... robotisering, 3D-print og nye materialer, sensorteknologi, tingens internett, stordata og kunstig intelligens …” Samtidig viser en undersøkelse at 64 prosent av ledere og arbeidstakere ikke ser hvordan dagens utdanningsinstitusjoner skal gi den kompetansen fremtidens arbeidsliv vil kreve. Denne kompetansen, som må utvikles, knytter vi særlig til utviklingen av stadig mer avanserte dialoger mellom mennesker og datastyrte maskiner, noe vårt prosjekt vil jobbe aktivt med.

Bærekraftig utdanning vha. programvare – April 2018

Kartfortellinger med skoleroboter – Mai 2018

Roboter og fortelling

Under et fagseminar ved Institutt for kunstfag presenterte Hoem prosjektet under tittelen “Kartfortellinger med skoleroboter”.

Denne presentasjonen tok for seg noen av tankene knyttet til det som nedenfor skisseres som et utvidet læringsopplegg “Stasjonsundervisning” og "Magisk teppe". Her ser vi på læring i fag og koding som en helhet, der det å styre en robot som forteller blir den sentrale inngangen til læringsarbeidet.

Presentasjonen diskuterte videre bruken av roboten i lys av aktør-nettverk, en tilnærming til teknologi der en ser artefakter (som roboter) som aktører på lik linje med mennesker – dvs at mennesker og teknologi gjensidig påvirker hverandre gjennom et komplekst, sosialt samspill.

Utvikling i samarbeid med skoler

Hoem og Eikset har vært på et innledende besøk ved Knappskog skule i Fjell kommune. Dette er en skole der vi sender våre studenter i praksis. Skolen er videre spesielt interessant fordi den er langt fremme med å fulldigitalisere undervisningen, både med tanke på “en til en”-dekning med datamaskiner og gjennom å gjøre elevenes læremidler tilgjengelig digitalt. Vi vil utvikle samarbeidet med Knappskog og andre interesserte skoler gjennom prosjektet.

Utdyping av faglige konsepter og scenarier

Målet er å knytte de scenariene og oppleggene som utvikles til undervisning på tvers av fag og hente inn elementer fra matematikk, geografi, samfunnsfag, kunst og håndverk og programmering, mm. Disse oppleggene vil vi i første omgang utvikle mot egen studenter, for så å ta dette videre til samarbeidende skoler. Vi ser her for oss en nær dialog med praksisfeltet slik at de oppleggene vi jobber ut for våre studenter treffer best mulig i forhold til skolenes behov. Prosjektet legger derfor opp til at deltakerne fra HVLs del i prosjektet skal kunne delta i undervisning ute i praksisfeltet. På dette punktet vil det kunne legges til rette for et fruktbart samspill med det arbeidet som allerede er satt i gang knyttet til desentrallisert kompetanseutvikling i grunnskolene.

Tanken er at studenter i grunnskolelærerutdanningen ved HVL skal arbeide med å produsere innhold, undervisningsmetodikk og strukturer som ligger i grenselandet mellom programmering, fortellinger og spill. Vi vil benytte teknologi og erfaringer fra tidligere prosjekter i kombinasjon med relativt enkel og rimelig robotteknologi. Prosjektet har et uttalt ønske om å inkludere flere miljøer ved lærerutdanningen, men også ved andre avdelinger. Hovedmålet er at studenter skal kunne jobbe med metoder og verktøy som de senere kan ta med seg ut i fremtidig undervisningspraksis. Metodikken de tar med seg skal ha overføringsverdi selv om studentene senere ikke jobber eksplisitt med roboter.

Vi jobber med roboter fra det spanske selskapet Aisoy. Dette fordi disse robotene gir muligheter for å programmere interaksjon gjennom tale, noe vi anser som sentralt i forhold til å jobbe med robotene som en del av et fortellende forløp. Ikke minst er robotene rimelige, noe som gjør at skolene kan benytte dem i reelle møter med elevene.

Aisoy har utviklet robotene siden 2008 og det er i dag femte generasjon av roboten som er på markedet. De siste årene er disse robotene brukte på en lang rekke skoler, spesielt i Spania.

Vi ser for oss at det innledende opplegget “Lesevenn” realiseres dersom tildelingen begrenses til den tildelingen som ble gitt i april 2018. Det mer sammensatte opplegget “Stasjonsundervisning” realiseres fullt ut dersom prosjektet tildeles støtte i samsvar med budsjett. Det samme gjelder det mer eksperimentelle delprosjekt 3: “Magisk teppe”.

Skisse til delprosjekt 1: Konsept “Lesevenn”

Dette konseptet utvikles med tanke på stor grad av fleksibilitet. Opplegget kan knyttes til en enkelt illustrasjon (bilder, ordskyer, grafer, egne tegninger etc) og mer sammenhengende fremstillinger, som f eks boklige produkter.

Interaksjonen initieres i dette tilfellet ved at roboten gjenkjenner en QR-kode, nedenfor er dette eksemplifisert ved å integrere en slik visuell kode i en “bokside”, som igjen kan være del av en større visuell fortelling. Et scenario kan dermed utspille seg som følger (her er det vesentlig å merke seg at dette scenariet kan programmeres av læreren, av læreren sammen med elevene, eller av elevene):

Roboten spør:

– Vis meg en side du vil høre mer om

Eleven holder opp en side med en QR-kode
Roboten begynner på en fortelling med utgangspunkt i det som vises på siden.
Roboten initierer ytterligere aktivitet:

– Kan dere fortelle meg litt om ulven

– Se på side ….

– Vil du høre mer om ….

– Kan du lese for meg. Det som står på side ...

– Vis meg en annen side

Etc

Hvordan disse dialogtrærne utformes vil selvsagt avhenge om det er læreren som lager disse som en del av et større opplegg eller om det er elevene som bestemmer dialog og struktur. Uansett kan en her med enkle midler lage ganske komplekse strukturer, men der en beholder oversikt gjennom å knytte sekvensene til en boklig, sekvensiell ramme og fortellingens struktur.

Illustrasjoner knyttet til et tidligere prosjekt gjort med studenter i kunst og håndverk der en med enkle løsninger lager illustrerte fortellinger – her med utgangspunkt i eventyret Rødhette og ulven. En QR-kode introduseres (se bilde til høyre) for å initiere en læringssekvens med roboten.

Slike fortellinger kan selvsagt knyttes til ulike tema som tar opp i seg elementer fra de aktuelle fagene og behøver ikke innebære bildemanipulasjon. Tema kan f eks være reiseskildringer knyttet til bilder og kart, quizer i matematikk, arbeid med geometriske figurer, etc. Aktivitet kan også begynne med at roboten spør elevene direkte og kan inkludere tilbakemeldinger der en utnytter flere av robotens sensorer. Elevenes muligheter til å eksperimentere med sammenhengene mellom fag, dialogstruktur, programmering og sensorer er sentralt i prosjektet.

Det skisserte opplegget knyttet til “Lesevenn” skalerer godt, gitt at eleven kan arbeide med sine fortellinger i grupper (manus, interaksjonsdesign, illustrasjoner og programmering) og med forskjellig kompleksitet. De kan ganske raskt teste sine opplegg selv om klassen som helhet kun har tilgang til en robot. Opplegget ender med at elevene demonstrere sine opplegg i plenum, enten ved at gruppene interagerer med sine egne opplegg i plenum eller ved at de utforsker hverandres opplegg.

Skisse til delprosjekt 2: Konsept “Stasjonsundervisning”

Vi ser for et opplegg knyttet til at studenter / elever jobber med visuelle og romlige tablåer, f eks der et landskap representeres som en form for kart samtidig som roboten brukes for å formidle informasjon og fortellinger knyttet til representasjonen av landskapet og enkeltobjekter i dette.

I dette delprosjektet øker kompleksiteten, men dette er samtidig en videreføring av konseptene i det innledende opplegget. Utgangspunktet her er at det finnes få gode undervisningsopplegg knyttet til kart, samtidig som nettopp kart er et interessant faglig møtepunkt samtidig som arbeid med kart kan knyttes til nærmiljø og lokalsamfunnet som læringsarena. Vi ser videre dette som et potensielt bidrag til “læremiddelinnovasjon”. Tanken her er at elevene skal jobbe med å lage romlige fremstillinger der roboten trekkes inn som en fortellende instans, styrt av elevene og/eller i samarbeid med lærer.

Roboten kan også ses som en igangsetter i en fase der elevene samler inn og strukturerer data. I en slik sammenheng vil roboten være lærerens forlengede arm, dvs den som stiller spørsmål til elevene og tillater læreren å innta litt andre roller som veileder i elevenes arbeid med problemløsning.

I den første fasen får elevene i oppgave å identifiserer steder i nærmiljøet som de mener har betydning. Dette skjer gjennom en samtale med roboten, med læreren som deltaker, der roboten stiller enkle spørsmål knyttet til den lokale geografien. En kan tenke seg spørsmål som: Hvor bor du? Hvor er det kjekkest å være? Hvor bor det flest mennesker? Hvor er det mest trafikk? etc. Roboten ber elevene begynne med å markere de ulike stedene på et stort ark/brett, som etter hvert får karakter av et kart. Her kan en jobbe med elevenes bevissthet omkring miljø, bærekraft, geografi, representasjonsformer, romlige sammenhenger etc.

En rekke objekter kan introduseres på “brettet”, som fysisk sett kan utformes på flere måter. Roboten plasseres slik at elevene enkelt kan vise objektenes underside til roboten, som på denne måten gjenkjenner objektene og gir en respons. Responsen kan variere gjennom å uttrykke ulike emosjoner gjennom robotens bevegelse av hode, munn, øyne og øyenbryn, noe som i tillegg kan suppleres med generert tale eller avspilt lyd. Respons kan eventuelt også gis gjennom en skjerm som roboten styrer. Hensikten er å legge til rette for samtaler mellom elevene om konsekvensene av å introdusere eller fjerne objekter fra brettet / landskapet.

Noen av objektene er tiltenkt bestemte steder, dels kan de plasseres fritt. Elevene viser objektenes underside til roboten - her er en QR-kode som roboten gjenkjenner og som gir den en referanse til objektet og det videre scenariet. Elevene kan også bli engasjert med å lage de objektene som plasseres på brettet.

Gitt at vi ser for oss et didaktisk opplegg som både er tverrfaglig og fleksibelt vil det være enkelt å tilpasse scenariene: “brettet” kan være et rom, et hus, en scene, et lokalmiljø, hele verden, eller solsystemet etc .

Roboten kan også ses som en igangsetter i en fase der elevene samler inn og strukturerer data. I en slik sammenheng vil roboten være lærerens forlengede arm, dvs den som stiller spørsmål til elevene og tillater læreren å innta litt andre roller som veileder i elevenes arbeid med problemløsning.

I den første fasen får elevene i oppgave å identifiserer steder i nærmiljøet som de mener har betydning. Dette skjer gjennom en samtale med roboten, med læreren som deltaker, der roboten stiller enkle spørsmål knyttet til den lokale geografien. En kan tenke seg spørsmål som: Hvor bor du? Hvor er det kjekkest å være? Hvor bor det flest mennesker? Hvor er det mest trafikk? etc. Roboten ber elevene begynne med å markere de ulike stedene på et stort ark/brett, som etter hvert får karakter av et kart. Her kan en jobbe med elevenes bevissthet omkring miljø, bærekraft, geografi, representasjonsformer, romlige sammenhenger etc.

En rekke objekter kan introduseres på “brettet”, som fysisk sett kan utformes på flere måter. Roboten plasseres slik at elevene enkelt kan vise objektenes underside til roboten, som på denne måten gjenkjenner objektene og gir en respons. Responsen kan variere gjennom å uttrykke ulike emosjoner gjennom robotens bevegelse av hode, munn, øyne og øyenbryn, noe som i tillegg kan suppleres med generert tale eller avspilt lyd. Respons kan eventuelt også gis gjennom en skjerm som roboten styrer. Hensikten er å legge til rette for samtaler mellom elevene om konsekvensene av å introdusere eller fjerne objekter fra brettet / landskapet.

Noen av objektene er tiltenkt bestemte steder, dels kan de plasseres fritt. Elevene viser objektenes underside til roboten - her er en QR-kode som roboten gjenkjenner og som gir den en referanse til objektet og det videre scenariet. Elevene kan også bli engasjert med å lage de objektene som plasseres på brettet.

Gitt at vi ser for oss et didaktisk opplegg som både er tverrfaglig og fleksibelt vil det være enkelt å tilpasse scenariene: “brettet” kan være et rom, et hus, en scene, et lokalmiljø, hele verden, eller solsystemet etc .

Skisse til delprosjekt 3: Konsept “Magisk teppe”

Dette delprosjektet er det knyttet størst usikkerhet til. Muligens er dette i første omgang noe vi bør forsøke å realisere gjennom samarbeid med ingeniørutdanningen, eventuelt dersom SfNM finner dette strategisk interessant.

Prosjektet er knyttet til en digital sporingsmatte som kan fungere som en utvidelse av funksjonalitet og metoder som utvikles i delprosjekt 2. I teppet bygges det inn NFC-tagger (Near Field Communication). Dette er passive brikker som kan oppfattes av roboten med via en tilleggskomponent. F eks ved en NFC-leser som kan kobles til en av robotens USB-porter og plasseres på robotens underside. Men en tilpasset programvare vil roboten vil dermed kunne registrere hvilken NFC-tag den til enhver tid er plassert over, noe som åpner for mange muligheter både knyttet til registrering og presentasjon av informasjon.

NFC er en svært etablert og stabil teknologi som fungerer uten at det er behov for batteri o.l.. Mange vil kjenne igjen denne teknologien fra adgangs- og betalingskortene vi benytter til daglig.

NFC-teppet (skissert til venstre nedenfor) er i seg selv uten mønster, men med en fast plassering av NFC-brikkene. Dermed kan elevene lage og plassere ulike grafiske maler på toppen av teppet. Dette eksempel viser en by, der elevene kan arbeide problemstillinger knyttet til miljø, matematiske spørsmål, geografi etc. Utformingen kan være realistisk eller abstrakt, todimensjonal eller romlig og kan knyttes til en rekke læringsmål i K&H og andre fag. NFC-brikkene danner dermed punkter som det kan knyttes funksjoner til med en visuell kobling til malene (skissert til høyre nedenfor).

NFC-konseptet kan utvikles på ulike måter: teppe, puslespill, eller kun i form av selvstendige tagger (f eks i kredittkortstørrelse) som kan plasseres på steder der en ønsker å aktivisere respons fra roboten.

Teppet (et stykke, eller satt sammen av brikker) vil ha en innebygget NFC-brikker som avgir informasjon til roboten som plasseres over disse brikkene. Samspillet mellom denne informasjonen og kan trigge ulike funksjoner programmert i roboten. I prinsippet er NFC-taggen kun en trigger, slik som en QR-kode, men dette åpner for andre aktiviteter og en mer sømløs inngang til læring f eks av rom- og tallforståelse.

I tilfellet teppet kan en se for seg dette bestående av to lag: den underliggende matten med NFC-tagger og et visuelt lagt som kan legges over matten. Det visuelle laget kan være ferdig produserte maler i stoff, men i hovedsak scenarier som elevene selv tegner på papir. Teppet vil kommunisere med roboten som plasseres og forflyttes på teppet. NFC-taggene er i seg selv passive, noe som også åpner for at flere roboter og andre mobile enheter kan benyttes på teppet samtidig. Teppet kan også enkelt utstyres med LED-lys, slik at en kan jobbe med enda flere former for interaksjon i samspill mellom teppet og de malene som elevene lager/benytter.

NFC-teppet kan være et verktøy for å utvikle læringsfellesskapet gjennom å dele den fysiske omgivelsen som oppgavene relateres til, samtidig som oppgavene kan tilpasses den enkeltes ferdighetsnivå. Noen elever kan jobbe med selve programmeringen, noe med fortellinger og informasjon, noe med den grafiske utformingen, osv.

De didaktiske oppleggene vil kunne være varianter av følgende scenarier:

Lærer og /eller elev velger seg et scenario. Dvs et visuelt lag som fysisk plassers over sensormatten. Roboten programmeres i forhold til aktuelle scenariet og formidler deretter informasjon i henhold til posisjoner på sensormatten.
Oppgave knyttet til f eks grunnleggende mengdelære. Elevene flytter roboten på teppet og får oppgaver knyttet til forflytningen og de ulike objektene og “hindringene” som roboten møter.
En kan se for seg en lang rekke varianter av oppgaver, som også kan differensieres. I en elevgruppe kan hver enkelt få oppgaver i samsvar med et forventet ferdighetsnivå. Slik kan en gruppe med relativt sterke og ditto svake elever jobbe sammen med oppgaver der hver enkelt kan oppleve mestring innenfor et felles scenario.
Elevene lager egne scenarier. Ved å tegne et landskap, en øy, en by, hva som helst, på et stort papirark kan dette knyttes til sensormatten. Læreren er med og definerer de sentrale stedene på tegningen og hjelper elevene med å kodingen.