Augmented Reality (AR)

Sist oppdatert 5.3.2020 - Jon Hoem

Leseveiledning

Her går vi gjennom hva AR (Augmented Reality / utvidet virkelighet) er for noe samt hvordan vi kan bruke dette til å legge videoer. lyder, bilder og animasjoner til et fysisk forelegg – f eks en illustrert bok.

I menyen til høyre finner dere noen tilleggsressurser som kanskje kan være nyttige. Legg imidlertid merke til at noen av ressursene kan være laget i forbindelse med andre oppgaver. Teknikkene er imidlertid de samme.

Augmented Reality (AR), eller "utvidet virkelighet" på norsk, er en samlebetegnelser på teknologier som lar oss utnytte digitale enheter (datamaskiner, nettbrett, mobiltelefoner) med kamera for å vise bilder der vi kombinerer bilder av omgivelsene med et bilde, film eller tredimensjonalt objekt, som legges oppå de bildene som kameraet fanger. Det hele skjer i sanntid, slik at vi kan få følelsen av å se det som omgir oss med et tillegg, som ikke er der i den fysiske virkeligheten.

Videoen til høyre viser hvordan IKEA sin AR-app brukes for å plassere møbler. På den måten kan en kunde få et ganske godt inntrykk av hvordan noe tar seg ut hjemme, før vedkommende går til det skritt å kjøpe et nytt møbel.

AR kommer imidlertid i mange former. En applikasjon som kan minne litt om ting vi skal gjøre er fra lyd- og videoinstallasjonen Operasjon Bruno, ved Fjell festning. Her bestemmes brukerens posisjon ved hjelp av små radiosendere (altså ikke visuelle merker, som et kamera kan oppfatte) og brukeren blir tatt med på en lydfortelling som er tilpasset de ulike stedene i festningsanlegget. Noen steder kommer det også opp videoer, som på illustrasjonen til venstre, der en video viser noe som kan ha skjedd på den lokaliteten hvor brukeren befinner seg.

To hovedformer

Det finnes en rekke ulike løsninger som gjør at vi ganske enkelt kan lage en løsning med AR. Noen fungerer direkte på mobiltelefon og nettbrett, mens andre baserer seg på at vi legger inn selve innholdet via en datamaskin og en webtjeneste.

Grovt sett kan vi dele disse AR-applikasjoner inn i to hovedgrupper, ut fra hvordan innholdet vi legger inn blir presentert for brukeren.

2.1. Bilder som tagger

Å bruke tegninger eller fotografiske bilder som visuelle tagger er det som egner seg best dersom AR skal integreres som del av en visuell fortelling.

Til dette kan vi bruke en gratis tjeneste/app som HP-Reveal – Se nederst på siden for en veiledning.

2.2. QR-koder

Såkalte QR-(Quick Response)koder er en gammel teknologi, og dermed svært velprøvd. Dette dreier seg om en visuell kode, som er nært beslektet med strekkoder. Mange smarttelefoner er utstyrt med QR-kodeleser i kamerappen, eller du kan laste ned en egen app for å lese slike koder.

QR-koder kan inneholde flere tusen tegn, men er mest anvendte for korte meldinger.

2. Plassering med visuelle merker / tagger

I disse tilfellene knytter den som legger inn innholdet inn selve objektet, samt et visuelt bilde som brukes som "trigger". Den lyseblå "konkylien" i bildet til venstre kommer opp på skjermen når kameraet fanger opp et bestemt bilde, som henger på veggen bak. Objektet beholder i dette tilfellet plasseringen sin i forhold til bildet, når kameraet beveges. Animasjonen av insektet (vist nedenfor) er et eksempel på denne teknikken.

1. Fri plasseringDette gjelder apper som lar brukeren velge og plassere et virtuelt objekt og forflytte dette på skjermen. Objektet blir dermed plassert over det bildet kameraet ser, men er ikke "limt" fast til en bestemt plass. Bygningen i bildet til venstre er plassert på denne måte, og tillater brukeren å prøve ut flere ulike plasseringer.

Koden du ser til høyre inneholder teksten "QR-koder er enkel å lage ved hjelp av tjenester som https://www.the-qrcode-generator.com/".

Vi kan dermed bruke QR-koder på en måte som kan supplere ren AR. F eks ved å legge link (URL/nettadresse) til en YouTube-video inn i en QR-kode og deretter plassere denne koden f eks i en bok, eller på en plakat. Dersom brukeren skanner koden vil mobiltelefonen gå til URL

(Barne)bøker med AR

Følgende typer meldinger kan leses inn fra en QR-kode, dersom du benytter smarttelefon: – Vise bokstaver og tall som er lagt inn i QR-koden

– Gå til URL angitt i QR-koden

– Ring nummeret, der QR-koden angir nummeret

– Åpne e-postklient, der QR-koden angir mottager

– Sende vCard, der QR-koden angir visittkortdata

– Sende en SMS, der QR-koden angir mottager

– Sende en MMS, der QR-koden angir mottager

I en nettsak fra NRK sier en representant for det norske forlaget:

– Det er forholdsvis kostbart å lage appene, som dessuten må driftes med stadige oppdateringer.

Forlagene tar derfor sjelden sjansen på å satse på spesialtilpassede AR-bøker med tilhørende apper, kun for det norske markedet. I større markeder spesialiserer enkelte forlag seg på AR-bøker, som de så selger til utlandet. "Kryp" er et eksempel på en slik, innkjøpt tittel. Selve appen inneholder lite tekst, siden dette jo finnes i papirboken, men appen tilbyr visualiseringer, lyd og noe tilleggsinformasjon.

Til høyre ser du et eksempel fra faktaboken "Kryp", dvs boken ligger på en sofa, mens en animasjon av insektene vises gjennom en gratis app («iBugs AR»). Denne appen er laget spesielt for akkurat denne boken.

Det er i og for seg ikke noe i veien med denne boken. Vi bruker den først og fremst som eksempel fordi den er såpass grundig omtalt i saken fra NRK. Samtidig eksemplifiserer boken et generelt problem med mange oversatte bøker: de er i utgangspunktet skrevet for et annet marked enn det norske. I stedet for å få informasjon om norske insekter, dyr, fugler, kunstnere, historiske hendelser, etc så får vi her kun se eksempler på arter som nok aldri kommer til Norge. Som underholdning kan dette være greit, men som læremiddel vil dette ha liten relevans for norske elever.

I sitatet ovenfor peker representanten for forlaget på kostnadene ved å lage slike apper. Premisset synes imidlertid å være at appene lages fra grunnen av. Det finnes imidlertid andre muligheter, dersom vi velger å basere oss på eksisterende apper som tillater oss å legge til innhold. Videre kan vi basere oss andre typer innhold enn de tredimensjonale animasjonene som er brukt i "Kryp".

Nå har det etter hvert også kommet bøker som retter seg mot barn. Bildebøker passer AR godt og er på mange måter et opplagt marked, i grenselandet mellom tradisjonelle bøker, film og spill.

AR brukes gjerne til å lage spill som kan brukes på mobilen. Det mest kjente eksempelet er kanskje Pokemon Go, et mobilspill som hadde enorm suksess for noen år siden og som fremdeles er svært populært.

Videre har mange selskaper som jobber med AR lagt til rette for å bruke dette sammen med trykte medier. Typiske bruksområder er å linke en artikkel i en avis eller magasin til en webside, f eks en annonse for biler der den innebygde linken leder direkte til en nettside der du kan bestille prøvekjøring.

Vi skal jobbe på lignende måte, men i stedet for tredimensjonale objekter kan vi jobbe med videoer, lyder og/eller todimensjonale animasjoner. Den enkleste måten å gjøre dette på er å bruke publiseringsløsninger som har god støtte for mobile enheter. For video er YouTube en klar kandidat, for lyd kan man bruke Soundcloud, bilder kan publiseres via Flickr eller lignende. Det viktigste er at de tjenestene du bruker gjør det mulig å få en link (en URL) til mediefilen og at denne er publisert slik at alle som har denne linken kan se filen.

Legge inn 3D-objekter

Visuell støtte ved hjelp av AR

I videoen ser du eksempler på bruk av appen SketchAR. Den er laget for å rettlede brukeren i tegning ved hjelp av AR. Appen viser virtuelle bilder på et papir / vegg slik at du kan se tegninger gjennom telefonens kamera.

Apper som dette har nok begrenset nytte dersom du bruker en mobiltelefon, siden du må holde telefonen samtidig som du tegner. Det blir langt enklere dersom en bruker en AR-brille, som Microsoft Hololens. Foreløpig er dette dyr teknologi, men vi kan være ganske sikre på at slikt utstyr vil bli betydelig rimeligere i årene som kommer.

Flere AR-apper kan inkludere 3D-modeller. En mulig løsning er å publisere modellen, f eks via Sketchfab. Denne tjenesten har også en egen app, som kan være et alternativ dersom du vil publisere 3D-innhold for AR.

Å lage egne 3D-modeller tar litt tid og øvelse, men i tilfelle du ønsker å inkludere dette kan du lage dine egne modeller ved hjelp av gratis 3D-verktøy f eks Sketchup, Sculptris eller Tinkercad.

Det er også mulig å finne gratis 3D-modeller via f eks 3D-warehouse. Dette er en tjeneste som i utgangspunktet er knyttet til programmet Sketchup, men som også kan brukes for å laste ned modeller for andre formål.

Det kan blant annet bli spennende å se hva som skjer i det rene konsumentmarkedet, f eks i form av Snapchat Lensstudio i kombinasjon med Spectacles.Foreløpig er ikke animasjonen til venstre (lages med Snap Lens Studio) et eksempel på AR, siden denne animasjonen ikke vises for brukeren i sanntid. Videobildene fra kameraet kombineres imidlertid med den tredimensjonale animasjonen på en måte som gir den samme typen visuelt uttrykk.

Når tekniske løsninger, som det en finner i Microsoft Hololens, blir rimeligere kan vi forvente å finne dette i produkter rettet mot massemarkedet.

Videoen viser mye av det samme som gjennomgås nedenfor, men selvsagt i en annen form. Legg merke til at videoen omtaler appen som "Aurasma". Dette var tidligere navnet på denne appen, før den ble kjøpt av Hewlett Packard (HP).

Statsped, som har laget videoen til høyre har blant annet følgende tips og ideer:

  • Bruk HP Reveal til bokomtaler i skolebiblioteket.

  • Ta bilde av forsiden av boka og knytt til en omtale av boka fra elever som har lest den.

  • Lag plakater med oppgaver elevene skal løse.

  • Legg inn forklaringer til hvordan oppgaven kan løses i HP Reveal .

  • Bruk HP Reveal til å publisere elevenes produkter.

Publisere AR-innhold med HP-Reveal

HP-Reveal er en app for iOS og Android som lar oss definere bilder som skal trigge AR, samt laste opp ulike typer innhold.

Figur 7

Figur 5

Figur 3

Figur 1

  • 1

    • Første skritt, etter at du har åpnet appen og klikket på "+"-tegnet, oppe til høyre, er å ta et bilde av det som skal være det visuelle merket

    • Indikatoren over den hvite søkerammen viser om bildet fungerer greit. Her ser vi den hvite prikken i det grønne feltet, og kan dermed ta et bilde. Det gjør vi ved å klikke på den blå sirkelen.

    • Neste skritt er å laste opp den mediefilen som skal vises på skjermen, når appen detekterer det bildet vi tok i pkt 1.

  • 2

    • Her har jeg lastet opp et bilde, som jeg kan plassere i forhold til det visuelle merket. dette gjør jeg ved å trekke bildet runt på skjermen. Jeg kan også forstørre og forminske dette bildet.

    • Legg merke til at jeg her har forsøkt å laste opp et sfærisk-/360-bilde. Det fungerer ikke optimalt, fordi HP-reveal ser det som et vanlig bilde. Skal du vie et sfærisk bilde kan du laste dette opp i f eks Google Photo, og deretter legge en link til dette i HP-reveal.

  • 3

    • På neste skjerm må du legge inn en tittel.

    • Du kan også velge om du vil at bildet skal være "Public" eller "Private". Du må legge dette som "Public", medmndre du kun skal bruke dette selv, eller gir telefonen og/eller passordet ditt til andre. Det siste er selvfølgelig ikke særlig lurt.

    • Når noe er "Public" kan i prinsippet alle brukere av HP-Reveal finne dette. Det er derfor en dårlig ide å legge ut bilder av personer, spesielt om disse er mindreårige. Generelt nettvett gjelder absolutt i ulike apper også.

    • 4

    • Du kommer nå til en skjerm som viser det bildet som vil trigge AR-visningen. Her kan du dele en link til det du har publisert, men her kan du også nøye deg med å klikke "Done".

    • Med det er du ferdig og kan sjekke resultatet:

    • 5

    • Her har vi klikket på den blå firkanten som kommer opp nederst i appen. Kameraet begynenr da å lete etter et merke. Du ser at den leter når seks hvite prikker zoomer inn og ut på skjermen.

    • Ingenting skjer så lenge kameraet ser bildet på kalenderen, men straks "Skrik" detekteres kommer det valgte bildet opp.

  • 6

    • Straks et merke er detektert av kameraet gir telefonen et lite buzz og det bildet jeg hadde valgt kommer opp på skjermen.

    • Bildet blir liggende med en noenlunde fast plassering, så lenge merket er synlig for kameraet.

    • 7

    • Vi kan også legge inn videoer og 3D-objekter på samme måte som i punkt 2. Her er videoen vridd litt i forhold til det bildet som trigger AR-visningen. Her er det forsiden på en bok som er brukt som trigger.

  • 8

    • En animasjon som viser hvordan videoen tar seg ut når kameraet har detektert forsiden på boken.

Figur 8

Figur 6

Figur 4

Figur 2

Dere kan se prosessen i videoen. Når dere er inne på en kanal og trykker "Edit" kommer et opp noen grå knapper udner ikonene som representerer de visuelle merkene. Klikk på "Move ..." og du kan legge auraen til en annen kanal:

Tilordne "auraer" til kanaler

Noen av dere fant ut at det ikke er helt enkelt å dele det dere har lagt ut. Så vidt jeg kan se er den beste måte å gjøre dette på å lage en egen kanal, gjøre denne offentlig tilgjengelig, og deretter legge de auraene dere vil dele til denne kanalen. Andre kan deretter søke opp kanalnavnet i appen.

Her har jeg først åpnet en "aura" og deretter klikket på kanalnavnet. Da ser jeg alle auraene i den aktuelle kanalen.

Neste skritt er å trykke på "Edit" (oppe til høyre) og vi ser de grå knappene under ikonene. Klikker du på "X" kan du slette auraene.

Her er forsiden på appen hvor jeg har søkt etter kanalen.