Seminar om sfæriske medier - desember 2017
Publiseringsdato: Dec 12, 2017 4:0:7 PM
Jon Hoem, 12. desember 2017UH-nett Vest sitt forskernettverk for IKT og medier arrangerte et seminar om sfæriske medier, dem 11 og 12 desember.
Med sfæriske medier forstår vi både lyd- og bildemedier som kan representere omgivelser i en omsluttende form. Dette inkluderer Virtual Reality (VR), dvs grafikk skapt kun med datamaskiner og denne grafikken blir vist i hele brukerens synsfelt. Videre inkluderer sfæriske medier Augmented Reality (AR), dvs representsjonsformer som kombinerer datagrafikk med bilder fra det stedet brukeren befinner seg. Sfæriske medier inkluderer også sfæriske- / 360-bilder og -video, dvs fotografier og video som inkluderer bildeinformasjon i alle retninger.
Seminaret samlet forskere fra UH-nett Vest, inviterte bidragytere og flere masterstudenter med relevante prosjekter. Noe av det som er spennende er at miljøene på Vestlandet samlet sett har svært omfattende kompetanse på dette feltet, i skjæringspunktet mellom medier og IKT.
Å forstå immersiv journalsitikk
Ana Laws fra Høgskolen i Volda åpnet serien av innlegg med å fortelle fra erfaringer gjort gjennom et VRI-prosjekt om VR og 360. I dette prosjektet er lokalavisen Sunnmørsposten er næringspartneren, og de ønsker å utforske hvordan en utnytter teknologien fortellermessig og hvordan dette mottas av publikum.
Noen av spørsmålene som diskuteres i dette prosjektete er hvordan en som produsent forholder seg til at kameraet “forsvinner”, dvs at det ikke er noe som automatisk leder brukeren i forhold til hvor vedkommende retter blikket.
At kameraet oppleves som ikke tilstedeværende er også noe som kan utnyttes i forhold til å påvirke brukerne, og reiser spørsmål om hvilke retningslinjer som skal gjelde i forhold til manipulasjon.
Laws presenterte videre funn fra artikkelen Can Immersive Journalism Enhance Empathy? Mye av retorikken rundt sfæriske medier er knyttet til at dette er “mediet som skal redde bransjen”. Hva er denne optimismen basert på?For å finne emr ut av dette har Laws sett på Guardians “6X9” og NY Times “The displaced”, Nonny de la Peña IPSRESS og “Hunger in Los Angeles”. de la Peña har også jobbet med å utforske graden av innlevelse i VR.
I sitt prosjekt fant Laws at det er forskjeller mellom prosjektene i forhold til hvorvidt brukeren kan være aktivt deltakende, ut over observerende. Når en tester prosjekter med ulik teknisk kvalitet virker det ikke som om dette har særlig innvirkning på opplevd emosjonell effekt
6X9 tilbyr stereoskopiske bilder og er immersiv i den forstand at brukeren plasseres i en virtuell fengselscelle. Et spørsmål er imidlertid om vi kan snakke om empati der en ikke har en person å knytte dette til?Uansett er det onteressant at et rent VR-prosjekt scorer høyere på emosjonelt engasjement.
I medievitenskapen er det mye snakk om troverdighet, tillit og lojalitet. Hvordan ivaretar en disse idealene innenfor sfæriske medier?
Hvordan virker det inn at mediet oppleves som såvidt nytt. Vil det gi lavere grad av innlevelse dersom en er vel kjent med mediet. Ville være interessant å se om de erfarne brukerne scorer annerledes.
Mange talspersoner for VR-journalistikken som taler for empati som en viktig faktor, men dette er også et potensielt farlig virkemiddel som kan styre innlevelsen i uheldig grad.
Auditive perspektiver på sfæriske medier
Svein Høier, fra NTNU, introduserte forskjellige måter å jobbe med sfærisk lyd, med utgangspunkt i egen erfaringer og forsøk med surround (5:1 og 7:1), Dolby Atmos og ambisonisk lyd.
Surround 5.1 og 7.1 er kanalbaserte systemer. Dolbys Atmos skiller seg fra dette ved at det ikke er kanalbasert på samme måte. Plassering av lyd er “objektbasert” og lydbildet rendres under avspilling. Lyden på ett sted defineres ut fra koordinater og skapes ved hjelp av et varierende antall lydkilder. Ambisonics er en eldre teknologi. Dette formatet er heller ikke kanalbasert, men må dekodes. Det er ikke et en til en forhold mellom de lagrede kanalene og det som spilles av.
Facebook Spatial workstation - lager Facebooks versjon av ambisonic. Waves og Audioease er noenlunde tilsvarende betalingsløsninger som kommuniserer med lydprogrammer, som f eks Reaper. Til Reaper får en imidlertid også Ambisonic Toolkit, som også fungerer med SuperCollider.
Får å kunne ta opp ambisonisk lyd må en benytte en soundfield-mikrofon (tar opp i A-format, og gjøres om til B-format ambisonics ved hjelp av plugins)
Ønsker ofte å arbeide med romlighet. Facebook har her enkle parametre, mens Audioease har en avansert løsning for å gjenskape klang fra ulike rom.
Adding spatial audio to Ricoh Theta 360 Video
Hvordan kan en skape lydlige fokus? Hvordan understøtte en visuell opplevelse. Det visuelle påvirker i seg selv opplevelsen av lydlig retning
Hvordan skille de lydlige nivåene. Det er gjerne studiokvalitet på en voice-over mens en intervjustemme har lavere kvalitet. Viktig å tenke gjennom hvordan en signaliserer til lytteren hvor en stemme befinner seg i forhold til det fortellende universet
Film og fjernsyn har valgt å prioritere tydelighet, fremfor en realisme knyttet til visuell avstand. Dette handler dels om at mye av lyden ettersynkroniseres en kan dermed benytte studioopptak. På kino er en vant til at det ikke er en nær sammenheng mellom det visuelle og lydlig retning. Dette er vi vant til, og det oppleves som relativt uproblematisk. I kinosalen jobber man ikke med ett “sweet spot”. Forsøker å gi en brukbar opplevelse til alle i salen, noe man løser med flere høyttalere som sender ut den samme lyden. Her kan man tenke helt annerledes når man jobber opp mot hodetelefoner. Hvordan kan en gi slike slytteopplevelser et løft? Hvilken strategi skal en velge for sfæriske medier?
Hvor stort avvik kan en oppleve mellom visuell retning od lydlig retning før en opplever at disse skiller lag? Hvordan preger “magnetisering” opplevelsen av sfæriske medier?
Avveining mellom styring av fokus og en friere opplevese - lyddesigner vs bruker som styrende
A Virtual Mind Palace
Joakim Vindenes presenterte sitt masterprosjekt A Virtual Mind Palace: Adapting the Method of Loci to Virtual Reality, fra våren 2017
Loki-metoden - plassere informasjon i forhold til geografiske lokasjoner – for undertegnede et slags gjensyn med Memoz, et verktøy for spatiell nettpublisering
Mange tekniske VR-løsninger kom i 2016. Disse er primært beregnet for underholdning, men kan selvsagt benyttes for andre formål.
Det sentrale funnet i masteroppgaven var knyttet til at brukere med høy romlig resonneringsevne hadde generelt høyere score, men gjorde seg også mer nytte av applikasjonen.
Capsule FM
Utviklingen av Capsule.FM begynte med en ide om en applikasjon som viser hva som er på bakken under flyet. Espen Systad og Tor Langballe endte i stedet med en “reisekompanjong” som gir opplevelsen via lydsiden.
Radioen er et medium som på mange måter er på fallrepet, der linearitetetn knyttet til lyd er noe av det som kanskje kommer til å forsvinne. Bestemte seg for å lage en personlig radio, der sendingen blir satt sammen av lydkapsler.
Holder på en navigasjonsform: skip, play again, amplify, action
Capusle.FM et eget CMS knyttet til å lage kapslene - kan være alt fra lydopptak, værmeldinger
I Bergen har teamet jobbet med prosjektet Vidden. Lydguiden skal tilby spesialisert auditiv informasjon, men skal også kunne gjenta lydlig det som er visuelt presentert i andre systemer: Gi brukerne råd, veiledning og historier som hjelper dem å finne veien, beregne tidsbruk, ankomst-tid, banetid, få værmelding, lære om fauna/dyreliv/geologi/historie, og om spesielle utkikksposter eller serveringssteder. Innholdet skal være fleksibelt, og kunne påvirkes av område (GPS), nærlokasjon (beacons), fart, tid, vær, og andre omgivelsesfaktorer.
De har eksperimentert med hvordan en kan iscenesette en samtale som du blir tilhører til - kan dette inkludere lytteren mer?
jsonfeed.org med spesialfelt for tale
Kan en se for seg en åpen standard for denne typen sfærisk medieinnhold. De ser også på muligehtene for å lage et åpent templateformat, muligens med Lua-skriptspråk som base.
Perspektiv på Virtual Reality – hvor var vi for tyve år siden
Dag to begynte med et spennende tilbakeblikk, gitt av Tor Langeland fra CMR. Langeland jobbet med CAD og visualisering siden 1980-tallet. CMR jobber med hele kjeden fra målinger til visualiseringer av data og beslutningsstøtte.
Langeland jobbet med Norsk Hydro og CMRs Cave-prosjekt 1996-2008På den tiden prosjektet startet benyttet man typisk Unix-baserte arbeidsstasjoner: Enbrukersituasjon og skjermer med relativt dårlig oppløsning. Bilindustrien og flyindustrien begynte tidlig å interessere seg for bedre visualisering i form av VR. CMR sammen med Hydro begynte å se på eventuell bruk i oljebransjen
Kostnaden for CAVE og maskinvare var i størrelsesorden 10 mill. Kunne rendre rundt 10 millioner polygoner i sekundet. Utfordring å nå tilstrekkelig bilderate, måtte ha rundt 30 bilder i sekundet. Måtte i praksis ha det doble pga av at en viste stereoskopisk. Utviklingen på maskinvaresiden gikk imidlertid raskt.
Bygget videre på Crumbs VR kode, utviklet for biometriske data av NCSA i USA. Første versjon av HydroVR ble resultatet av dette i løpet av noen få måneder.
Kunne etter hvert vise veldig mange forskjellige datatyper. Hadde mot slutten av prosjektet et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutninger. Samlet alle de som tidligere hadde jobbet sekvensielt. Fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.
Begynte etter hvert å jobbe med sammenkobling av to eller flere caver for på den måten å kunne samarbeide over distanse. Viste eksempel på brønnplanleggingssesjon der man koblet sammen caver i London og Houston.
Laget mot slutten et verktøy der en kunne jobbe med 2D-projeksjoner for å kunne trekke ut nøyaktig informasjon.
Kunne etter hvert vise veldig mange forskjellige datatyper. Hadde mot slutten av prosjektet et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutning. Samlet alle de som tidligere hadde jobbet sekvensielt. Fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.
Daniel Patel (CMR og HVL) fortalte om utviklingen i forlengelsen av cave-løsningene. CMR utviklet VRSafety i 2004. Ønsket å lage et verktøy for å visualisere scenarier for eksplosjoner og brann. Laget først 3D-motoren fra bunnen av i C++ og Open GL
Endte etter hvert opp med å benytte kommersielt tilgjengelige løsninger. Valget falt på Unity pga en stor geometri, som på det tidspunktet ikke kunne håndteres i Ureal Engine. Begge disse spillmotorene har veldig gode redringsmuligheter og visuelle editorer.
Visualiseringssystemene har på noen områder blitt overtatt av høyoppløselige monitorer. Bruken av VR var imidlertid med på å legge til rette for kryssdisplinære arbeidsmåter, som man i dag implementerer på andre måter. Samarbeid i cave gjorde at de ulike faggruppene fikk innsikt i hverandres suksesskriterier og hvilke problemer de var avhengig av å løse.
Jobbet med en lydprobe som kunne forflyttes inne i seismikken. Eksperimenterte med dette, men kom ikke i havn med dette.
CMR jobber i dag mest med skissebasert visualisering og interaktiv visuell analyse, der en får umiddelbar respons. 3D er ofte mindre viktig i disse sammenhengene.
VR-trening for ryggpasienter med bevegelsesfrykt
Thomas Larsen, Master i programutvikling ved HVL, jobber med en masterstudent i fysioterapi med et VR-prosjekt knyttet til fysikalsk rehabilitering. Jobber med pasienter med smerter i rygg. Stort samfunnsproblem, men fysioterapi i tradisjonell form er dyrt. Dermed vanskelig å hjelpe mange. VR kan være et virkemiddel der en gamifisierer ulike øvelser. Benytter forbrukerteknologi der en omslutter pasienten med mål om å skape en sjans distraksjon. Jobber med 90 bps, noe som Oculus ser på som grensen for å unngå problematikk med kvalme etc
Larsen viste en rekke eksempler som ICAROS Flight system, spill som The Climb. Opplevelsen av bevegelse blir mye mer behagelig dersom en selv engasjerer kroppen.
Skal i gang med en klinisk studie med tre VR-opplevelser med opp mot et tyvetalls respondenter. Første gang dette gjennomføres i Norge.
Pedagogisk og kunstnerisk perspektiv på sfæriske medier
Jon Hoem, HVL, begynte med å se på noen historiske paralleller til tidligere forsøk med sfæriske medier.
Hoem viste også eksempler fra egen undervisning, dels knyttet til prosjektet Interaktivt virtuelt feltarbeid, der studenter har eksperimentert med ulike måter å benytte sfærisk fotografering sammen med forskjellige modeller.
Til slutt kom vi i denne sesjonen innom mobilappliksjonen Fotspor.mobi som er utviklet ved Senter for nye medier, HVL.
Projecting Art into VR with Unreal Game Engine
Runar Tistel, Master i programutvikling ved HVL, ser på hvordan en kan lage og rekonstruere kunst ved hjelp av verktøy som Unreal Engine, en spillmotor som gir alt en behøver for å utvikle et tredimensjonalt spill. Unreal har et visuelt språk kalt “Blueprint” som gjør det svært raskt å arbeide med.
Kan en lage et verktøy som andre kan bruke, der en tar opp i seg både rom og tidsdimensjonen
Et grunnleggende spørsmål er hvordan en kan beskrive kunst med tanke på at en datamaskin skal kunne forstå og benytte denne beskrivelsen.
Tistel jobber med “Selvprotrett" av Pushwagner og viste en foreløpig versjon av hvordan et lignende verk kan gjenskapes med datamaskinen. Vil ta tre ulike malerier i forskjellige stiler ig gjenskape dette. Bevise at dette fungerer.
Prosjektet går på mange måter inn i en tradisjon av generativ kunst der Marius Watz er en av forløperne i Norge. Processing blir nevnt som et populært verktøy blant kunstnere
The Night Cafe - An Immersive VR Tribute to Vincent van Gogh
Tistel forsøker å utvikle et kraftigere funksjonbibliotek
I en forlengelse av prosjektet kan en se for seg funksjoner ala Googles TiltBrush
Hololens - prosjekt for Vimond
Til slutt viste masterstudent Audun Gulbrandsen (UiB) et prosjekt der han har benyttet Hololens, en enhet som inneholder en rekke sensorer (tilsvarende Kinect) som skanner omgivelsene.Microsoft anbefaler Unity som utviklingsplattform for Hololens. Har også kommet HoloJS som gjør at en kan lage hele applikasjoner i Javascript.Gulbrandsen lagde en prototype knyttet til et redigeringsprogram – Vimond IO, sammen med studentene Fredrik Jensen og Johanne Ågotnes. Dette var det mest aktuelle caset fordi Hololens gir et smalt synsfelt.HoloLens-prosjektet var en del av bacheloroppgave, våren 2017. Det har vært en rekke presentasjoner av dette prosjektet også i løpet av høsten.
Videre arbeid med sfæriske medier
De to dagene ble proppfulle av interessante løsninger og ideer. Dag to ble avsluttet med en diskusjon, ledet av Lars Nyre, der en så videre mot mulige felles prosjekter.
Fellestrekk for ideene som ble diskutert er lokative / sfæriske applikasjoner rettet mot ulike målgrupper. Det er forsket ganske mye på lokative grensesnitt, men vi vet mindre om hvordan en spesiallager lokativt innhold. Det kan i denne sammenhengen være interessant å utvikle et generelt, åpent format for å formidle lokativ informasjon inneholde. Videre er nettverket godt posisjonert i forhold til å utvikle og teste ulike fortellerkonvensjoner for lokative og sfæriske fortellerformer. En kan også se for seg å utvikle løsninger der en jobber med å orientere ulike medietyper på en gitt lokasjon - ambisonisk lyd, styring av AR, plassering av en visuell sfære etc.