Seminar om sfæriske medier - desember 2017

posted 12 Dec 2017, 08:00 by Jon Hoem   [ updated 14 Dec 2017, 00:48 ]

Jon Hoem, 12. desember 2017

UH-nett Vest sitt forskernettverk for IKT og medier arrangerte et seminar om sfæriske medier, dem 11 og 12 desember.

Med sfæriske medier forstår vi både lyd- og bildemedier som kan representere omgivelser i en omsluttende form. Dette inkluderer Virtual Reality (VR), dvs grafikk skapt kun med datamaskiner og denne grafikken blir vist i hele brukerens synsfelt. Videre inkluderer sfæriske medier Augmented Reality (AR), dvs representsjonsformer som kombinerer datagrafikk med bilder fra det stedet brukeren befinner seg. Sfæriske medier inkluderer også sfæriske- / 360-bilder og -video, dvs fotografier og video som inkluderer bildeinformasjon i alle retninger.

Seminaret samlet forskere fra UH-nett Vest, inviterte bidragytere og flere masterstudenter med relevante prosjekter. Noe av det som er spennende er at miljøene på Vestlandet samlet sett har svært omfattende kompetanse på dette feltet, i skjæringspunktet mellom medier og IKT.

Å forstå immersiv journalsitikk

Ana Laws fra Høgskolen i Volda åpnet serien av innlegg med å fortelle fra erfaringer gjort gjennom et VRI-prosjekt om VR og 360. I dette prosjektet er lokalavisen Sunnmørsposten er næringspartneren, og de ønsker å utforske hvordan en utnytter teknologien fortellermessig og hvordan dette mottas av publikum.

Noen av spørsmålene som diskuteres i dette prosjektete er hvordan en som produsent forholder seg til at kameraet “forsvinner”, dvs at det ikke er noe som automatisk leder brukeren i forhold til hvor vedkommende retter blikket.

At kameraet oppleves som ikke tilstedeværende er også noe som kan utnyttes i forhold til å påvirke brukerne, og reiser spørsmål om hvilke retningslinjer som skal gjelde i forhold til manipulasjon.



Laws presenterte videre funn fra artikkelen Can Immersive Journalism Enhance Empathy? Mye av retorikken rundt sfæriske medier er knyttet til at dette er “mediet som skal redde bransjen”. Hva er denne optimismen basert på?

For å finne emr ut av dette har Laws sett på Guardians “6X9” og  NY Times “The displaced”, Nonny de la Peña IPSRESS og “Hunger in Los Angeles”. de la Peña har også jobbet med å utforske graden av innlevelse i VR.


I sitt prosjekt fant Laws at det er forskjeller mellom prosjektene i forhold til hvorvidt brukeren kan være aktivt deltakende, ut over observerende. Når en tester prosjekter med ulik teknisk kvalitet virker det ikke som om dette har særlig innvirkning på opplevd emosjonell effekt

6X9 tilbyr stereoskopiske bilder og er immersiv i den forstand at brukeren plasseres i en virtuell fengselscelle. Et spørsmål er imidlertid om vi kan snakke om empati der en ikke har en person å knytte dette til?Uansett er det onteressant at et rent VR-prosjekt scorer høyere på emosjonelt engasjement.


I medievitenskapen er det mye snakk om troverdighet, tillit og lojalitet. Hvordan ivaretar en disse idealene innenfor sfæriske medier?


Hvordan virker det inn at mediet oppleves som såvidt nytt. Vil det gi lavere grad av innlevelse dersom en er vel kjent med mediet. Ville være interessant å se om de erfarne brukerne scorer annerledes.


Mange talspersoner for VR-journalistikken som taler for empati som en viktig faktor, men dette er også et potensielt farlig virkemiddel som kan styre innlevelsen i uheldig grad.


Auditive perspektiver på sfæriske medier

Svein Høier, fra NTNU, introduserte forskjellige måter å jobbe med sfærisk lyd, med utgangspunkt i egen erfaringer og forsøk med surround (5:1 og 7:1), Dolby Atmos og ambisonisk lyd.


Surround 5.1 og 7.1 er kanalbaserte systemer. Dolbys Atmos skiller seg fra dette ved at det ikke er kanalbasert på samme måte. Plassering av lyd er “objektbasert” og lydbildet rendres under avspilling. Lyden på ett sted defineres ut fra koordinater og skapes ved hjelp av et varierende antall lydkilder. Ambisonics er en eldre teknologi. Dette formatet er heller ikke kanalbasert, men må dekodes. Det er ikke et en til en forhold mellom de lagrede kanalene og det som spilles av.


Facebook Spatial workstation - lager Facebooks versjon av ambisonic. Waves og Audioease er noenlunde tilsvarende betalingsløsninger som kommuniserer med lydprogrammer, som f eks Reaper. Til Reaper får en imidlertid også Ambisonic Toolkit, som også fungerer med SuperCollider.

Får å kunne ta opp ambisonisk lyd må en benytte en soundfield-mikrofon (tar opp i A-format, og gjøres om til B-format ambisonics ved hjelp av plugins)


Ønsker ofte å arbeide med romlighet. Facebook har her enkle parametre, mens Audioease har en avansert løsning for å gjenskape klang fra ulike rom.

Adding spatial audio to Ricoh Theta 360 Video

Hvordan kan en skape lydlige fokus? Hvordan understøtte en visuell opplevelse. Det visuelle påvirker i seg selv opplevelsen av lydlig retning


Hvordan skille de lydlige nivåene. Det er gjerne studiokvalitet på en voice-over mens en intervjustemme har lavere kvalitet. Viktig å tenke gjennom hvordan en signaliserer til lytteren hvor en stemme befinner seg i forhold til det fortellende universet


Film og fjernsyn har valgt å prioritere tydelighet, fremfor en realisme knyttet til visuell avstand. Dette handler dels om at mye av lyden ettersynkroniseres  en kan dermed benytte studioopptak. På kino er en vant til at det ikke er en nær sammenheng mellom det visuelle og lydlig retning. Dette er vi vant til, og det oppleves som relativt uproblematisk. I kinosalen jobber man ikke med ett “sweet spot”. Forsøker å gi en brukbar opplevelse til alle i salen, noe man løser med flere høyttalere som sender ut den samme lyden. Her kan man tenke helt annerledes når man jobber opp mot hodetelefoner. Hvordan kan en gi slike slytteopplevelser et løft? Hvilken strategi skal en velge for sfæriske medier?


Hvor stort avvik kan en oppleve mellom visuell retning od lydlig retning før en opplever at disse skiller lag? Hvordan preger “magnetisering” opplevelsen av sfæriske medier?


Avveining mellom styring av fokus og en friere opplevese - lyddesigner vs bruker som styrende


A Virtual Mind Palace

Joakim Vindenes presenterte sitt masterprosjekt A Virtual Mind Palace: Adapting the Method of Loci to Virtual Reality, fra våren 2017

Loki-metoden - plassere informasjon i forhold til geografiske lokasjoner – for undertegnede et slags gjensyn med Memoz, et verktøy for spatiell nettpublisering


Mange tekniske VR-løsninger kom i 2016. Disse er primært beregnet for underholdning, men kan selvsagt benyttes for andre formål.


Det sentrale funnet i masteroppgaven var knyttet til at brukere med høy romlig resonneringsevne hadde generelt høyere score, men gjorde seg også mer nytte av applikasjonen.


Capsule FM

Utviklingen av Capsule.FM begynte med en ide om en applikasjon som viser hva som er på bakken under flyet. Espen Systad og Tor Langballe endte i stedet med en “reisekompanjong” som gir opplevelsen via lydsiden.


Radioen er et medium som på mange måter er på fallrepet, der linearitetetn knyttet til lyd er noe av det som kanskje kommer til å forsvinne. Bestemte seg for å lage en personlig radio, der sendingen blir satt sammen av lydkapsler.


Holder på en navigasjonsform: skip, play again, amplify, action


Capusle.FM et eget CMS knyttet til å lage kapslene - kan være alt fra lydopptak, værmeldinger


I Bergen har teamet jobbet med prosjektet Vidden. Lydguiden skal tilby spesialisert auditiv informasjon, men skal også kunne gjenta lydlig det som er visuelt presentert i andre systemer: Gi brukerne råd, veiledning og historier som hjelper dem å finne veien, beregne tidsbruk, ankomst-tid, banetid, få værmelding, lære om fauna/dyreliv/geologi/historie, og om spesielle utkikksposter eller serveringssteder. Innholdet skal være fleksibelt, og kunne påvirkes av område (GPS), nærlokasjon (beacons), fart, tid, vær, og andre omgivelsesfaktorer.


De har eksperimentert med hvordan en kan iscenesette en samtale som du blir tilhører til - kan dette inkludere lytteren mer?


jsonfeed.org med spesialfelt for tale

Kan en se for seg en åpen standard for denne typen sfærisk medieinnhold. De ser også på muligehtene for å lage et åpent templateformat, muligens med Lua-skriptspråk som base.


Perspektiv på Virtual Reality – hvor var vi for tyve år siden

Dag to begynte med et spennende tilbakeblikk, gitt av Tor Langeland fra CMR. Langeland jobbet med CAD og visualisering siden 1980-tallet. CMR jobber med hele kjeden fra målinger til visualiseringer av data og beslutningsstøtte.
 
Langeland jobbet med Norsk Hydro og CMRs Cave-prosjekt 1996-2008På den tiden prosjektet startet benyttet man typisk Unix-baserte arbeidsstasjoner: Enbrukersituasjon og skjermer med relativt dårlig oppløsning. Bilindustrien og flyindustrien begynte tidlig å interessere seg for bedre visualisering i form av VR. CMR sammen med Hydro begynte å se på eventuell bruk i oljebransjen

Kostnaden for CAVE og maskinvare var i størrelsesorden 10 mill. Kunne rendre rundt 10 millioner polygoner i sekundet. Utfordring å nå tilstrekkelig bilderate, måtte ha rundt 30 bilder i sekundet. Måtte i praksis ha det doble pga av at en viste stereoskopisk. Utviklingen på maskinvaresiden gikk imidlertid raskt.

Bygget videre på Crumbs VR kode, utviklet for biometriske data av NCSA i USA. Første versjon av HydroVR ble resultatet av dette i løpet av noen få måneder.

Kunne etter hvert vise veldig mange forskjellige datatyper. Hadde mot slutten av prosjektet et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutninger. Samlet alle de som tidligere hadde jobbet sekvensielt. Fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.

Begynte etter hvert å jobbe med sammenkobling av to eller flere caver for på den måten å kunne samarbeide over distanse. Viste eksempel på brønnplanleggingssesjon der man koblet sammen caver i London og Houston.

Laget mot slutten et verktøy der en kunne jobbe med 2D-projeksjoner for å kunne trekke ut nøyaktig informasjon.

Kunne etter hvert vise veldig mange forskjellige datatyper. Hadde mot slutten av prosjektet et sted mellom 30 og 40 ulike verktøy for visualisering og samarbeid. Kunne dermed bruke caven på tvers av faggrupper og på den måten øke hastigheten på vurderinger og beslutning. Samlet alle de som tidligere hadde jobbet sekvensielt. Fra 3-4 uker ned til 2-3 dager for å planlegge boringen av en brønn. Eksperimenterte med haptic feedback, der en ingeniør møtte motstand dersom en forsøkte å lage en brønnbane som ikke var borbar.


Se A Decade of Increased Oil Recovery in VR


Daniel Patel (CMR og HVL) fortalte om utviklingen i forlengelsen av cave-løsningene. CMR utviklet VRSafety i 2004. Ønsket å lage et verktøy for å visualisere scenarier for eksplosjoner og brann. Laget først 3D-motoren fra bunnen av i C++ og Open GL


Endte etter hvert opp med å benytte kommersielt tilgjengelige løsninger. Valget falt på Unity pga en stor geometri, som på det tidspunktet ikke kunne håndteres i Ureal Engine. Begge disse spillmotorene har veldig gode redringsmuligheter og visuelle editorer.


Visualiseringssystemene har på noen områder blitt overtatt av høyoppløselige monitorer. Bruken av VR var imidlertid med på å legge til rette for kryssdisplinære arbeidsmåter, som man i dag implementerer på andre måter. Samarbeid i cave gjorde at de ulike faggruppene fikk innsikt i hverandres suksesskriterier og hvilke problemer de var avhengig av å løse.


Jobbet med en lydprobe som kunne forflyttes inne i seismikken. Eksperimenterte med dette, men kom ikke i havn med dette.


CMR jobber i dag mest med skissebasert visualisering og interaktiv visuell analyse, der en får umiddelbar respons. 3D er ofte mindre viktig i disse sammenhengene.



VR-trening for ryggpasienter med bevegelsesfrykt

Thomas Larsen, Master i programutvikling ved HVL, jobber med en masterstudent i fysioterapi med et VR-prosjekt knyttet til fysikalsk rehabilitering. Jobber med pasienter med smerter i rygg. Stort samfunnsproblem, men fysioterapi i tradisjonell form er dyrt. Dermed vanskelig å hjelpe mange. VR kan være et virkemiddel der en gamifisierer ulike øvelser.

Benytter forbrukerteknologi der en omslutter pasienten med mål om å skape en sjans distraksjon. Jobber med 90 bps, noe som Oculus ser på som grensen for å unngå problematikk med kvalme etc


Larsen viste en rekke eksempler som ICAROS Flight system, spill som The Climb. Opplevelsen av bevegelse blir mye mer behagelig dersom en selv engasjerer kroppen.


Skal i gang med en klinisk studie med tre VR-opplevelser med opp mot et tyvetalls respondenter. Første gang dette gjennomføres i Norge.


Pedagogisk og kunstnerisk perspektiv på sfæriske medier 


Jon Hoem, HVL, begynte med å se på noen historiske paralleller til tidligere forsøk med sfæriske medier.


Hoem snakket litt om hvordan en kan jobbe med tids- og romdimensjonene i forhold til hvem som har eller gis kontrollen over disse dimensjonene:


Hoem viste også eksempler fra egen undervisning, dels knyttet til prosjektet Interaktivt virtuelt feltarbeid, der studenter har eksperimentert med ulike måter å benytte sfærisk fotografering sammen med forskjellige modeller. 

Til slutt kom vi i denne sesjonen innom mobilappliksjonen Fotspor.mobi som er utviklet ved Senter for nye medier, HVL. 

Projecting Art into VR with Unreal Game Engine

Runar Tistel, Master i programutvikling ved HVL, ser på hvordan en kan lage og rekonstruere kunst ved hjelp av verktøy som Unreal Engine, en spillmotor som gir alt en behøver for å utvikle et tredimensjonalt spill. Unreal har et visuelt språk kalt “Blueprint” som gjør det svært raskt å arbeide med.


Kan en lage et verktøy som andre kan bruke, der en tar opp i seg både rom og tidsdimensjonen


Et grunnleggende spørsmål er hvordan en kan beskrive kunst med tanke på at en datamaskin skal kunne forstå og benytte denne beskrivelsen.


Tistel jobber med “Selvprotrett" av Pushwagner og viste en foreløpig versjon av hvordan et lignende verk kan gjenskapes med datamaskinen. Vil ta tre ulike malerier i forskjellige stiler ig gjenskape dette. Bevise at dette fungerer.


Prosjektet går på mange måter inn i en tradisjon av generativ kunst der Marius Watz er en av forløperne i Norge. Processing blir nevnt som et populært verktøy blant kunstnere


The Night Cafe - An Immersive VR Tribute to Vincent van Gogh


Tistel forsøker å utvikle et kraftigere funksjonbibliotek


I en forlengelse av prosjektet kan en se for seg funksjoner ala Googles TiltBrush


Hololens - prosjekt for Vimond

Til slutt viste masterstudent Audun Gulbrandsen (UiB) et prosjekt der han har benyttet Hololens, en enhet som inneholder en rekke sensorer (tilsvarende Kinect) som skanner omgivelsene.

Microsoft anbefaler Unity som utviklingsplattform for Hololens. Har også kommet HoloJS som gjør at en kan lage hele applikasjoner i Javascript.

Gulbrandsen lagde en prototype knyttet til et redigeringsprogram – Vimond IO, sammen med studentene Fredrik Jensen og Johanne Ågotnes. Dette var det mest aktuelle caset fordi Hololens gir et smalt synsfelt.

HoloLens-prosjektet var en del av bacheloroppgave, våren 2017. Det har vært en rekke presentasjoner av dette prosjektet også i løpet av høsten.


Videre arbeid med sfæriske medier

De to dagene ble proppfulle av interessante løsninger og ideer. Dag to ble avsluttet med en diskusjon, ledet av Lars Nyre, der en så videre mot mulige felles prosjekter.


Fellestrekk for ideene som ble diskutert er lokative / sfæriske applikasjoner rettet mot ulike målgrupper. Det er forsket ganske mye på lokative grensesnitt, men vi vet mindre om hvordan en spesiallager lokativt innhold. Det kan i denne sammenhengen være interessant å utvikle et generelt, åpent format for å formidle lokativ informasjon inneholde. Videre er nettverket godt posisjonert i forhold til å utvikle og teste ulike fortellerkonvensjoner for lokative og sfæriske fortellerformer. En kan også se for seg å utvikle løsninger der en jobber med å orientere ulike medietyper på en gitt lokasjon - ambisonisk lyd, styring av AR, plassering av en visuell sfære etc.

Tester stillbildevideo i 360

posted 13 Nov 2017, 09:31 by Jon Hoem   [ updated 15 Nov 2017, 03:32 ]

Forsetter der jeg slapp i går (se nedenfor), men i en helt annen sjanger. Her en blanding av egne sfæriske bilder og bilder rippet fra Google Streetview. Ideen er at en på denne måten skal kunne ta studentene til interessante steder, andre steder i verden, og snakke om arkitektur – uten å reise noen steder.



Gjorde litt forsøk på å justere lydbildet i FinalCut, men det er ikke all verden å hente med såvidt enkle spor. Burde i tilfelle hatt flere, mer distinkte og isolerte lyder.

Et lite mentalt notat: for lydlegging har jeg så langt benyttet Audacity og lydmanipulasjonen som er tilgjengelig i FinalCut. Audacity er et supert program, men det virker ikke som det støtter ambisonisk lyd. I alle fall ikke på en enkel måte. Skal en jobbe med ambisonisk lyd, som er neste steg, ser Reaper og SuperCollider ut til å være noen av alternativene. Begge disse ser ut til å kunne benyttes sammen med Ambisonic Toolkit. Så er det selvølgelig Facebooks Spatial Workstation. Ønsker å holde meg til fritt tilgjengelige løsninger, samtidig som jeg er ute etter å gjøre ting på enklest mulig måte, så valget er ikke helt åpenbart.

En liten sfærisk fiksjonsfilm, basert på et stillbilde. Tanken er å se i hvilken grad en klarer å skape nye, noe mer kunstneriske uttrykk med enkle løsninger. Det ble kanskje litt dystopisk dette, men det er ofte den enkleste sjangeren å operere i:

Uansett et ganske spennende format å jobbe i, der tiden styres av lydsiden, mens brukeren selv blir ansvarlig for å endre utsnittet.

Her er utgangspunktet er ett enkelt, sfærisk bilde. Dette er så redigert i ulike versjoner og satt sammen med et lydstrekk, bestående av monolog, miljølyder og effektlyder. Egentlig er det lyden som er hovedsaken her, og neste skritt blir å teste ambisonisk lyd, slik at oppmerksomheten kan styres auditivt gjennom å plassere lydene i 3D-rommet.

   

Underveiserfaringer – HVL, per oktober 2017

posted 17 Oct 2017, 08:03 by Jon Hoem   [ updated 17 Oct 2017, 08:09 ]

Om ikke dokumentet vises nedenfor: åpne det her.

Google lansere VR-briller som ikke krever mobil eller PC

posted 18 May 2017, 14:36 by Jon Hoem   [ updated 18 May 2017, 14:36 ]

Google opplyser at VR-plattformen deres, Daydream, snart vil støtte VR-briller som verken krever PC eller mobil. De nye brillene vil også bli utstyrt med en sporingsteknologi som kalles WorldSense. Denne løsningen gjør det mulig å registre hvor hodet ditt befinner seg i rommet. WorldSense skal takle høy presisjon og fungerer altså uten noen form for eksterne sensorer.

Ifølge Google er det foreløpig to produsenter som jobber med VR-briller basert på den nye Daydream-plattformen, nemlig HTC og Lenovo. De første enhetene skal visstnok komme senere i år.

Ti tips for bedre 360-video

posted 13 Mar 2017, 14:45 by Jon Hoem   [ updated 13 Mar 2017, 14:45 ]

Høsten 2013 begynte Teknisk Ukeblad med 360-/VR-produksjoner, etter å ha eksperimentert med 360-bilder i flere år tidligere. Men det var først i 2016 de virkelig satset, med innovasjonsstøtte fra Google og helt nye muligheter til å utforske VR-journalistikk som metode. Alle postene ligger under TUs VR-seksjon.

Et av hovedmålene med VR-prosjektet har vært å gjøre det mulig for en journalist å produsere en enkel VR-produksjon på én dag. Så mens noen få av oss har gått i dybden, har hver enkelt journalist i TU fått en meget enkel opplæring før de har tatt med seg et kamera ut på reportasje. Det har gitt oss en helt ny metode for å fortelle en historie.

Basert på disse erfaringene har de laget 10 tips for enkle VR-produksjoner.

VR-briller i klasserommet

posted 13 Mar 2017, 03:34 by Jon Hoem   [ updated 13 Mar 2017, 03:35 ]

Film fra Statped om hvordan Groruddalen skole har tatt i bruk VR-briller i klasserommet for å variere og tilrettelegge undervisningen.

Jakter på virtuelle virkeligheter

posted 13 Mar 2017, 01:53 by Jon Hoem   [ updated 13 Mar 2017, 01:53 ]

Virtuell virkelighet blant områdene der den teknologiske utviklingen går raskest og pengene flyter fortest for tiden. DN fikk en virtuell opplevelse hos et av Austins fremste oppstartselskaper innen VR, skriver Bjørn Eckblad i Dagens næringsliv.

Utstyret DN fikk teste heter Omni og er utviklet av Jan Goetgeluk og selskapet Virtuix. Det omtales som en 360 tredemølle, som kobles til annet tilgjengelig VR-utstyr:
DN tester ut en 360 tredemølle kalt Omni, som skal gjøre VR-opplevelsen enda bedre fordi man faktisk beveger seg fysisk i det virtuelle rommet. Omni er utviklet av Jan Goetgeluk og selskapet Virtuix. Foto: Marte Christensen

Forskningsleder Jan Håvard Skjetne ved Sintef Digital er på SXSW for å plukke opp de siste trendene fra digitale fronten. Prosjekter innen AR og VR er av stor interesse for Sintef.

– For at VR og AR skal ta av, må innholdet være bra nok og fremstillingen av det billig nok. Vi i Sintef ser særlig på mulighetene innen for eksempel trening og opplæring, medisinsk diagnostisering og opplæring, bygg og konstruksjon, og datavisualisering, sier Skjetne.

De store aktørene innen VR har så langt vært mobilprodusenten HTC, Google, Samsung og VR-brilleprodusenten Oculus, som Facebook kjøpte for to milliarder dollar i 2014. Facebook avsatt 250 millioner er dollar til å utvikle VR-innhold, penger som kommer på toppen av en like stor pott fra datterselskapet Oculus.

1-7 of 7