415

De NPO, afkorting voor de Nederlandse Publieke Omroep, vervult een cruciale rol in het Nederlandse medialandschap. Hun missie reikt verder dan louter entertainment; zij streven ernaar audiovisuele content te produceren die een publieke meerwaarde biedt. Dit streven wordt weerspiegeld in de uitzendingen op hun diverse NPO-kanalen, die variëren van televisie tot radio en internetplatforms.

In het licht van deze uitdagingen rust op ons de taak om jongeren, tussen de 15 en 25 jaar, op innovatieve wijze te bereiken en te betrekken bij het aanbod van de NPO. Het gaat hier niet alleen om het vergroten van hun bewustzijn over het bestaan van de NPO en haar programma's, maar ook om het creëren van een aantrekkelijke beleving die jongeren aanspreekt en hen stimuleert om actief deel te nemen aan het media-aanbod. Door slimme, creatieve en doelgerichte strategieën te ontwikkelen, kunnen we jongeren inspireren om meer NPO-content te consumeren, ongeacht het kanaal: televisie, radio of internet. Zo dragen we bij aan het verwezenlijken van de missie van de NPO en versterken we haar impact op de samenleving, met name onder de jeugd.

Concepten

Thema: (Digitale) inclusie, empathie en toegankelijkheid

NPO Vibro

De NPO Vibro is een innovatieve contentervaring van de Nederlandse Publieke Omroep (NPO). Met deze functie kun je kiezen welk kanaal of programma je op dat moment bekijkt en jouw kijkervaring naar een nieuw niveau tillen. Deze functie richt zich voornamelijk op twee doelgroepen.

Allereerst richt het zich op jongeren, die vaak (online) games spelen met controllers. De trillingen van de NPO Vibro verbeteren de immersie in het spel. Op dezelfde manier kan de NPO Vibro jouw kijkervaring versterken terwijl je NPO Start bekijkt. Bijvoorbeeld, je telefoon zou kunnen trillen wanneer acteurs sluipen of als er wordt geschoten, wat de beleving intenser maakt.

Daarnaast verbetert deze functie de ervaring van mensen met een auditieve beperking. Wanneer zij bijvoorbeeld naar het Eurovisiesongfestival kijken, ontvangen ze weliswaar de tekst via teletekst, maar missen ze vaak het tempo en de emotie van de muziek. De NPO Vibro biedt hier uitkomst door te trillen op het ritme van de muziek, waardoor ook hun ervaring wordt verrijkt.

NPO Woordenboek

Het NPO Woordenboek is een nieuwe functie binnen de NPO Start app, ontworpen om laaggeletterden te helpen bij het begrijpen van moeilijke termen die voorkomen in NPO-programma's.

Deze encyclopedie wordt ondersteund door de community. Kijkers kunnen bij termen die in programma's worden genoemd hun eigen uitleg toevoegen. Op deze manier kunnen laaggeletterden meerdere interpretaties van de woorden krijgen en deze later zelf herkennen en begrijpen.

De focus ligt hierbij op jonge laaggeletterden, die worden bijgestaan door verschillende NPO Start-kijkers die de omschrijvingen willen delen.

NPO Quiz

NPO quiz is een toevoeging aan NPO start. In deze quiz kan de gebruiker niet alleen de Nederlandse taal leren, maar ook hun kennis testen van de NPO Programma's. Je kan op basis van NPO programma's games spelen en tegelijkertijd je kennis van de Nederlandse taal oefenen.

Om jongeren te betrekken kan dit door rewards, zoals een maand lang gratis NPO plus, of door de uitdaging van andere spelers of vrienden met leaderboards.

Niet alleen willen we jongeren met dit concept betrekken, maar ook de doelgroep verbreden. Namelijk mensen die nog niet of weinig Nederlands spreken. Zo kunnen ze niet alleen Nederlands oefenen, maar worden ze ook betrokken in de Nederlandse maatschappij doordat ze meer in aanraking komen met de content van NPO.

Eind Concept: NPO Vibro

Om doven/slechthorende een nieuwe ervaring te bieden tijdens het kijken van NPO Programma's is er NPO Vibro. Ingebouwd in NPO Start zal voor programma's bij hun muziek en geluidseffecten trillingen afspelen op de telefoon.

Bij muziek kan je de trillingen verwachten op het tempo, hertz pieken of visuele aspecten van de muziekvideo als ondersteuning en extra beleving. Daarnaast zal bij je trillingen krijgen bij bijvoorbeeld een show zoals Flikker Maastricht. Hierbij zal als er een deur dichtklapt, een pistool een schot afvuurt of tijdens een scène waarbij characters sluipen en er voetstappen dichterbij komen. Zie het als een toevoeging bij audiodescriptie, naast alleen lezen zouden zij dit nu ook kunnen voelen.

Onderzoek

Doelgroep

Onze doelgroep voor dit concept is doven/slechthorende mensen. Dit is een vrij brede doelgroep met de leeftijden die wij hiermee kunnen bereiken. Hoewel de focus meer zit op jongeren, vanwege dat hun meer ervaring hebben met technologie en een ervaring zoeken bij televisie en muziek buiten de concerten waar ze naartoe gaan.

Toch hebben we voor beide, jongeren en ouderen, een persona gemaakt uit onze deskresearch om een beter beeld te krijgen van wat zij eventueel willen/verwachten van ons product en de verschillen tussen deze twee duidelijk te maken.

Jongeren

Ouderen

Wireframes

Ons eerste wireframe was op basis van het concept in de beginfase. Hier hadden we nog niet de scope besproken en niet de focus gelegd op een NPO Start app extensie only. Zo stelde we ons voor dat het net als Earcatch de aflevering kon ophalen door te luisteren via de microfoon (van je telefoon) naar het programma. Zo zou de app daarna naar de timestamp gaan waar je je op dat moment bevind en zal het verder afspelen met de trillingen die ingesteld zijn bij de aflevering.

Onze andere wireframe is om de integratie met de NPO Start app the visualiseren tijdens dat een gebruiker een aflevering bekijkt. Initieel was het idee om naast de vibratie aan of uit te zetten ook de sterkte aan te kunnen passen, hetzelfde idee als een volumebalk. Maar uit verder onderzoek en het maken van de prototypes lijkt de sterkte aanpassen moeilijk toepasbaar te zijn vanwege het verschil per telefoon.

Vertical Android NPO Start Videoplayer

Horizontal Android NPO Start Videoplayer

Prototypes

Main Prototype

In React Native hebben wij ons prototype opgebouwd, hierin zijn onderdelen toegepast zoals het aanroepen van vibraties en een video speler. Op basis van een bepaalde frequentie, in dit geval beats, laten wij de telefoon trillen. Dit is in het huidige prototype handmatig ingesteld met timestamps op basis van het Nederlandse lied voor het Eurovisie Song Festival Europapa. Hieronder is de link naar de code.

https://github.com/thelucky-owl/NPO-vibro-team-415

Frequenties opnemen gebaseerd op een audiofragment

Een van onze doelen was op basis van live audio frequenties op te vangen en met deze frequenties trillingen te laten afspelen op de telefoon wanneer er een piek is. Zo is het makkelijk uit te voeren voor meerdere programma's.

Het is mogelijk om de frequenties live op te nemen via de AudioContext functie. Deze werkt alleen op een website van wat wij hebben ondervonden (Firefox, Chrome, Safari etc.). Deze kun je ook gebaseerd op het lied Europapa zien in een simpele code op de link hieronder. Beide players moet je timen, vanwege dat als een afspeler wordt gebruikt voor de tracking van pieken er geen audio voor de gebruiker zal afspelen.

Prototype Audiocontext

https://github.com/thelucky-owl/NPO-vibro-team-415/tree/demo/javascript-pitch-detector-with-live-audio

Demo

De demo is gebaseerd op het nummer Europapa. Hier zijn de trillingen ingesteld op basis van de stem aan het begin en in midden tot eind aan de bass. De trilling eindigt rond 1:25. Hieronder kan je de APK downloaden voor een Android-apparaat.

Download nu

Doorontwikkeling

Ingebouwd NPO start

Voor ons proof of concept is NPO Vibro een losse applicatie die gebruikt maakt van een video speler. Het concept zou ingebouwd kunnen worden bij NPO start, hiermee hoeven gebruikers geen extra apps te downloaden om deze nieuwe ervaring te beleven

Synchroon met tv

Een andere optie is om zoals Earcatch of Subcatch een losse applicatie te bouwen en deze synchroon te laten lopen met het programma dat afspeelt. Hiermee moeten gebruikers dan wel een extra applicatie dowloaden, maar nu kan NPO bij verschillende apparaten ingezet worden, ipv alleen binnen NPO start, gebruikt worden. Ook als gebruikers bijvoorbeeld samen met iemand iets op tv willen kijken zou NPO vibro hier ingezet kunnen worden.

Acoustic fingerprint

Acoustic fingerprint is een techniek die gebruikt word om audio te herkennen door een kort fragment, verschillende aspecten van audio, zoals het tempo of de nuldoorgang, worden gebruikt om een digitale "fingerprint" te creëren die vergeleken kan worden met andere audio. Deze "fingerprint" kan gebruikt worden databases te door zoeken naar vergelijkbare audio. Deze techniek word gebruikt door bijvoorbeeld Subcatch en Earcatch om te herkennen waar in een film/programma een gebruiker zich bevindt, maar ook door shazam, om muziek te herkennen.

Verschillen per telefoon

Elke telefoon heeft een motor die trilt, de sterkte en intensiteit hiervan kan verschillen per telefoon. Dit kan helaas niet aangesproken en veranderd worden via code, het kan alleen in de instellingen van de telefoon zelf, en zelfs dit kan niet bij iedere telefoon.

Ook hebben verschillende telefoons verschillende processors en werkgeheugen hierdoor kunnen sommige telefoons sneller vibraties achter elkaar afspelen, terwijl dit bij een minder snelle telefoon één lange vibratie achter elkaar is.

Productie kant

Voor de productie zou het maken van een "Vibro track" mee genomen moeten worden in het proces, dit zou waarschijnlijk net zoals audiodescriptie, door het productiehuis zelf gedaan moeten worden. Het zou ook overkoepelend gedaan kunnen worden door NPO zelf, wanneer het bijvoorbeeld ingebouwd staat in NPO start. Maar hierbij zou eerst een selectie gemaakt moeten worden van wel of niet geschikte programmas, I.p.v. dat de productie zelf hier een geïnformeerd besluit over kan nemen.

Generatie

Het genereren van een track zou op basis van audio frequentie gedaan kunnen worden. Door dit uit een bestand af te lezen zouden bijvoorbeeld alleen de lage frequenties van de bass gebruikt kunnen worden. Dit is vooral bij muziek van toepassing.

Bij het genereren voor geluid effecten, zoals een deur die dicht slaat of vuurwerk wat afgaat, zou gebruik gemaakt kunnen worden van audio descriptie. Er zouden standaard effecten ontworpen kunnen worden voor bepaalde effecten, die dan op basis van de timing van audio descriptie afgespeeld kunnen worden.

Controleren

Bij beide voorbeelden zal er uiteindelijk toch een kwaliteitscontrole plaats moeten vinden. Om eventuele timings of andere fouten op te lossen.