Alguna vegada has somiat amb compondre una melodia amb Bach? O tocar al clavicèmbal de Mozart? O fins i tot convertir una composició d’estil Beethoven en una obra mestra electrònica?

Blob Opera és un experiment d’aprenentatge automàtic de David Li en col·laboració amb Google Arts and Culture.

Aquest experiment ret homenatge i explora l’instrument musical original: la veu. Toca quatre veus d’òpera en temps real. No es requereixen habilitats de cant!

Hem desenvolupat un model d’aprenentatge automàtic format per les veus de quatre cantants d’òpera per tal de crear un experiment atractiu per a tothom, independentment de les habilitats musicals. Tenor, Christian Joel, el baix Frederick Tong, la mezzosoprano Joanna Gamble i la soprano Olivia Doutney van gravar 16 hores de cant. A l’experiment no se senten les seves veus, sinó la comprensió del model d’aprenentatge automàtic de com sona el cant d’òpera, en funció del que va aprendre d’ells.

Com funciona:

Arrossegueu els blobs cap amunt i cap avall per canviar el to. O cap endavant i cap enrere per a diferents sons vocàlics. Un altre model d'aprenentatge automàtic permet que els blobs responguin i harmonitzin les vostres aportacions en temps real.

Et sents festiu?

Feu clic a l'arbre de Nadal per obtenir una sorpresa de vacances basada en les nadales de l'any més buscades.

Amb un agraïment especial a:

El tenor Christian Joel, el baix Frederick Tong, la mezzosoprano Joanna Gamble i la soprano Olivia Doutney. Cant addicional d’Ingunn Gyda Hrafnkelsdottir i John Holland-Avery.

Blob Opera és un experiment que utilitza la tecnologia d’àudio web més recent i pot no funcionar de manera òptima en dispositius antics. Si utilitzeu un dispositiu mòbil, per què no proveu-ne un d’escriptori?

Blob Opera: de gira

Hem vist que els blobs fan el que poden fer a The Blobpera House, ara els podeu fer de gira. Porteu els blobs a ciutats de tot el món i trobeu inspiració en la música i els llocs d'interès de Londres, Nova York, Ciutat de Mèxic, Seül, Ciutat del Cap i París.

FreddieMeter analitza el vostre cant mitjançant models d’aprenentatge automàtic que s’han format a les cintes d’estudi originals del cant de Freddie. Els models jutgen la vostra afinació (fins a quin punt toqueu les notes), la vostra melodia (fins a quin punt toqueu les notes entre si) i el timbre (quant el vostre estil vocal coincideix amb el de Freddie).

Aquests models han estat desenvolupats per Google Research amb l’objectiu de crear models d’aprenentatge automàtic que millor entenguin la música. Models com aquests es podrien utilitzar en el futur per ajudar-vos a identificar qualsevol cançó simplement tararejant-la o per ajudar-vos a aprendre a cantar millor.

Per obtenir els millors resultats, proveu FreddieMeter en una habitació tranquil·la amb auriculars amb cable més nous i un dispositiu més nou. Però és possible que encara tingueu problemes per coincidir perfectament amb una veu que els científics encara intenten desxifrar.

Totes les anàlisis del vostre cant es fan al vostre dispositiu, de manera que la vostra veu us queda privada. Si decidiu compartir un vídeo que canteu, es crearà als nostres servidors, però un cop creat, no s’emmagatzemarà, no s’utilitzarà per formar models d’aprenentatge automàtic ni s’utilitzarà per a res més.

Permet descarregat el resultat obtingut tenint en compte l'afinació, la melodia i el timbre. 

El semiconductor és un experiment que us permet dirigir la vostra pròpia orquestra a través del navegador. Podeu moure els braços per canviar el tempo, el volum i la instrumentació d’una peça musical. Utilitza PoseNet , una biblioteca d’aprenentatge automàtic que funciona al navegador, per traçar els vostres moviments a través de la vostra càmera web. Un algorisme s’ajusta a la partitura mentre conduïu, utilitzant centenars de diminuts fitxers d’àudio d’instruments gravats en directe.

Nosaltres, éssers humans, podem imaginar sons mirant una foto: el paisatge d’una platja pot recordar el so de les ones. "Imaginary Soundscape" és una instal·lació de so basada en web, centrada en aquest comportament inconscient, on els espectadors poden passejar lliurement per Google Street View i submergir-se en paisatges sonors imaginaris generats amb models d'aprenentatge profund.

Aquest treball es basa en el desenvolupament recent de la tècnica de recuperació d'informació multimodal, com ara imatge a àudio, text a imatge, mitjançant l'aprenentatge profund. Donades les entrades de vídeo, el sistema es va formar amb dos models: un model de reconeixement d’imatges ben establert i pre-entrenat, processa els fotogrames, mentre que una altra xarxa neuronal convolucional llegeix l’àudio com a imatges d’espectrogrames, evolucionant de manera que la distribució de la seva sortida sigui el més proper possible al del primer. Un cop entrenades, les dues xarxes ens permeten recuperar el fitxer de so més adequat per a una escena, del nostre conjunt de dades de so ambiental massiu.

Els paisatges sonors generats per la IA de vegades ens sorprenen complint les nostres expectatives, però de tant en tant ignoren el context cultural i geogràfic (el so de les ones en un camp gelat de Groenlàndia, per exemple). Aquestes diferències i errors ens porten a contemplar el funcionament de la imaginació i la fertilitat dels entorns sonors que ens envolten. En externalitzar els nostres pensaments sinestèsics, vam intentar donar llum al poder de la imaginació que tots compartim.

Music transcription transformers

Visualitza i escolta exemples: 

Maestro

Entrenador vocal