E09 Experiments
de Google
Tasca
Prova els diferents experiments i desa evidències (captura de pantalla, vídeo o enllaç) de les proves fetes.
MELODIA ASSISTIDA
Compon i harmonitza com Bach, Mozart o Beethoven
Alguna vegada has somiat amb compondre una melodia amb Bach? O tocar al clavicèmbal de Mozart? O fins i tot convertir una composició d’estil Beethoven en una obra mestra electrònica?
BLOB ÒPERA
Crea una obra polifònica a 4 veus a:
https://artsandculture.google.com/experiment/blob-opera/AAHWrq360NcGbw (A NO SER QUE JA HAGIS FET LA TASCA A04)
Blob Opera és un experiment d’aprenentatge automàtic de David Li en col·laboració amb Google Arts and Culture.
Aquest experiment ret homenatge i explora l’instrument musical original: la veu. Toca quatre veus d’òpera en temps real. No es requereixen habilitats de cant!
Hem desenvolupat un model d’aprenentatge automàtic format per les veus de quatre cantants d’òpera per tal de crear un experiment atractiu per a tothom, independentment de les habilitats musicals. Tenor, Christian Joel, el baix Frederick Tong, la mezzosoprano Joanna Gamble i la soprano Olivia Doutney van gravar 16 hores de cant. A l’experiment no se senten les seves veus, sinó la comprensió del model d’aprenentatge automàtic de com sona el cant d’òpera, en funció del que va aprendre d’ells.
Com funciona:
Arrossegueu els blobs cap amunt i cap avall per canviar el to. O cap endavant i cap enrere per a diferents sons vocàlics. Un altre model d'aprenentatge automàtic permet que els blobs responguin i harmonitzin les vostres aportacions en temps real.
Et sents festiu?
Feu clic a l'arbre de Nadal per obtenir una sorpresa de vacances basada en les nadales de l'any més buscades.
Amb un agraïment especial a:
El tenor Christian Joel, el baix Frederick Tong, la mezzosoprano Joanna Gamble i la soprano Olivia Doutney. Cant addicional d’Ingunn Gyda Hrafnkelsdottir i John Holland-Avery.
Blob Opera és un experiment que utilitza la tecnologia d’àudio web més recent i pot no funcionar de manera òptima en dispositius antics. Si utilitzeu un dispositiu mòbil, per què no proveu-ne un d’escriptori?
Blob Opera: de gira
Hem vist que els blobs fan el que poden fer a The Blobpera House, ara els podeu fer de gira. Porteu els blobs a ciutats de tot el món i trobeu inspiració en la música i els llocs d'interès de Londres, Nova York, Ciutat de Mèxic, Seül, Ciutat del Cap i París.
A.I. DUET
Fes un duo de piano interaccionant amb la intel·ligència Artificial
Vols fer un duo amb Intel·ligència artificial?
El piano respón segons tu proposis.
FREDDIEMETER
Avalua l'afinació, la correspondència amb la melodia i el timbre amb cançons de Qeen
FreddieMeter analitza el vostre cant mitjançant models d’aprenentatge automàtic que s’han format a les cintes d’estudi originals del cant de Freddie. Els models jutgen la vostra afinació (fins a quin punt toqueu les notes), la vostra melodia (fins a quin punt toqueu les notes entre si) i el timbre (quant el vostre estil vocal coincideix amb el de Freddie).
Aquests models han estat desenvolupats per Google Research amb l’objectiu de crear models d’aprenentatge automàtic que millor entenguin la música. Models com aquests es podrien utilitzar en el futur per ajudar-vos a identificar qualsevol cançó simplement tararejant-la o per ajudar-vos a aprendre a cantar millor.
Per obtenir els millors resultats, proveu FreddieMeter en una habitació tranquil·la amb auriculars amb cable més nous i un dispositiu més nou. Però és possible que encara tingueu problemes per coincidir perfectament amb una veu que els científics encara intenten desxifrar.
Totes les anàlisis del vostre cant es fan al vostre dispositiu, de manera que la vostra veu us queda privada. Si decidiu compartir un vídeo que canteu, es crearà als nostres servidors, però un cop creat, no s’emmagatzemarà, no s’utilitzarà per formar models d’aprenentatge automàtic ni s’utilitzarà per a res més.
Permet descarregat el resultat obtingut tenint en compte l'afinació, la melodia i el timbre.
SEMI-CONDUCTOR
Dirigeix l'orquestra movent els braços
El semiconductor és un experiment que us permet dirigir la vostra pròpia orquestra a través del navegador. Podeu moure els braços per canviar el tempo, el volum i la instrumentació d’una peça musical. Utilitza PoseNet , una biblioteca d’aprenentatge automàtic que funciona al navegador, per traçar els vostres moviments a través de la vostra càmera web. Un algorisme s’ajusta a la partitura mentre conduïu, utilitzant centenars de diminuts fitxers d’àudio d’instruments gravats en directe.
PAISATGE SONOR IMAGINARI
Instal·lació de so basada en web a Google Street View generada amb models d’aprenentatge profund
Nosaltres, éssers humans, podem imaginar sons mirant una foto: el paisatge d’una platja pot recordar el so de les ones. "Imaginary Soundscape" és una instal·lació de so basada en web, centrada en aquest comportament inconscient, on els espectadors poden passejar lliurement per Google Street View i submergir-se en paisatges sonors imaginaris generats amb models d'aprenentatge profund.
Aquest treball es basa en el desenvolupament recent de la tècnica de recuperació d'informació multimodal, com ara imatge a àudio, text a imatge, mitjançant l'aprenentatge profund. Donades les entrades de vídeo, el sistema es va formar amb dos models: un model de reconeixement d’imatges ben establert i pre-entrenat, processa els fotogrames, mentre que una altra xarxa neuronal convolucional llegeix l’àudio com a imatges d’espectrogrames, evolucionant de manera que la distribució de la seva sortida sigui el més proper possible al del primer. Un cop entrenades, les dues xarxes ens permeten recuperar el fitxer de so més adequat per a una escena, del nostre conjunt de dades de so ambiental massiu.
Els paisatges sonors generats per la IA de vegades ens sorprenen complint les nostres expectatives, però de tant en tant ignoren el context cultural i geogràfic (el so de les ones en un camp gelat de Groenlàndia, per exemple). Aquestes diferències i errors ens porten a contemplar el funcionament de la imaginació i la fertilitat dels entorns sonors que ens envolten. En externalitzar els nostres pensaments sinestèsics, vam intentar donar llum al poder de la imaginació que tots compartim.
Magenta
El projecte Magenta és un projecte de recerca musical associat a Google i el seu Google AI, que cerca l'enteniment i l'aplicació d'intel·ligència artificial a nombrosos productes i diversos camps..
T'imagines que cantes una melodia i la IA et crea l'acompanyament?
T'imagines que parles i la IA continua el discurs d'una manera coherent i amb la teva veu i prosòdia?
T'imagines que toques un fragment de piano i la IA crea la continuació conservant l'estil?
T'imagines que d'un àudio polifònic en surti una transcripció MIDI?
T'imagines poder tenir un entrenador vocal amb IA?
Tot això ja és possible en fase beta. Escolta els exemples de cada una d'aquestes opcions.
SingSong
SingSong, és un sistema que genera música instrumental per acompanyar les veus d'entrada, oferint potencialment tant a músics com a no músics una nova manera intuïtiva de crear música amb la seva pròpia veu.
AudioLM
Després de l'entrenament, es pot condicionar AudioLM a uns quants segons d'àudio, cosa que li permet generar una continuació consistent. Per tal de mostrar l'aplicabilitat general del marc AudioLM, considerem dues tasques de diferents dominis d'àudio:
Continuació de la parla , on s'espera que el model conservi les característiques del parlant, la prosòdia i les condicions d'enregistrament de l'indicador alhora que produeix un nou contingut que sigui sintàcticament correcte i semànticament coherent.
Continuació del piano , on s'espera que el model generi música de piano coherent amb el prompt en termes de melodia, harmonia i ritme.
Music transcription transformers
Visualitza i escolta exemples:
Maestro
Entrenador vocal