GANs N’ Roses, l'intelligenza artificiale per ascoltare i quadri dei grandi artisti

Avete mai pensato di poter ascoltare i quadri? GANs N’ Roses è un progetto che trasforma le immagini in musica in base alle emozioni suscitate.
GANs N’ Roses, l'intelligenza artificiale per ascoltare i quadri dei grandi artisti
SmartWorld team
SmartWorld team

GANs N’ Roses per rendere l'arte ancora più fruibile

Il settore dell'arte è una grande risorsa per ogni Paese. È soggetto di studi che analizzano e trattano le varie forma d'arte, i filoni e le tematiche da punti di vista differenti. È anche una fonte di guadagno, basti pensare al turismo che attira nelle grandi o piccole città e a tutti i musei presenti che organizzano mostre dedicate a vari artisti contemporanei o del passato. I musei, tuttavia, in particolare quelli che si specializzano sull'arte pittorica, non sono accessibili a tutti. Non parliamo proprio di accessibilità alla struttura, ma di fruibilità delle opere. Immaginate una persona non vedente ammirare un quadro e poter vivere le stesse emozioni di chi può vederlo? GANs N' Roses è un progetto nato in Spagna che punta a fornire una soluzione.

Com'è nato il progetto

L'intelligenza artificiale è il mezzo attraverso il quale è nata l'idea dietro questo progetto, che ha come obiettivo quello di permettere alle persone di sperimentare l'arte visiva attraverso altri sensi, in questo caso l'udito.

Percepire i quadri, e più in generale l'arte, non solo attraverso la vista. Com'è possibile? Questo progetto di basa sull'idea di trasformare un quadro in una melodia da ascoltare. Cinque gli ideatori di GANs N' Roses: Guillermo García, Miguel Ángel Reina, Diego Martín, Sara Señorís e Borja Menéndez, che hanno partecipato al corso di Deep Learning dello scorso anno offerto da Saturdays.AI. Si tratta di un'organizzazione non profit che vuole insegnare l'intelligenza artificiale a chiunque voglia cimentarsi.

I dati relativi ai quadri

Innanzitutto, l'immagine o il quadro in analisi viene introdotto in una rete neurale convoluzionale (CNN), la quale è in grado di predire quali sono le emozioni che uno spettatore può provare quando la vede. A questo punto sarebbe semplice sfruttare questi dati e utilizzare un Transformer per produrre una musica composta, ad esempio, dal 50% di ottimismo, 25% di allegria e 25% di invidia.

Tuttavia, in questa fase l'intelligenza artificiale non è in grado di svolgere questo compito. La fase di rilevamento delle emozioni è avvenuta introducendo nel sistema una serie di informazioni composte da dati raccolti da esseri umani relativi a 4 mila quadri e alle emozioni suscitate dalla loro visione. Le opere prese in considerazione appartengono a diversi stili. Le emozioni disponibili per questa raccolta dati erano venti. Queste recensioni emotive sono state tradotte in dati. Il database creato dagli ideatori di questo progetto includeva: il nome del quadro, l'immagine stessa e i dati raccolti tradotti in percentuali emotive.

La musica

Una volta raccolte le informazioni e tradotte in schemi e linguaggi matematici in modo che potessero essere comprese e utilizzate dai computer, è stato il momento di passare alla musica. La melodia doveva essere in grado, nell'arco dei cinque secondi della sua durata, di suscitare le medesime emozioni del quadro scelto. Per questo nuovo passo, il team ha utilizzato altri database relativi alla musica, in cui melodie venivano associate allo stesso schema di emozioni utilizzato per i quadri, o che potesse essere "tradotto".

La trasformazione

I Transformer hanno consentito il passaggio dall'ispirazione iniziale alla melodia finale. Attraverso la manipolazione dei dati originali, il team è riuscito a creare dei modelli di apprendimento automatico in grado di generare dei nuovi contenuti: in questo caso, le melodie che "traducono" le immagini. Con questo meccanismo l'utente può caricare un'immagine, che verrà analizzata dal sistema. Verranno estrapolate delle emozioni sotto forma di grafici e linguaggi che passano al generatore di musica. A questo punto il file corrispondente viene creato e fornito all'utente.

Obiettivi futuri del progetto

GANs N' Roses, dunque, è un progetto che estrae informazioni rilevanti sui dipinti per generare musica con l'obiettivo di suscitare le stesse emozioni. Il team non si ferma qui, ha intenzione di potenziare il sistema classificando un maggior numero di immagini. Inoltre, i cinque ideatori cercheranno di creare un modello di generazione musicale più manipolabile, sul quale possano essere impressi i sentimenti e le emozioni con una precisione maggiore.

Allo stesso tempo, il miglioramento avverrà anche sulla musica stessa, con l'aggiunta di melodie prodotte con strumenti musicali diversi. "Da GANs N' Roses vogliamo che questa applicazione sia usata secondo le necessità dei suoi utenti, quindi vogliamo entrare in contatto con organizzazioni di persone non vedenti e chiedere la loro opinione per incorporare i miglioramenti necessari allo strumento" ha dichiarato il team del progetto.

Mostra i commenti