La IA escolta les abelles per detectar problemes al rusc
IA I CANÇONS
La intel·ligència artificial ja pot identificar cançons a partir d’un simple taral·leig
Els sistemes de cerca musical basats en intel·ligència artificial poden transformar un taral·leig en una empremta melòdica i comparar-la amb milions de fragments per intentar identificar una cançó sense necessitat de conèixer-ne el títol, la lletra o l’intèrpret.
Recordar una melodia però no saber-ne el títol és una situació habitual. La memòria pot conservar-ne el ritme o una successió aproximada de notes, encara que la tonalitat, la velocitat o la durada no coincideixin amb l’enregistrament original.
La intel·ligència artificial ha permès desenvolupar sistemes capaços de treballar precisament amb aquesta informació incompleta. A diferència dels reconeixedors musicals tradicionals, que comparen fragments d’una gravació real, la cerca per taral·leig analitza la forma de la melodia i intenta trobar coincidències dins d’un catàleg musical.
Del taral·leig a una empremta melòdica
Quan una persona taral·leja davant d’un micròfon, el sistema rep variacions de pressió de l’aire que posteriorment converteix en informació digital.
El so es divideix en petits intervals i s’analitzen les freqüències presents en cada moment. El resultat es pot representar mitjançant un espectrograma, un mapa que mostra l’evolució temporal del so, les freqüències i la seva intensitat.
A partir d’aquesta informació es pot determinar la freqüència fonamental i reconstruir el denominat contorn melòdic, és a dir, la successió de notes que pugen, baixen o es mantenen.
Aquest contorn és especialment important perquè una mateixa cançó es pot taral·lejar en una tonalitat diferent de l’original i continuar mantenint les relacions entre les notes.
La IA busca semblances i no una còpia exacta
Els sistemes tradicionals de reconeixement musical, com els basats en empremtes acústiques, funcionen especialment bé quan poden comparar un fragment d’una cançó amb el mateix enregistrament emmagatzemat en una base de dades.
El taral·leig presenta més dificultats. No hi ha instruments, el timbre és diferent i poden variar el ritme, el to o la durada de les notes.
Per resoldre aquesta diferència, els sistemes d’intel·ligència artificial utilitzen representacions matemàtiques conegudes com a embeddings o incrustacions. Aquestes representacions converteixen els fragments musicals en vectors numèrics que permeten mesurar-ne la semblança.
Durant l’entrenament, els models aprenen a situar a prop les diferents versions d’una mateixa melodia i a separar les corresponents a cançons diferents.
Els errors del taral·leig també formen part de l’entrenament
Els sistemes han de tenir en compte que una persona pot recordar una cançó de manera imprecisa. Pot cantar-la més ràpidament, allargar algunes notes, ometre intervals o començar en una part diferent de la peça.
Per això, durant l’entrenament dels models es poden modificar artificialment aspectes com el to o el tempo.
En el sistema desenvolupat per Google, el model SPICE es va utilitzar per extreure informació relacionada amb l’altura musical i generar exemples sintètics semblants a taral·leigs. Posteriorment també es van desenvolupar sistemes per generar versions xiulades o taral·lejades de les melodies.
Hum to Search permet buscar una cançó taral·lejant
Google va presentar Hum to Search l’octubre de 2020 com una funcionalitat integrada en la seva aplicació de cerca.
El sistema permet activar el micròfon, seleccionar l’opció de buscar una cançó i taral·lejar, cantar o xiular durant aproximadament deu o quinze segons.
A continuació, el sistema compara la consulta amb les representacions de les cançons del seu catàleg i ofereix diverses possibles coincidències.
La tecnologia no necessita que l’usuari reprodueixi exactament la tonalitat original, ja que el model està dissenyat per identificar similituds entre melodies encara que hi hagi diferències en la interpretació.
Milions de fragments per comparar una melodia
En la documentació tècnica publicada el 2020, Google va explicar que el sistema havia de trobar correspondències entre més de 50 milions de segments procedents d’enregistraments musicals.
En aquell moment, Hum to Search treballava amb un repertori superior al mig milió de cançons.
El sistema recupera primer un conjunt de candidats i posteriorment realitza noves comprovacions per ordenar les possibles coincidències.
El resultat, però, continua sent probabilístic. La precisió pot variar segons la cançó, la durada del fragment, la qualitat del micròfon, la manera de taral·lejar o l’existència de melodies semblants.
De la cerca musical a la generació de música amb IA
La tecnologia utilitzada per interpretar melodies també té aplicacions més enllà de la identificació de cançons.
El 2023, investigadors de Google van presentar MusicLM, un sistema de generació musical en què una melodia xiulada o taral·lejada podia utilitzar-se, juntament amb una descripció textual, per orientar la creació de música.
Es tracta, però, de dues aplicacions diferents. Mentre que Hum to Search intenta recuperar una obra que ja existeix, els models generatius produeixen contingut musical nou a partir de les instruccions rebudes.
La representació dels catàlegs, un dels reptes
La capacitat d’aquests sistemes també depèn de les dades utilitzades durant l’entrenament i de les cançons disponibles als catàlegs.
Les diferents tradicions musicals poden utilitzar afinacions, escales i ornamentacions diferents. Google ja indicava el 2020 que el catàleg de cerca per taral·leig encara havia d’incorporar més melodies procedents de diferents parts del món.
També hi ha qüestions relacionades amb la gestió de l’àudio, el temps durant el qual es conserva i els criteris utilitzats per ordenar les coincidències.
La cerca per taral·leig mostra, en qualsevol cas, com el processament de senyal i els models d’aprenentatge automàtic poden convertir una melodia recordada de manera aproximada en una consulta capaç de ser comparada amb grans catàlegs musicals.
