La plupart des outils audio IA sont construits autour d’une seule promesse, donnez-leur un prompt, obtenez quelque chose de poli. Engram, un nouvel instrument de la startup musicale Thoughtful Things, fonctionne selon le principe inverse. Il traite l’échec de l’IA non pas comme un bug à corriger, mais comme la matière première d’un nouveau genre de musique.
L’appareil est un sampleur et une groovebox. Il prend l’audio entrant, le fait passer par un modèle d’IA hébergé localement et produit des sons qui sont distordus, buggés et délibérément étranges. L’objectif n’est pas d’approximer ce qu’un studio professionnel produirait. L’objectif est de trouver ce qui se cache aux limites de ce qu’un petit modèle d’IA peut faire, puis de repousser ces limites.
Un tout petit modèle, entraîné avec intention
Engram ne se connecte pas à Internet. L’IA qui y fonctionne est compacte par conception, entraînée en interne par Thoughtful Things sur des ensembles de données audio concédés sous licence pour un usage commercial, en particulier du matériel sous licence CC-BY ou des licences ouvertes similaires. L’entreprise a déclaré explicitement qu’elle n’a pas entraîné ses modèles sur des données non commerciales, piratées ou non autorisées d’une autre manière, et qu’elle ne le fera jamais.
Il convient de s’y attarder. La question des données sur lesquelles les modèles d’IA sont entraînés est devenue l’un des litiges juridiques et éthiques centraux dans les industries créatives. En s’engageant publiquement en faveur de données d’entraînement exclusivement sous licence, Thoughtful Things adopte une position que beaucoup de grandes entreprises d’IA audio ont hésité à prendre avec la même clarté. La question de savoir si cet engagement tiendra à mesure que l’entreprise grandira est un autre sujet, mais la déclaration elle-même est remarquable dans un domaine où la transparence a souvent fait défaut.
Le choix d’exécuter le modèle localement, plutôt que via une connexion cloud, a également du sens. Cela fait d’Engram un instrument autonome, ressemblant davantage à un synthétiseur qu’à un abonnement logiciel. L’utilisateur possède l’appareil et son comportement. Il n’y a pas de dépendance à un serveur, pas de politique d’utilisation qui peut changer du jour au lendemain.
Le circuit bending pour l’ère de l’IA
Le fondateur Evan King décrit Engram comme un enregistreur de terrain pour espace latent. Cette expression mérite d’être décortiquée. L’espace latent, en apprentissage automatique, désigne la représentation mathématique interne qu’un modèle construit des données qu’il a apprises. Lorsqu’un modèle génère une sortie, il navigue dans cet espace. La prémisse d’Engram est que naviguer de manière maladroite, ou le pousser dans un territoire qu’il n’a pas été conçu pour gérer, produit quelque chose d’intéressant plutôt que quelque chose de cassé.
Dans la vidéo de campagne, King démontre cela en prononçant le mot piano dans l’appareil. Ce qui revient n’est pas un son de piano. C’est quelque chose de vaguement semblable à un piano, buggé et transformé, reconnaissable seulement dans ses contours. Cet écart entre l’entrée et la sortie constitue l’instrument.
Le point de référence ici est le circuit bending, une pratique apparue dans la musique expérimentale il y a des décennies. Les adeptes du circuit bending modifient physiquement des appareils électroniques, des jouets et des instruments en recâblant leurs circuits d’une manière que les fabricants n’avaient jamais prévue, produisant ainsi des sons imprévisibles. Engram applique cette même logique à l’IA, le modèle peut être modifié, poussé et effectivement cassé, et les résultats sont traités comme de la matière musicale plutôt que comme des erreurs.
Thoughtful Things prévoit également d’ouvrir le firmware d’Engram, permettant aux utilisateurs de le modifier ou de charger leurs propres modèles personnalisés. Cela positionne l’appareil non seulement comme un instrument, mais comme une plateforme, une plateforme qui pourrait évoluer grâce à l’expérimentation de la communauté d’une manière que l’entreprise elle-même ne peut pas entièrement prédire.
Engram est lancé via Kickstarter au prix de 675 dollars, décrit comme une réduction de 30 pour cent par rapport à un prix de vente au détail prévu entre 850 et 900 dollars.
Ce que cela révèle sur l’IA et les outils créatifs
La portée plus large d’Engram ne concerne pas vraiment la musique. Elle concerne un changement dans la façon dont les outils d’IA sont conçus pour le travail créatif.
Le modèle dominant dans les outils de créativité par IA a été celui du lissage, réduire la friction, éliminer l’imperfection, fournir un résultat qui sonne ou a l’air fini. Ce modèle sert un certain type d’utilisateur et un certain type d’objectif. Mais il réduit également l’espace de ce qui est possible. Lorsque chaque résultat est optimisé vers une cible, la gamme des résultats converge.
Engram pointe dans une autre direction. Il traite le modèle d’IA comme un matériau doté de ses propres propriétés, y compris ses modes d’échec, et demande ce qui se passe lorsqu’un musicien humain travaille avec ces propriétés plutôt que contre elles. Il ne s’agit pas d’une IA remplaçant la créativité humaine. C’est un humain utilisant l’IA de la même manière qu’un sculpteur utilise la pierre, travailler avec le grain, trouver ce que le matériau veut faire et façonner cela en quelque chose d’intentionnel.
L’instrument soulève également une question qui deviendra plus urgente à mesure que les outils d’IA proliféreront, qui contrôle le modèle et à quelles conditions ? Le fonctionnement local d’Engram, son firmware ouvert et sa politique de données d’entraînement transparentes représentent une réponse. C’est une réponse qui privilégie l’autonomie de l’utilisateur par rapport à la commodité de la plateforme.
En bref
Engram est un instrument de musique qui fait tourner un petit modèle d’IA hébergé localement et utilise les bugs et les distorsions de ce modèle comme sa principale production créative. Conçu par Thoughtful Things, il s’inscrit dans la tradition du circuit bending pour traiter l’échec de l’IA comme une fonctionnalité plutôt que comme un défaut. Sa politique de données d’entraînement, son firmware ouvert et son fonctionnement hors ligne le distinguent des outils audio IA dépendants du cloud. Le point le plus profond est le suivant, tous les outils créatifs basés sur l’IA n’ont pas besoin d’être optimisés pour le fini. Certains des territoires créatifs les plus intéressants se trouvent peut-être précisément là où le modèle se brise.
D’après un reportage de The Verge.