Von textilen Wearables und KI-generierter Musik

Machine Learning und Künstliche Intelligenz haben auch die Musikbranche erreicht. In Berlin experimentieren Forscher*innen mit musikalischen Textilien, die auf Körperbewegungen reagieren. Ein Kammerorchester zeigt, wie es funktioniert.

Ob es um Musik für Film und TV, um Hintergrundmusik für Videos und Spiele oder um generische Unterhaltungsmusik geht: Die Diskussion ist längst im Gange, dass solche Sounds und Songs zukünftig immer öfter KI-basiert komponiert werden.

Seit vielen Jahren vervielfachen sich Projekte rund um die Interaktion von Mensch und Maschine in der Musik. Die Kompositions-Software Amper Music und die als virtueller Komponist anerkannte Software AIVA (Artificial Intelligence Virtual Artist) sind die wahrscheinlich prominentesten Beispiele für KI-generierte Musik. Mit Hilfe von Deep-Learning-Algorithmen sind immer mehr Tools in der Lage, neue Songs oder Partituren im Stil bereits existierender Kompositionen zu berechnen, mit deren Noten, Rhythmen und Klangfarben sie gefüttert werden. Über die neuronalen Netze erkennen sie wiederkehrende Muster und beginnen, selbstständig neue Verbindungen zu erschaffen. So können Machine-Learning-Algorithmen schon heute zu Assistenten oder kreativen Partnern eines/einer Musiker*in werden. Und vielleicht auch zu mehr.

Auch die in Berlin lebende Musikerin Holly Herndon programmierte mit einer Machine-Learning-Software ihre persönliche KI-Gesangspartnerin. Sie fütterte das Programm mit ausgesuchten Datensätzen, vor allem mit unterschiedlichen Stimmen, zum Beispiel eines Vokalensembles. Daraus entstand schließlich die eigenständige KI-Stimme „Spawn“, mit der Herndon gemeinsam auf ihrem Album „Proto“ singt.

Schnittstelle zwischen Textil und Sound

Aber auch in ganz anderen Technologien an der Schnittstelle zwischen Mensch und Maschine gibt es experimentelle Entwicklungen, die in der Musikbranche neue Möglichkeiten eröffnen. Im Bereich der Musik-Performance beispielsweise, wo es um körperliche Erfahrungen bei der Klangerzeugung geht. Hier kommen immer öfter mit Bewegungssensoren bestückte Wearables zum Einsatz, mit deren Hilfe sich elektronische Musik über Körperbewegungen oder Gesten steuern und manipulieren lässt.

Ein aktuelles Beispiel hierfür ist ein interdisziplinäres Berliner Projekt, das elektronische Textilsensoren und Gestenverfolgungstechnologien entwickelt. Dafür haben sich Forscher*innen der Universität der Künste (UdK) und des Einstein Center Digital Future einen ganz besonderen Anwendungsfall ausgesucht: Sie arbeiten an der Schnittstelle zwischen Textil und Sound mit dem experimentierfreudigen Verworner-Krause-Kammerorchester (VKKO) zusammen, das mit seinen 18 Musiker*innen scheinbar widersprüchliche Klangwelten miteinander verschmilzt: „Orchestrale Instrumente verflechten sich mit elektronischen Grooves und Soundscapes, ein improvisatorischer Jazz-Touch von Schlagzeug und Kontrabass ergänzt die vertrackte kompositorische Struktur der Musik“, so eine Eigenbeschreibung des Kammerorchesters.

Maßgeschneiderter interaktiver Anzug als Musical Interface

Acht Wochen lang begaben sich die Forscher*innen gemeinsam mit den Künstler*innen in das Berlin Open Lab und das Hybrid Lab, um zu „jammen“ und dabei zu forschen. „Ziel des Projektes war es, ein textiles elektronisches Wearable für einen der beiden Dirigenten des VKKO-Orchesters zu entwickeln, mit dem er über Gestenerkennung seine eigene Performance augmentieren kann“, erklärt Projektleiterin Prof. Berit Greinke. „Dabei handelt es sich um einen maßgeschneiderten interaktiven Anzug, den er für besondere Soundeffekte oder als Musical Interface nutzen kann, also fast wie ein tragbares Instrument.“

Projektleiterin Prof. Berit Greinke

Dirigent Claas Krause wird diesen Anzug zukünftig als performatives musikalisches Werkzeug in Live-Auftritten des Verworner-Krause-Kammerorchesters einsetzen. Bei einem Auftritt beim Impuls-Festival am 24. Oktober 2020 in Berlin kam er erstmals zum Einsatz. Weitere Live-Performances sind für die Zeit nach den Einschränkungen durch Covid-19 geplant.

E-textile-Sensoren: über Druck Klang erzeugen

Die Forscher*innen konnten in diesem Projekt wichtige Falldaten erheben. „Besonders interessant an diesem Anwendungsfall ist der Akt des Dirigierens. Denn diese Bewegung ist ein energischer Ganzkörperakt, der Koordination und aufmerksame Interaktion erfordert“, erklärt Berit Greinke. „Das ist einerseits sehr standardisiert, mit bestimmten Bewegungssequenzen, die sich wiederholen. Diese werden jedoch mit persönlichen performativen Variationen kombiniert. Denn jede Dirigentin und jeder Dirigent hat ja ihren oder seinen persönlichen Stil.“ Aus einer genauen Analyse der Bewegungssequenzen des Dirigenten Krause wurde der individuelle interaktive Anzug entwickelt, der dessen Gestenerkennung ermöglicht.

Bei der Herstellung des Anzugs kam zum einen das chemische Verfahren der „In-situ-Polymerisation“ zum Einsatz, das es ermöglicht, ganz individuelle elektronische textile Sensoren zu generieren, über die sich durch Druck Klang erzeugen lässt.

KI als Werkzeug der Gestenerkennung

Zum anderen arbeitete das Team KI-basiert, indem es das Creative-Computing-Tool „Wekinator“ nutzte, um mit Machine Learning den Input der textilen elektronischen Sensoren aufzunehmen und zu deuten. „Selbst kreativ wird die KI dabei aber nicht“, erläutert Greinke. „Machine Learning dient in unserem Fall der Gestenerkennung, ist also ein Werkzeug, das wir uns zunutze machen, um im Bereich der elektronischen Textilien freier und mit mehr Ausdruck arbeiten zu können.“

Tests mit elektronischen Textilien

Der Einsatz von KI lohnt sich auch im Hinblick auf eine Art Nachjustierung der erhobenen Trainingsdaten. Denn eine Eigenschaft von elektronischen Textilien ist es, dass ihre Funktion weniger verlässlich ist als die von standardisierter Sensorik. Textilien ändern sich täglich, sie nehmen Feuchtigkeit auf, tragen sich auf oder leiern aus, und jedes Mal, wenn so etwas passiert, ändern sich auch die Daten, die aus den elektronischen Textilien empfangen werden. Mit Hilfe der Machine-Learning-Algorithmen lassen sich jedoch auch kurz vor der Performance oder sogar währenddessen noch einmal neue Trainingsdaten einspielen.

Dirigieren geht nahtlos in Performance über

In der Live-Performance des Dirigenten wird für die Zuschauer*innen nicht immer ersichtlich sein, wo in der Interaktion mit dem Orchester die Grenze zwischen akustischer und KI-manipulierter elektronischer Musik verläuft. „Das ist ein Zusammenspiel zwischen dem akustischen Sound des Orchesters und dem elektronischen Sound, der von dem interaktiven Anzug des Dirigenten verändert wird“, sagt Greinke. „Die Aktionen gehen vom Dirigieren des Orchesters nahtlos in Performance über. Das Schlagmuster beispielsweise geht direkt über in Headbanging oder in semi-improvisierte Gestik auf der Bühne. Der Anzug generiert dabei nicht den Sound, sondern verändert ihn, manipuliert ihn. Das sind zum Teil schwimmende Übergange.“

Für 2021 ist ein weiteres Projekt an der Schnittstelle von Textil und Sound geplant. Das Forscher*innenteam hat vor, für drei Musiker*innen – eine Trompeterin, einen Cellisten und einen Vibraphonisten – textile Wearables zu entwickeln, die sie in ihre Performance einbauen können.