Wie aus einem fertigen Song Gesang, Schlagzeug und Gitarren wiederhergestellt werden: Music Source Restoration im Jahr 2026

Ein fertiger Song klingt wie eine einzige zusammenhängende Aufnahme, doch ursprünglich bestand er aus einer Vielzahl einzelner musikalischer Quellen: Haupt- und Begleitgesang, Schlagzeug, Bass, Gitarren, Keyboards, Synthesizer und weitere Instrumente. Sobald diese Bestandteile gemischt, bearbeitet und gemastert wurden, wird ihre erneute Trennung schwierig, weil sich ihre Frequenzen überschneiden und Studioeffekte die ursprünglichen Signale verändern. Music Source Restoration, meist als MSR abgekürzt, beschäftigt sich mit einer anspruchsvolleren Variante dieses Problems. Statt lediglich den Gesang oder das Schlagzeug herauszulösen, die im fertigen Master noch zu hören sind, versucht MSR, eine sauberere und weniger bearbeitete Version der Quelle zu rekonstruieren, die vor einem großen Teil der Mixing- und Mastering-Prozesse existierte. Forschungen aus dem Jahr 2025 etablierten MSR als eigenständige Audioaufgabe, während Arbeiten rund um die ICASSP 2026 daraus ein aktives Forschungsgebiet mit eigenen Benchmarks, konkurrierenden Systemen und öffentlich verfügbaren Forschungswerkzeugen gemacht haben.

Vom fertigen Master zu getrennten musikalischen Quellen

Mit herkömmlicher Music Source Separation ist es bereits möglich, eine Stereoaufnahme zu analysieren und mehrere einzelne Bestandteile zu schätzen. Ein Trennungssystem kann beispielsweise eine WAV- oder FLAC-Datei erhalten und daraus separate Dateien für Gesang, Schlagzeug, Bass und andere Instrumente erzeugen. Das ist nützlich, besitzt jedoch eine wichtige Einschränkung. Der extrahierte Gesang behält normalerweise Eigenschaften bei, die während der Produktion hinzugefügt wurden. Wenn eine Stimme vor der Erstellung des finalen Masters komprimiert, mit Equalizing bearbeitet und mit Hall versehen wurde, extrahiert ein gewöhnliches Trennmodell in der Regel einen Gesang, der zumindest einen Teil dieser Veränderungen weiterhin enthält. Es trennt also das, was in der fertigen Aufnahme vorhanden ist, statt zu versuchen, die frühere Studioquelle zu rekonstruieren.

Music Source Restoration verfolgt ein zusätzliches Ziel. Das System muss erkennen, welche Klänge zu welcher musikalischen Quelle gehören, und gleichzeitig einschätzen, wie diese Klänge vor der Bearbeitung geklungen haben könnten. Man kann sich beispielsweise eine Gitarre vorstellen, die über mehrere Effekte aufgenommen wurde. Ihre Frequenzen wurden möglicherweise mit einem Equalizer verändert, laute und leise Noten durch Kompression angeglichen und das Instrument mit Hall in einen künstlichen akustischen Raum gesetzt. Anschließend kann auch das finale Master weitere Limitierung, Stereobearbeitung und verlustbehaftete Kodierung erhalten haben. MSR betrachtet diese Veränderungen als Teil des Restaurierungsproblems, anstatt davon auszugehen, dass das gemasterte Stück lediglich eine saubere Summe verschiedener Instrumente darstellt.

Diese Unterscheidung wurde durch Forschungsarbeiten von Yongyi Zang, Zheqi Dai, Mark D. Plumbley und Qiuqiang Kong formalisiert. Ihre ursprüngliche MSR-Arbeit führte RawStems ein, eine annotierte Sammlung mit 578 Songs und insgesamt 354,13 Stunden unbearbeitetem Quellmaterial, das in acht Haupt- und 17 Unterkategorien von Instrumenten gegliedert ist. Ziel war es, Modellen Beispiele musikalischer Quellen zur Verfügung zu stellen, bevor sie die Bearbeitungen durchlaufen, die normalerweise in einem kommerziellen Master zu hören sind. Bis 2026 entwickelte sich das Forschungsgebiet weiter zu einer eigenen ICASSP-Challenge und einem strukturierteren Bewertungsverfahren. Dadurch können verschiedene Methoden heute anhand desselben Restaurierungsproblems verglichen werden, anstatt sich ausschließlich auf Demonstrationen zu stützen, die einzelne Forschungsteams selbst auswählen.

Woran das System Gesang, Schlagzeug und Gitarren erkennt

Gesang besitzt eine charakteristische Kombination aus Tonhöhenbewegungen, Formanten, Konsonanten, Atemgeräuschen und Phrasierung. Selbst wenn eine Stimme gleichzeitig mit Gitarren, Keyboards oder Becken erklingt, liefern diese Muster Hinweise, die ein Trennmodell nutzen kann. Schwieriger wird es dadurch, dass die Bearbeitung genau diese Merkmale verändert. Kompression kann das Verhältnis zwischen leisen Silben und kräftigen Tönen verschieben, Hall erzeugt verzögerte Kopien der Stimme und Equalizing kann bestimmte Frequenzbereiche abschwächen oder hervorheben. Ein MSR-System versucht deshalb nicht nur, die Energie der Stimme zu lokalisieren. Es nutzt außerdem Muster, die aus unbearbeiteten Aufnahmen gelernt wurden, um abzuschätzen, wie eine sauberere Version dieser Stimme klingen könnte.

Beim Schlagzeug stellt sich das Problem anders dar. Eine Bassdrum erzeugt einen kräftigen Impuls im unteren Frequenzbereich, eine Snare besteht aus einem kurzen Transienten und einem anschließenden rauschähnlichen Ausklang, während Becken einen breiten Bereich hoher Frequenzen einnehmen können. Solche Klänge lassen sich häufig leichter erkennen als präzise rekonstruieren. Starke Bus-Kompression kann die Transienten eines Schlagzeugs verändern, Sättigung beeinflusst seinen harmonischen Inhalt und Raum- oder künstlicher Hall kann einen einzelnen Schlag über einen deutlich längeren Zeitraum verteilen. Percussion ist besonders anspruchsvoll, weil kurze Klänge von anderen Instrumenten verdeckt werden und ähnliche Frequenzbereiche wie Hi-Hats, Becken, Shaker oder Effekte belegen können.

Bei Gitarren ist die Bandbreite der möglichen Klänge noch größer. Eine Akustikgitarre, eine sauber gespielte E-Gitarre und eine stark verzerrte E-Gitarre können sehr unterschiedliche akustische Eigenschaften besitzen, obwohl sie zur selben Instrumentenfamilie gehören. Akkorde enthalten zudem mehrere Frequenzen gleichzeitig und können sich mit Gesang, Keyboards und Synthesizern überschneiden. Ein Restaurierungsmodell muss deshalb sowohl den Klang zu einem bestimmten Zeitpunkt als auch die Entwicklung musikalischer Informationen im zeitlichen Verlauf berücksichtigen. Es sucht nicht einfach nach einem festen Frequenzbereich mit der Bezeichnung „Gitarre“. Stattdessen schätzt es, welche sich verändernden Muster am ehesten zu einer Gitarrenperformance gehören, und rekonstruiert diese Quelle, während Material anderer Instrumente möglichst reduziert wird.

Warum Music Source Restoration über gewöhnliche Stem-Separation hinausgeht

Der einfachste Weg, den Unterschied zu verstehen, ist ein älterer fertiger Mix mit einer Stimme, auf der deutlich Hall liegt. Eine herkömmliche Stem-Separation kann daraus einen brauchbaren isolierten Gesang erzeugen, doch diese Spur kann weiterhin den Hallanteil enthalten, der auch auf der veröffentlichten Aufnahme hörbar ist. MSR versucht, noch einen Schritt weiterzugehen und eine Version zu erzeugen, die näher an der Stimme vor dem Hinzufügen dieses Effekts liegt. Dasselbe Prinzip gilt für Schlagzeug, das durch Kompression geformt wurde, für Gitarren mit veränderter Klangfarbe und für Instrumente, die durch das Mastering beeinflusst wurden. Das bedeutet jedoch nicht, dass sich jede Studioentscheidung vollständig rückgängig machen lässt. Das System schätzt fehlende Informationen anhand von Mustern, die es während des Trainings gelernt hat. Es besitzt keine exakte Aufzeichnung des ursprünglichen Produktionsprozesses, durch die es einfach rückwärts gehen könnte.

Viele der leistungsfähigsten Ansätze des Jahres 2026 unterteilen die Aufgabe in mehrere Phasen. Zunächst wird die fertige Aufnahme in ungefähre musikalische Quellen zerlegt. Eine zweite Restaurierungsstufe verarbeitet anschließend diese Schätzungen und versucht, die Auswirkungen der Produktionsbearbeitung oder anderer Qualitätsverluste zu korrigieren. Ein 2026 vorgestelltes System verwendete einen BandSplit-RoFormer-Separator, um acht Instrumenten-Stems sowie einen zusätzlichen „Other“-Kanal zu schätzen, und setzte danach spezialisierte Restaurierungsmodelle ein. Ein anderes Wettbewerbssystem kombinierte mehrere Trennmodelle, bevor gezielte Rekonstruktionsschritte auf einzelne Quellen angewendet wurden. Die Architekturen unterscheiden sich, doch beide Ansätze folgen derselben praktischen Idee: Die Erkennung eines Instruments und die Wiederherstellung seines früheren Klangs sind miteinander verbundene, aber dennoch eigenständige Aufgaben.

Forscher testen außerdem unterschiedliche Reihenfolgen dieser Arbeitsschritte. Einige Systeme trennen das Material zuerst und restaurieren es anschließend, während andere Untersuchungen prüfen, ob es sinnvoller ist, zunächst das gesamte gemischte Signal zu verbessern und erst danach die einzelnen Quellen zu separieren. Das ist relevant, weil bereits vorhandene Beeinträchtigungen die Erkennung von Instrumenten erschweren können. Eine stark komprimierte oder schlecht kodierte Datei enthält möglicherweise weniger verwertbare Details als ein hochwertiges Master. Deshalb gibt es 2026 noch kein einziges universelles Verfahren für MSR. Aktuelle Forschung vergleicht verschiedene Methoden, um herauszufinden, welche Reihenfolge und Kombination aus Trennung, Verbesserung und Rekonstruktion bei unterschiedlichen Instrumenten und Aufnahmebedingungen die zuverlässigsten Ergebnisse liefert.

Was die Forschungsergebnisse von 2026 in der Praxis zeigen

Ein wichtiger Schritt hin zu realistischeren Tests ist MSRBench. Dieser Benchmark wurde speziell dafür entwickelt, restaurierte Quellen mit den entsprechenden unbearbeiteten Referenzen zu vergleichen. Er umfasst acht breite Kategorien: Gesang, Gitarre, Keyboard, Synthesizer, Bass, Schlagzeug, Percussion und Orchester. Professionelle Mixing Engineers erstellten Mischungen und behielten dabei Zugriff auf das frühere Quellmaterial. Dadurch lässt sich messen, wie nahe eine restaurierte Ausgabe tatsächlich an einer realen Referenz liegt, anstatt lediglich zu beurteilen, ob ein Instrument gut isoliert klingt. Der Benchmark enthält außerdem zwölf Arten zusätzlicher Beeinträchtigungen, darunter akustische Störungen, analog wirkende Artefakte und verlustbehaftete Audiokodierung.

Die erste MSR Challenge, deren Ergebnisse 2026 veröffentlicht wurden, zeigt sowohl die Fortschritte als auch die weiterhin bestehenden Schwierigkeiten. Fünf Teams nahmen daran teil. Laut der offiziellen Zusammenfassung der Challenge erreichte das führende System beim objektiven Multi-Mel-SNR-Maß 4,46 dB und erhielt in der subjektiven Bewertung einen durchschnittlichen Gesamtwert von 3,47. Die Leistung war dabei keineswegs für alle Instrumente gleich. Über die eingereichten Systeme hinweg erreichte Bass beim gemeldeten Multi-Mel-SNR durchschnittlich 4,59 dB, während Percussion lediglich auf 0,29 dB kam. Dieser Unterschied ist wichtig, weil er zeigt, dass ein einzelner Gesamtwert die Restaurierungsqualität nicht für jede Art von musikalischem Material gleichermaßen beschreibt.

Diese Ergebnisse erklären außerdem, warum MSR nicht als fertiger Ersatz für originale Multitrack-Sessions betrachtet werden sollte. Eine überzeugende Bassrekonstruktion bedeutet nicht automatisch, dass jeder Beckenschlag, jede Gitarrenresonanz oder jedes Detail einer Begleitstimme mit derselben Genauigkeit wiederhergestellt werden kann. Manche musikalischen Informationen werden verdeckt, wenn mehrere Klänge dieselben Frequenzbereiche belegen, während andere Details durch aggressive Bearbeitung oder verlustbehaftete Kodierung dauerhaft reduziert werden können. Die Technologie entwickelt sich schnell, doch die stärksten verfügbaren Belege aus dem Jahr 2026 beschreiben weiterhin ein aktives Forschungsproblem. Hörtests und Vergleiche mit Referenzmaterial bleiben wichtig, weil ein Stem zwar korrekt getrennt erscheinen kann, aber dennoch unnatürliche Klangstrukturen, fehlende Transienten oder Reste benachbarter Instrumente enthalten kann.

Wofür restaurierte Musik-Stems eingesetzt werden können

Eine der praktischsten Anwendungen von MSR liegt bei Aufnahmen, deren ursprüngliche Multitrack-Sessions nicht mehr verfügbar sind. Ein Archiv kann beispielsweise ein Stereo-Master besitzen, jedoch nicht mehr über die einzelnen Bänder oder digitalen Session-Dateien verfügen, aus denen es erstellt wurde. Ein Restaurierungssystem könnte geschätzte Gesangs-, Schlagzeug-, Gitarren- und weitere Stems erzeugen, sodass Toningenieure bestimmte Bestandteile der Aufnahme getrennt untersuchen können. Das kann Reparaturarbeiten, neue Mischungen oder die Analyse älterer Produktionstechniken unterstützen. Wichtig bleibt jedoch die Unterscheidung: Diese Dateien sind Rekonstruktionen. Wenn ein originales Multitrack vorhanden ist, stellt es weiterhin die zuverlässigere Quelle dar, weil es Informationen enthält, die kein Modell erst schätzen muss.

Getrennte rekonstruierte Quellen können außerdem Musikwissenschaftlern, Lehrkräften und Musikern bei der Analyse von Arrangements helfen. Wer Rhythmik untersucht, kann sich gezielt auf den Schlagzeugpart konzentrieren, während bei der Transkription von Harmonien eine Reduzierung von Gesang und Percussion hilfreich sein kann. Produzenten können geschätzte Stems als Referenz nutzen, um zu untersuchen, wie Instrumente innerhalb einer dichten Mischung miteinander interagieren. Ähnliche Techniken können bei Barrierefreiheit, Probenmaterial und bestimmten Formen der Musiktranskription unterstützen. Für solche Anwendungsfälle muss der rekonstruierte Stem nicht vollkommen identisch mit der ursprünglichen Studioaufnahme sein. Entscheidend ist vielmehr, dass Trennung und musikalische Konsistenz ausreichen, damit eine bestimmte Spur deutlicher als im vollständigen Mix hörbar wird.

Auch in der Musikproduktion gibt es mögliche Einsatzbereiche, insbesondere wenn nur noch die fertige Aufnahme vorhanden ist. Ein Toningenieur möchte möglicherweise das Verhältnis zwischen Stimme und Begleitinstrumenten anpassen, ein unerwünschtes Element reduzieren oder Material für eine neue autorisierte Bearbeitung vorbereiten. MSR kann dabei saubereres Ausgangsmaterial liefern als eine gewöhnliche Stem-Extraktion, wenn im Master enthaltene Produktionseffekte die geplante Weiterverarbeitung erschweren. Für den professionellen Einsatz bleibt sorgfältiges Abhören jedoch unverzichtbar. Restaurierte Stems können kleine Artefakte enthalten, die nach zusätzlichem Equalizing, Komprimieren oder Lautstärkeanpassungen deutlicher hervortreten. Eine Spur, die für sich allein akzeptabel klingt, kann daher vor der Verwendung in einem neuen Mix weiterhin manuelle Nachbearbeitung benötigen.

Grenzen, Rechte und realistische Erwartungen

Die zentrale Einschränkung von Music Source Restoration besteht darin, dass ein fertiger Song keine vollständige verborgene Kopie jeder ursprünglichen Spur enthält. Beim Mixing werden Signale miteinander kombiniert, und manche Produktionsschritte entfernen oder verändern Informationen. Limiting kann Pegelspitzen abflachen, Filter können Frequenzen reduzieren, verlustbehaftete Codecs Daten verwerfen und verschiedene Instrumente können sich gegenseitig verdecken. Ein Modell kann anhand gelernter Muster aus anderen Aufnahmen eine fundierte Schätzung vornehmen, aber es kann nicht beweisen, dass die rekonstruierte Wellenform exakt dem Signal entspricht, das Jahre zuvor aus einem Mikrofon oder Instrumentenausgang kam. Deshalb ist die Bezeichnung als geschätzter restaurierter Stem genauer als die Behauptung, es handle sich um die wiederhergestellte originale Studioaufnahme.

Typische Fehler sind Leakage, bei dem Teile eines Instruments weiterhin in einer anderen Spur hörbar bleiben, fehlende Details, wenn das Modell Material entfernt, das eigentlich zur Zielquelle gehört, sowie erzeugte Klangstrukturen, die zwar plausibel klingen, aber nicht exakt mit der ursprünglichen Quelle übereinstimmen. Hall ist besonders schwierig, weil seine Reflexionen sich zeitlich mit späteren Klängen überschneiden. Stark verzerrte Gitarren und dichte Percussion können wiederum breite Frequenzbereiche belegen, die sie mit anderen Instrumenten teilen. Die Ergebnisse hängen außerdem von der Qualität der Ausgangsaufnahme ab. Ein sauberes verlustfreies Master enthält normalerweise mehr verwertbare Informationen als eine Datei mit niedriger Bitrate, die bereits zusätzliche Kodierungs- oder Aufnahmeprozesse durchlaufen hat.

Die technische Möglichkeit, eine Aufnahme zu bearbeiten, muss außerdem klar von den Nutzungsrechten getrennt werden. Das Erstellen von Stems aus urheberrechtlich geschützter Musik überträgt dem Nutzer weder das Eigentum an der Komposition noch an der Masteraufnahme oder an den darin enthaltenen Performances. Kommerzielle Remixe, Weiterverbreitung, Modelltraining, Sampling und Veröffentlichung können Rechte betreffen, die sich je nach Rechtsordnung, Lizenz und Verwendungszweck unterscheiden. Bei Archivarbeiten oder professionellen Produktionen sollten Herkunft und Genehmigungen deshalb unabhängig von der verwendeten Software geprüft werden. Im Jahr 2026 lässt sich Music Source Restoration am besten als zunehmend leistungsfähige Methode zur Audiorekonstruktion beschreiben: Sie kann brauchbare Schätzungen von Gesang, Schlagzeug, Gitarren und anderen Quellen aus einem fertigen Song liefern, doch die Ergebnisse erfordern weiterhin technische Bewertung, Hörkontrollen und realistische Erwartungen hinsichtlich jener Informationen, die möglicherweise bereits verloren gegangen sind.