Forscher von Microsoft haben ein neues Text-to-Speech AI-Modell namens VALL-E vorgestellt. Es soll in der Lage sein, die Stimme einer Person zu simulieren. Dafür benötigt wird lediglich eine Audioaufnahme der Originalstimme von drei Sekunden. Wie Ars Technica berichtet kann VALL-E bei der synthetischen Erzeugung der Stimme sogar emotionale Betonungen des Sprechers wiedergeben.
Die Entwickler nennen als mögliches Einsatzgebiet hochqualitative Anwendungen für die Umwandlung von Text in Sprache. Es soll aber auch möglich sein, vorhandene Sprachaufnahmen einer Person zu verändern.
Microsoft zufolge analysiert VALL-E, wie eine Person spricht. Mithilfe der von Meta im Oktober 2022 angekündigten Technologie EnCodec werden die von VALL-E gewonnenen Informationen in einzelne als Tokens bezeichnete Komponenten unterteilt. So soll VALL-E in der Lage sein, aus einer Audioaufnahme von drei Sekunden abzuleiten, wie andere gesprochene Worte der Person klingen.
“ Um personalisierte Sprache zu synthetisieren, generiert VALL-E die entsprechenden akustischen Token auf der Grundlage der akustischen Token der 3-Sekunden-Aufnahme und des Phonem-Prompts, die die Sprecher- beziehungsweise Inhaltsinformationen einschränken. Schließlich werden die generierten akustischen Token verwendet, um die endgültige Wellenform mit dem entsprechenden neuronalen Codec-Decoder zu synthetisieren“, beschreibt Microsoft den Vorgang in einem Forschungsbericht.
Die Sprachsynthese von VALL-E wurde demnach mit einer von Meta zusammengestellten Audiobibliothek namens LibriLight angelernt. Sie enthält rund 60.000 Stunden englischsprachiger Aufnahmen von mehr als 7000 Personen, die wiederum der Public-Domain-Bibliothek für Audiobücher LibriVox entnommen wurden. Laut Microsoft erzielt VALL-E die besten Ergebnisse bei Stimmen, die einer Stimme aus den Trainingsdaten ähneln.
Die Entwickler von VALL-E sind sich aber auch der Möglichkeiten bewusst, ihr AI-Modell zu missbrauchen. „Da VALL-E Sprache synthetisieren kann, die die Identität des Sprechers beibehält, besteht die Gefahr, dass das Modell missbraucht wird, beispielsweise um die Stimmerkennung zu fälschen oder sich als ein bestimmter Sprecher auszugeben. Um solche Risiken zu minimieren, kann ein Erkennungsmodell erstellt werden, mit dem unterschieden werden kann, ob ein Audioclip von VALL-E synthetisiert wurde. Bei der Weiterentwicklung der Modelle werden wir auch die AI-Prinzipien von Microsoft in die Praxis umsetzen.“
Bisher unbekannter Bedrohungsakteur versucht über gefälschte IP Scanner Software-Domänen Zugriff auf IT-Umgebungen zu erlangen.
Der Bericht zeigt bereits nutzbare Angriffsanwendungen und bewertet die Risiken, die davon ausgehen.
Deutsche sehen Finanzwesen und IT im Zentrum der KI-Transformation. Justiz und Militär hingegen werden deutlich…
Cubbit ist das weltweit erste Unternehmen, das Cloud-Objektspeicher anbietet. Es wurde 2016 gegründet und bedient…
Unbefugte können Schadcode einschleusen und ausführen. Auslöser ist eine fehlerhafte Implementierung einer Android-Funktion.
iPhones und iPads belasten das Ergebnis. Außerdem schwächelt Apple im gesamten asiatischen Raum inklusive China…