Китайцы решили, что для голоса не нужно пять нейронок. И выложили одну.
Китайцы решили, что для голоса не нужно пять нейронок. И выложили одну. Tencent открыла AuK: одну модель для озвучки по референсу, замены слов внутри записи, чистки шума и реверберации, отделения голоса от музыки и разборки нескольких спикеров. Все задачи запускаются одной инструкцией словами, а не зоопарком из двадцати кнопок и несовместимых форматов. Это уже похоже не на «сделай робота, который читает текст», а на нормальную аудиомастерскую: вытащить голос из записи встречи, подчистить шум, переписать фразу, собрать версию для ролика. Но давайте без историй про запуск на старом офисном ноутбуке. В официальных замерах у AuK около 17–25 ГБ VRAM; есть CPU offload и ветка для Apple Silicon, но это всё равно инструмент, который сначала тестируют, потом хвастаются. Код, веса и демо лежат открыто. Если давно хотелось не просто генерировать голос, а нормально ковырять звук — вот хороший кандидат на выходные.