SepGen:一次采样同时吐出视频、混音和每个声源的分轨
特拉维夫大学与 Google 团队发布 SepGen:在预训练音视频生成器上加分轨适配器,一次采样就能给出视频、混音,以及按字幕描述拆开的多条波形;同一套权重还能做语言条件分离。
为什么重要 要做新视角空间音频,必须先拿到可单独摆放的声源。现有联合生成器只给一条混音;SepGen 把「生成分轨」和「从混音里抠轨」合成一个模型,项目页有代码与检查点入口。
特拉维夫大学与 Google 团队发布 SepGen:在预训练音视频生成器上加分轨适配器,一次采样就能给出视频、混音,以及按字幕描述拆开的多条波形;同一套权重还能做语言条件分离。
为什么重要 要做新视角空间音频,必须先拿到可单独摆放的声源。现有联合生成器只给一条混音;SepGen 把「生成分轨」和「从混音里抠轨」合成一个模型,项目页有代码与检查点入口。