StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

该论文链接原文地址

发表于Interspeech 2019

总体概括:

1.使用了很多损失函数 对抗 分类(区别人) 身份(进一步对目标的映射)循环一致性损失 ,这些损失都来源于STARGA 以及Cycle-GAN。

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

 

2.一对多 其它很多是一对一  该方法是一对多  此处对应损失函数分类和身份 循环一致性损失  

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

3.非平行数据  同时论文中表明为何使用非平行数据,因为平行数据很多还需要人工的校正,相较之下还不如直接使用非平行的数据

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

4.网络结: 引入了一种基于调制的条件方法,该方法能够以特定于域的方式转换声学特征的调制

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

 

值得一提的是网络结构图,好复杂。。。

StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion