使用自己的数据微调后，原有音色发生变化

在使用自己的第一批音色数据进行训练后，测试当前的speaker发音，发现发音正常，然后使用另一批音色数据进行训练后，发现第一批训练的speaker发音不正常，音色发生变化，我需要同时使用这两个speaker，有大佬遇到过这个问题吗？如何解决？