用自己的数据微调后，原有音色改变

用自己的第一批音色数据训练后，测试当前的speaker发音，发音正常，再用另一批音色数据进行训练后，发现第一批训练的speaker发音不正常， 音色改变，我需要同时使用这两个speaker，请问有大佬遇到过这个问题吗？怎么解决的