适配器注入失败会留下孤立的适配器层

在为一个小型的类似 Mamba 模型添加适配器时，我遇到了一个问题，一个无效的目标导致 `add_adapter()` 失败，但模型仍然被部分修改。