学习(在测试时学习)的 PyTorch 官方实现:具有表达性隐藏状态的 RNN
| JAX 代码库 | 环境设置 | 快速入门 | 推理基准测试
对于训练代码,或者要复制我们论文中的结果,请查看我们的 JAX 代码库。对于推理内核,或者要复制我们论文中的速度基准,请查看我们的 内核实现。
由于隐藏状态在测试序列上也会通过训练进行更新,因此我们的层称为测试时训练 (TTT) 层。我们考虑了两种实例化方式: TTT-Linear 和 TTT-MLP,其中隐藏状态分别为线性模型和两层 MLP。
Paper
暂无开放 Issues,或尚未同步最近议题。
暂无评论,来聊聊你的看法吧