前向前向算法问题

Hi @diegofiori, 我正在为艾伦研究所进行一些研究,研究基于 Hinton 的方法的循环前向前模型。我试图通过以下方式扩展他的工作: 1. 反转目标函数,使其更符合生物学原理,并与预测编码更加相似。 2. 将标签隐藏在最初的几个时间步中,以体现预测编码的概念。 (即,最初阶段激活值较高,在成功预测样本时激活值较低) 3. 支持层之间的稀疏连接,体现模块化/生物学可信性的概念。 4. Hinton 是否实际实现了循环连接尚不清楚,因为他提供的网络图是从他的 GLOM 论文中复制过来的。但我确实实现了这些连接。 我的架构在 MNIST 上的测试准确率约为 94%。 Hinton 报告说他获得了 99%+ 的测试准确率。我很好奇,你是否在循环模型上实现了 SOTA 性能?如果是的话,我还有些后续问题。