#245·sonnet

这个注意力码部分看起来不正确

作者: ava6969创建于 2022年6月14日更新于 2022年6月14日

attention_mlp = basic.BatchApply(mlp.MLP([self._mem_size] * self._attention_mlp_layers))

for _ in range(self._num_blocks): attended_memory = self._multihead_attention(memory)

应该是这个吧

内容来源: google-deepmind/sonnet