这个注意力码部分看起来不正确
作者: ava6969创建于 2022年6月14日更新于 2022年6月14日
attention_mlp = basic.BatchApply(mlp.MLP([self._mem_size] * self._attention_mlp_layers))
for _ in range(self._num_blocks):
attended_memory = self._multihead_attention(memory)
应该是这个吧
内容来源: google-deepmind/sonnet