用户界面改进
作者: retry51776创建于 2025年11月20日更新于 2025年11月20日
以下是我的建议: - 将 Block 标记更改为 12 个块按钮; 这样用户/观众就可以清楚地看到这些块是串行的; - 将注意力头开关改为 Y 轴; 这样用户/观众就可以清楚地看到注意力头的维度与块不同; 还可以突出活动的头; - UI 应该固定下来,位置编码不应该是嵌入的一部分; 应该是注意力块的一部分; 因为每个注意力块都应用自己的 ROPE; - 更多相同的块; 应该在残差流的开头添加另一个类似的标记,这样用户就可以清楚地知道嵌入已经完成。 - 残差流的开始和结束应具有相同的颜色; - 此外,还要修改 GPT2 模型,以便概率部分可以在残差流末端显示不同的位置解码标记; (这将需要更多的努力)
内容来源: poloclub/transformer-explainer