gradient_descent_viz

Gradient Descent 可视化工具 Gradient Descent Viz 是一个桌面应用程序,可在 机器学习 中可视化一些流行的 梯度下降方法,包括 (vanilla)梯度下降、动量、AdaGrad、RMSProp 和 Adam。我希望通过尝试不同的设置,无论是初学者还是专家,都能对这些方法有新的直观理解。请阅读 相关博客文章,其中详细介绍了这些方法。

• 调整参数。演示中展示了一个具有高原的表面（右键单击并拖动以旋转，箭头键用于导航，Ctrl（或Cmd）+加号/减号用于缩放）。使用学习率较低的动量法无法使其穿过平坦区域。提高学习率可以解决这个问题。还可以尝试调整其他参数，看看会发现什么。

• 使用可视化元素来跟踪诸如梯度、动量、平方梯度之和（通过大小与项的绝对值相对应的正方形来可视化）、调整后的梯度（通过除以平方梯度之和或加上动量来计算，具体取决于方法）以及路径等内容。在下面的示例中，您可以看到经过平方梯度之和调整后，RMSProp 采取了截然不同的方向。与 AdaGrad 相比，可以直观地看到 AdaGrad 的平方梯度之和的规模要大得多（因为它不会衰减）。您可以利用此功能来了解各方法在不同情况下是否能正常工作。

• 绘制下降路径。查看不同方法如何以不同方式到达目的地。