FourierKAN

FourierKAN

FourierKAN 的 Pytorch 层 这是一个层,旨在作为线性 + 非线性激活的替代方案。 这源于 Kolmogorov-Arnold 网络,但使用 1d 肯定系数,而不是样条函数系数。 优化起来应该更容易,因为傅里叶变换比样条更密集(全局对局部)。 一旦达到收敛,您可以用样条逼近代替 1d 函数,从而更快地进行评估,获得几乎相同的结果 使用傅里叶分析而不是样条函数的另一个优点是,函数是周期性的,因此数值上更受限制。 避免脱离电网的问题

使用方式

将文件放在同一个目录中 然后 from fftKAN import NaiveFourierKANLayer

或者,您可以运行 python fftKAN.py 来查看演示。代码运行时,CPU 和 GPU 都会使用,但尚未经过测试。这是一个原始版本,其内存量与网格大小成正比,而融合版本则不需要临时内存。

处理傅里叶高频项的一种常用方法是添加一个正则化项，以您所需的方式惩罚高频项。这种方法的优点是，在训练过程中，函数将被强制平滑，而不仅仅是在初始化时。

合并操作 此层需要大量内存,但通过合并操作,我们不需要额外的内存,甚至可以使用三角函数。