siren

　　机器之心报道 　　 参与：杜伟、小舟、魔王 　　 使用非线性周期函数构建的神经架构效果优于 ReLU？斯坦福的一项研究做出了尝试。 　　这个非线性激活函数效果比 ReLU 还好？近日，斯坦福大学的一项研究《Implicit Neural Representations with Periodic Activation Functions》进入了我们的视野。这项研究提出利用周期性激活函数处理隐式神经表示，由此构建的正弦表示网络（sinusoidal representation network，SIREN）非常适合表示复杂的自然信号及其导数。 　　 　　Geoffrey Hinton 转发了这项研究，并表示该项目的讲解视频或许有助于理解网格单元。 　　研究人员在项目主页上展示了 SIREN 的效果，例如 SIREN 和 ReLU 在处理视频时的不同表现： 　　 　　具备像素坐标和时间坐标的 SIREN 可以用于参数化视频。上图展示了 SIREN 使用真值像素值进行直接监督，其参数化视频的效果大大超过基于 ReLU 的多层感知机。 　　接下来，我们来看研究人员提出 SIREN 的动机和详细细节。 　　由神经网络参数化的隐式定义、连续可微的信号表示已经成为一种强大的范式。与常规表示相比，它具备很多优点。 　　但是，当前用于隐式神经表示的网络架构无法对信号进行精细建模

使用非线性周期函数构建的神经架构效果优于 ReLU？斯坦福的一项研究做出了尝试。 机器之心报道，参与：杜伟、小舟、魔王。 这个非线性激活函数效果比 ReLU 还好？近日，斯坦福大学的一项研究《Implicit Neural Representations with Periodic Activation Functions》进入了我们的视野。这项研究提出利用周期性激活函数处理隐式神经表示，由此构建的正弦表示网络（sinusoidal representation network，SIREN）非常适合表示复杂的自然信号及其导数。 Geoffrey Hinton 转发了这项研究，并表示该项目的讲解视频或许有助于理解网格单元。 研究人员在项目主页上展示了 SIREN 的效果，例如 SIREN 和 ReLU 在处理视频时的不同表现： 具备像素坐标和时间坐标的 SIREN 可以用于参数化视频。上图展示了 SIREN 使用真值像素值进行直接监督，其参数化视频的效果大大超过基于 ReLU 的多层感知机。 接下来，我们来看研究人员提出 SIREN 的动机和详细细节。 由神经网络参数化的隐式定义、连续可微的信号表示已经成为一种强大的范式。与常规表示相比，它具备很多优点。 但是，当前用于隐式神经表示的网络架构无法对信号进行精细建模，也无法表示信号的时空导数。但实际上

今天读到了一篇论文，感觉很厉害：2006.09661，这篇文章提出了用sine作为激活函数，可以让NN的拟合能力更强，而且具有一些额外的很厉害的性质。 尝试不同的激活函数其实很多人做过，估计使用sin也很多人尝试过，但是估计效果不好就放弃了，但是这里作者提出了只需要用特定的初始化方法，效果飞云之上。 这种方式得到的一个很厉害的性质就是SIREN的导数还是SIREN。所以就可以不用拟合数据本身，拟合数据的导数就能拟合数据。 这里其实让我联想到BERT里面的position embedding，就用到了sin函数，人生真是奇妙，难道BERT效果拔群，关键是采用了周期的位置向量？ 来源： oschina 链接： https://my.oschina.net/u/4409653/blog/4325617