modular

1 Modularity的神经科学相关paper [1] Clune J, Mouret J B, Lipson H. The evolutionary origins of modularity [J]. Proceedings of the Royal Society b: Biological sciences, 2013, 280(1755): 20122863. [pdf] [2] Meunier D, Lambiotte R, Bullmore E T. Modular and hierarchically modular organization of brain networks [J]. Frontiers in neuroscience, 2010, 4: 200. [3] Sporns O, Betzel R F. Modular brain networks [J]. Annual review of psychology, 2016, 67: 613-640. [4] Sternberg S. Modular processes in mind and brain [J]. Cognitive neuropsychology, 2011, 28(3-4): 156-208. 2 贴点比较受启发的论述 Overall, this paper supports

直接接着上一篇Blog： [7] Routing networks: Adaptive selection of non-linear functions for multi-task learning (2017) Routing networks and the challenges of modular and compositional computation （2019） Conclusion :这篇文章和PathNet面对的问题比较接近，都是Multi-Task Learning，然后都是选择不同层不同的module，最大的区别就是使用RL来训练这个routing network，实际上和前面做VQA的文章方法类似。所以对于这篇文章，从大的方法论上我没有看到足够创新的地方，只能说其在RL的设计上有一些创新。有个问题是这篇文章一直觉得自己最大的不一样是选择一个module而不是选多个，很奇怪。实际上和mixture of experts没有本质区别。其实专门弄一个routing network并不是多好的事情，因为routing network本质上并没有和module有直接交互，只是大致学会每一个module是什么功能然后做出指派。 [8] Learning modular neural network policies for multi-task and multi

1 前言 Modularity模块化是实现generalization泛化性的方法之一。科学家对大脑的研究已经发现大脑的不同区域具备完全不同的功能，以此同时不同区域的大脑又具有相同的网络结构。在以前吴恩达的机器学习课程中就有提到过: 我们大脑通过训练可以使用舌头来实现视觉感知，这很神奇。 为了探索Generalization的奥秘，在这一次paper reading中，我们将分析当前Modularity的相关研究。 https://github.com/floodsung/Deep-Reasoning-Papers ​ github.com 相关paper列在git中的Modularity部分。 [1] Adaptive mixtures of local experts （1991） Introduction ：这篇文章来自Hinton，是对Mixture of Experts的改进。核心思想是融合了Competitive Learning。 一般的Mixture of Experts 是这样的： Motivation ：所有不同的expert network 加权输出最后的结果。这样的处理存在一个问题是不同的expert是互相影响的，只要一个expert发生变化，整个梯度就会发生改变，所有的expert也会跟着更新。除了让expert network互相合作