深度学习系统cxxnet V2

拟墨画扇 提交于 2019-12-01 03:36:33

机器学习日报 号外。订阅请给 hao@memect.com 发封邮件,标题是 " 订阅机器学习日报 "

@好东西传送门 整理于 2015-03-18


15 条精选讨论(选自459条原始评论和转发)

 陈天奇怪   原微博 2015-03-17 15:12

发布深度学习系统cxxnet V2,和小伙伴 @李沐M @antinucleon @winsty 完成,文章解析了简洁高效神经网络的技术细节。代码 http://t.cn/Rws2Ws6 http://t.cn/Rws26qV

winsty 原微博 转发于2015-03-17 15:14

这才是今天的大新闻[嘻嘻] 跟这个比起来kaggle神马的都是浮云啦[嘻嘻] 感谢大神们这几个月来的指导,真心学习了很多[嘻嘻]

createamind 评论于2015-03-17 15:33  回复 @hbyido “代码”

及时更新的最新技术:我们将及时跟进学术界的动态,例如现在已经支持MSRA的ParametricRelu和Google的Batch Normalization 6. Caffe模型转换:支持将训练好的Caffe模型直接转化为cxxnet模型(本周内上线!)

算文解字 评论于2015-03-17 16:00

不知道有没有人系统比较过cxxnet和caffe?前者更“轻”更灵活?后者优势在于文本文件完成配置?

m1nl1n 评论于2015-03-17 16:09

Good job, 我们今天也发布了Purine,支持多机多卡的并行。expression template的确很优美!我私信找你讨论点问题吧。

掩青门 评论于2015-03-17 17:14

赞,之前的xgboost让我受益匪浅~ 奈何c++功底不够,mshadow的精髓领会不了,继续学习

Shadow也叫高大壮 原微博 转发于2015-03-17 18:22  回复 @Hagnesta_Hill “这才是玩机器学习的大婶。。”

@刘小小喂 i have no idea what they talking about, but 居然feels我们有点腻害[doge]

聪老师ZJU永远马屁精 原微博 转发于2015-03-17 18:39  回复 @winsty “这才是今天的大新闻[嘻嘻]”

这个工作的工作量、意义和精细程度,在国内的话,估计可以够一个研究组拿下大项目,养活一批人,干上好几年。可几位大神几个月就搞定了。古代赤手空拳能打赢十个普通人,战斗力爆表。现在这个社会,一个顶尖人才抵上100个普通人才已不罕见

Mai灿不Mai萌 原微博 转发于2015-03-17 22:20  回复 @郑伟诗_中大教书细路

mark 一下,说不定course project 会用到。

她男朋友 原微博 转发于2015-03-18 00:35  回复 @刘江总编 “居然没有上GitHub热榜,不科学啊...”

和Theano相比优势在哪?不要告诉我这是Theano的中文翻译版

BigData大数据 原微博 转发于2015-03-18 03:09  回复 @BigData大数据

刚到主页看了一下代码,http://t.cn/Rws2Ws6 感觉跟CAFFE很类似,也是用的BLOB做DATA,难道就是把GPU的BACKEND自己优化了一下,用了自己的mshadow ?此外把CAFFE提供的KV的CONF.,封装了一个皮提供PYTHON?

陈天奇怪 评论于2015-03-18 04:58

回复@BigData大数据: 神经网络的更新和layer的逻辑类似是很正常的,对比各种实现都会差不多。 主要的差别已经在长微博里面指出了,更加清晰高效的mshadow代码。和基于mshadow-ps的分布式接口。 如果一眼看上去看起来和单机的代码很像正是我们希望看到的,开发简单但功能不平凡

BigData大数据 评论于2015-03-18 05:17

回复@陈天奇怪:第一映像很好,我又读了一下代码,mshadow还是很有必要的,可以有效减少GPU的通讯开销,此外mshadow-ps可以使得多节点分布式成为可能,扩展了Caffe的功能,Penuum也可以做到类似的功能,你们对比他们的优势?PS方面,还是GPU方面?此外和今天发布的PURINE对比分析?建议写个RELATED WORK

陈天奇怪 评论于2015-03-18 05:22

回复@BigData大数据: mshadow-ps更多的是接口上面的设计,实现完全可以采用任何通信框架。因为GPU线程模型和CPU不同的缘故,原有的接口做不到GPU异步。mshadow-ps在CPU PS的基础上支持了GPU的异步操作,有兴趣可以看看mshadow的多卡神经网络代码,我们目前默认的分布式后端是@李沐M 的ps

李沐M 评论于2015-03-18 05:24

回复@BigData大数据: petuum他们在开公司,似乎不是很愿意share他们的人力

BigData大数据 评论于2015-03-18 05:27  回复 None “回复@BigData大数据: petuum他们...”

回复@李沐M: petuum除了是XING原因,它的优势?他们连PS都没有! [呵呵]

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!