github

选自medium 作者： Jesus Rodriguez 机器之心编译 编辑：Panda Facebook 提出了一种可高效训练包含数十亿节点和数万亿边的图模型的框架 BigGraph 并开源了其 PyTorch 实现。 本文将解读它的创新之处，解析它能从大规模图网络高效提取知识的原因。 图（graph）是机器学习应用中最基本的数据结构之一。具体来说，图嵌入方法是一种无监督学习方法，可使用本地图结构来学习节点的表征。社交媒体预测、物联网模式检测或药物序列建模等主流场景中的训练数据可以很自然地表征为图结构。其中每一种场景都可以轻松得到具有数十亿相连节点的图。图结构非常丰富且具有与生俱来的导向能力，因此非常适合机器学习模型。尽管如此，图结构却非常复杂，难以进行大规模扩展应用。也因此，现代深度学习框架对大规模图数据结构的支持仍非常有限。 Facebook 推出过一个框架 PyTorch BigGraph：https://github.com/facebookresearch/PyTorch-BigGraph，它能更快更轻松地为 PyTorch 模型中的超大图结构生成图嵌入。 某种程度上讲，图结构可视为有标注训练数据集的一种替代，因为节点之间的连接可用于推理特定的关系。这种方法遵照无监督图嵌入方法的模式，它可以学习图中每个节点的向量表征，其具体做法是优化节点对的嵌入

###Scrapy-redis 分布式爬虫 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件。scrapy-redis 的解决是把这个Scrapy queue换成redis数据库（也是指redis队列），从同一个redis-server存放要爬取的request，便能让多个spider去同一个数据库里读取。 ###Scrapy-Redis分布式策略： Master端(核心服务器) ：搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储; Slaver端(爬虫程序执行端) ：负责执行爬虫程序，运行过程中提交新的Request给Master 首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理； Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。 ####Master 安装Redis 1.下载及安装 wget http://download.redis.io/releases/redis-3.2.6.tar.gz tar xzf

转载本文需注明出处：微信公众号EAWorld，违者必究。 // DevOps（开发：Development和运维：Operations的组合词）是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。 ——by 百度百科 // 今天的主题就是有关DevOps的很重要的一部分，Development中代码模块的设计。 代码模块说复杂也不复杂说简单也不简单，复杂是说它上承接着任务模块，下关联着构建模块，功能涉及到代码的对比合并、质量分析、关联的任务项等，缺了它就凑不成完整的DevOps流程。 简单是说该模块需要关注的点无非就是质量以及效率，一个项目在我看来代码才是根本，代码的产出质量效率越高，就越是节省项目的成本，有钱赚才是硬道理。 代码模块的受众也无非两类人： 开发人员 和 上层领导 。 开发人员眼中的代码模块是branch、tag、code、merge-request、quality等等诸多功能模块的混合体。 不行了，晕了 但是到了领导的眼里，报表即可解决问题： 一类报表说了张三今天代码产出了多少的缺陷多少的漏洞。 垃圾代码冠军得主，就是你 另一类报表说了李四本周就敲了10行代码效率极其低下。 是时候该炒李四鱿鱼了 所以创造一个 友好的代码管理功能交互页面 以及 简洁明了的代码质量效率报表界面