系统学习

论文信息：Hochreiter S, Younger A S, Conwell P R. Learning to learn using gradient descent[C]//International Conference on Artificial Neural Networks. Springer, Berlin, Heidelberg, 2001: 87-94. 博文作者： Veagau 编辑时间：2020年01月07日 本文是2011年ICANN的会议论文，第一作者是Sepp Hochreiter，LSTM的发明者之一。在论文中作者提出采用 梯度下降（gradient descent）的策略进行元学习（Learning to learn） ，对比以前采用进化算法进行元学习的策略相比，这种元学习策略能够适应拥有大量参数的大型模型，在后续的元学习经典模型算法中得到了广泛的采用。 传统的机器学习方法中的学习算法一般不会考虑以前的学习经验，即使这些经验能够像人类进行推理学习一样产生更好的表现，因此对于以往经验的利用的研究催生出了 知识迁移（Knowledge Transfer） 这一概念，而 元学习（meta-learning） 就可以纳入到知识迁移的范畴。广义的来讲，一个完整的元学习模型一般由两个部分组成： Meta-Learner与Learner 。其中Learner

前言：生活不可能像你想象得那么好，但也不会像你想象得那么糟。我觉得人的脆弱和坚强都超乎自己的想象。有时，我可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。 ——莫泊桑 在校生要找到好工作，主要靠几个光环，学校光环、竞赛光环、项目光环、实习光环。其中项目经验尤为重要。有些同学就有疑问了： “我校招没offer，没有项目经验，是不是要报个培训班？” “我转行计算机，是不是应该报个班？” “我也想自学，可怎么学啊，选哪个方向啊？” 对于有些同学，当我还在想办法劝他自学时，给我贴出了培训班的广告词， 真可谓，人有多大胆，口号就有多不要脸： “0基础入学，三个月包就业” “毕业月入不过万，不收学费” “从前是你找工作，接下来是工作找你” 当我推荐某些同学去培训时，又给咔咔咔亮出了几个帖子，说培训出来的受歧视啊、有些同学培训出来还是找不到工作啊，等等。 其实，选择自学还是培训是看自身情况而定，无论选择自学还是培训，都只是入门的一种手段，各有优劣势，本文就详细说说自学/培训怎么选，选择以后怎么办，记得帮我点赞哦。 目录： 自学还是培训，怎么选？ 自学怎么学？ 培训班到底在培训什么？ 有些企业歧视培训班学员，培训班的问题到底出在哪？ 一些建议 一、自学还是培训，怎么选？ 无论你是什么学历、有没有计算机基础，这些都不是决定你适合自学的条件，具备如下三个条件的人都可以选择自学： （1）

Linux Linux运行与关闭 Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。 Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。 Linux的使用是网络服务器学习必不可少的知识点 Linux系统有7个运行级别(runlevel)： 运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动 运行级别1：单用户工作状态，root权限，用于系统维护，禁止远程登陆 运行级别2：多用户状态(没有NFS) 运行级别3：完全的多用户状态(有NFS)，登陆后进入控制台命令行模式 运行级别4：系统未使用，保留 运行级别5：X11控制台，登陆后进入图形GUI模式 运行级别6：系统正常关闭并重启，默认运行级别不能设为6，否则不能正常启动 对于运行级别为5的图形方式用户来说，他们的登录是通过一个图形化的登录界面。登录成功后可以直接进入 KDE、Gnome 等窗口管理器。 但是我们部署服务器通常是命令行界面，因此接下来的学习将在文字模式中进行 Linux开机 图形模式与文字模式的切换方式 我使用的环境是VMware Workstation 15

上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习：监督还是无监督。当训练用例被标记了正确结果的时候，监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent，它的行为是否正确。对无监督学习来说这个目标很难实现，因为缺乏事先确定的分类。 · 监督学习（事先准备好分类） 监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下，如果Agent能自行计算分类的话，它（Agent）可能不需要事先给出分类。这将在后面成为无监督学习上下文分类的一个例子。 监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。对于神经网络来说，分类系统用于判断网络的错误，然后调整网络适应它；对于决策树，分类系统用来判断哪些属性提供了最多的信息，如此一来可以用它解决分类系统的问题。我们将会看到这两者（神经网络和决策树）更多的细节，但在目前，它们用预先确定分类方法的形式来“监督”就足够了。 使用隐马尔科夫模型和贝斯网络的语音识别系统也依赖于某些监督的要素，那通常是为了调节系统的参数以便于最小化给定输入中的错误。 请注意这里提到的一个问题：在分类问题中

原文作者：aihorizon.com 原文链接： Machine Learning, Part I: Supervised and Unsupervised Learning 译者： commondata 上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习：监督还是无监督。当训练用例被标记了正确结果的时候，监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent，它的行为是否正确。对无监督学习来说这个目标很难实现，因为缺乏事先确定的分类。 ·监督学习 监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下，如果Agent能自行计算分类的话，它（Agent）可能不需要事先给出分类。这将在后面成为无监督学习上下文分类的一个例子。 监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。对于神经网络来说，分类系统用于判断网络的错误，然后调整网络适应它；对于决策树，分类系统用来判断哪些属性提供了最多的信息，如此一来可以用它解决分类系统的问题。我们将会看到这两者（神经网络和决策树）更多的细节，但在目前，它们用预先确定分类方法的形式来“监督”就足够了。

前言：生活不可能像你想象得那么好，但也不会像你想象得那么糟。我觉得人的脆弱和坚强都超乎自己的想象。有时，我可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。 ——莫泊桑 在校生要找到好工作，主要靠几个光环，学校光环、竞赛光环、项目光环、实习光环。其中项目经验尤为重要。有些同学就有疑问了： “我校招没offer，没有项目经验，是不是要报个培训班？” “我转行计算机，是不是应该报个班？” “我也想自学，可怎么学啊，选哪个方向啊？” 对于有些同学，当我还在想办法劝他自学时，给我贴出了培训班的广告词， 真可谓，人有多大胆，口号就有多不要脸： “0基础入学，三个月包就业” “毕业月入不过万，不收学费” “从前是你找工作，接下来是工作找你” 当我推荐某些同学去培训时，又给咔咔咔亮出了几个帖子，说培训出来的受歧视啊、有些同学培训出来还是找不到工作啊，等等。 其实，选择自学还是培训是看自身情况而定，无论选择自学还是培训，都只是入门的一种手段，各有优劣势，本文就详细说说自学/培训怎么选，选择以后怎么办，记得帮我点赞哦。 目录： 自学还是培训，怎么选？ 自学怎么学？ 培训班到底在培训什么？ 有些企业歧视培训班学员，培训班的问题到底出在哪？ 一些建议 一、自学还是培训，怎么选？ 无论你是什么学历、有没有计算机基础，这些都不是决定你适合自学的条件，具备如下三个条件的人都可以选择自学： （1）

　　Python是一门非常不错的编程语言，该语言通俗易懂、容易上手，而且在我们的生活中具有非常重要的作用，涉及多个领域，想要学习Python的人越来越多了。很多初学者可能在学习Python的时候，对操作系统选择会存在很大的疑问，到底选择Linux还是Windows呢? 　　在这里提醒大家，对于Python初学者来说，对哪个系统比较熟悉选择哪个就可以了，前期学习都是以基本语法为主要，还没有涉及到应用场景的问题，后期学习过程中，大家可以根据自身情况来选择操作系统。 　　Python是目前比较流行的全场景编程语言之一，在人工智能、web开发、网络爬虫、数据分析、机器学习等领域具有非常不错的作用，对于这些应用领域具备了不同的场景，所以选择的系统是不同，这个时候大家可以做相对应的选择。 　　像web开发的情况下，Windows环境、Linux环境都可以使用，根据个人情况来决定就可以了，一般情况下大型的网站会使用Linux系统，中小型的企业会采用Windows系统，可以满足我们基本的需求，对于技术团队来说多使用Linux，具体也需要结合个人情况来决定的。 　　如果对人工智能、大数据领域比较感兴趣，未来也想要从事这方面的工作，建议选择Linux操作系统，一般都部署在Linux系统上的，尤其是近些年来人工智能、大数据领域发展非常不错，市场需求量也很高。 　　总体来说，对于Linux操作系统

摘要 联邦学习(FL)是一种机器学习设置，在这种设置中，许多客户(例如移动设备或整个组织)在中央服务 器(例如服务提供商)的协调下协作地训练模型，同时保持训练数据分散。FL体现了集中数据收集和最 小化的原则，可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成 本。在FL研究爆炸性增长的推动下，本文讨论了近年来的进展，并提出了大量的开放问题和挑战。 MENU 1.引言 跨设备联邦学习设置 联邦学习中模型的生命周期 典型的联邦训练过程 联邦学习研究 组织 2. 放宽核心FL假设: 应用到新兴的设置和场景 完全的去中心化/端对端分布式学习 算法挑战 实际挑战 跨竖井联合学习 3. 提高效率和效果 联邦学习中的非IID 数据 对于处理非IID数据的策略 4 .保护用户隐私 5. 对攻击和失败的健壮性 6. 确保公平，消除偏见 7. 结论 1.引言 联邦学习(FL)是一种机器学习设置，在这种设置中，许多客户端(例如移动设备或整个组织)在中 央服务器(例如服务提供商)的协调下协作地训练模型，同时保持训练数据分散。它体现了集中收集和 最小化数据的原则，并且可以减轻传统的集中式机器学习带来的许多系统隐私风险和成本。 这一领域 最近从研究和应用的角度都引起了极大的兴趣。 本文描述了联邦学习设置的定义特征和挑战，强调了 重要的实践约束和注意事项

Reference: 推荐算法不够精准？让知识图谱来解决 个性化推荐系统作为一种信息过滤的重要手段，是当前解决信息超载问题的最有效的方法之一，是面向用户的互联网产品的核心技术。 推荐系统的任务和难点 按照预测对象的不同，推荐系统一般可以分成两类：一类是 评分预测 （rating prediction），例如在电影类应用中，系统需要预测用户对电影的评分，并以此为根据推送其可能喜欢的电影。这种场景下的用户反馈信息表达了用户的喜好程度，因此这种信息也叫 显式反馈 （explicit feedback）；另一类是 点击率预测 （click-through rateprediction），例如在新闻类应用中，系统需要预测用户点击某新闻的概率来优化推荐方案。这种场景下的用户反馈信息只能表达用户的行为特征（点击/未点击），而不能反映用户的喜爱程度，因此这种信息也叫 隐式反馈 （implicit feedback）。 传统的推荐系统只使用用户和物品的历史交互信息（显式或隐式反馈）作为输入，这会带来两个问题：一，在实际场景中， 用户和物品的交互信息往往是非常稀疏（sparse） 的。例如，一个电影类APP可能包含了上万部电影，然而一个用户打过分的电影可能平均只有几十部。使用如此少量的已观测数据来预测大量的未知信息，会极大地增加算法的 过拟合 （overfitting）风险；二，

专注于各种 分布式系统配置管理 的 通用组件 / 通用平台 , 提供统一的 配置管理服务 。 主要目标： 部署极其简单：同一个上线包，无须改动配置，即可在 多个环境中(RD/QA/PRODUCTION) 上线 部署动态化：更改配置，无需重新打包或重启，即可 实时生效 统一管理：提供web平台，统一管理 多个环境(RD/QA/PRODUCTION)、多个产品 的所有配置 项目信息 CLIENT 端： Java: 目前唯一支持语言 python：打算支持 PHP：暂未支持 WEB 管理端： Java SpringMvc 实现，前后端分离 实现方式(基于Spring 4.1.7.RELEASE) java client disconf.git branches and Maven version: dev(develop branch): 2.6.28-SNAPSHOT master(stable branch)：2.6.27 更新日志 在Maven Central Repository里查看 com.baidu.disconf Java Client Elegant Usage Preview 注解式分布式配置使用方式 XML配置式分布式配置方式 当前版本功能特点 支持配置（配置项+配置文件）的分布式化管理 配置发布统一化 极简的使用方式（注解式编程 或 XML无代码侵入模式）