系统学习

Google大规模图学习(Graph Learning)平台简介 摘自：http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2651987743&idx=1&sn=e586f85e2655f75941b6a92343362491&chksm=f1216beec656e2f8fe5f7fa29ac87c66c26314fa0d2e84b9e2cc755723b0841ae53e86cc6bb1 近来机器学习突飞猛进使计算机系统能够解决现实世界中的复杂问题。其中之一便是谷歌的大规模、基于图的机器学习平台，这是由 Google Research 的 Expander 团队制作的。很多你日常使用的谷歌产品及功能背后，都有基于图的机器学习，这是一种强大的工具，能够用于收件箱提醒、Allo 智能信息回复等功能，基于图的机器学习和深度神经网络一起，为 Google Photos 最新的图像识别系统提供动力。 Goolgle在去年发表的论文“ Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation”（使用流近似的大规模分布式半监督学习）中，研究者描述了一种全新的方法。论文介绍了一种流算法（ streaming algorithm）

将知识图谱作为辅助信息引入到推荐系统中可以有效地解决传统推荐系统存在的稀疏性和冷启动问题，近几年有很多研究人员在做相关的工作。目前， 将知识图谱特征学习应用到推荐系统中主要通过三种方式——依次学习、联合学习、以及交替学习 。 依次学习 （ one-by-one learning ）。首先使用知识图谱特征学习得到实体向量和关系向量，然后将这些低维向量引入推荐系统，学习得到用户向量和物品向量； 联合学习 （ joint learning ）。将知识图谱特征学习和推荐算法的目标函数结合，使用端到端（ end-to-end ）的方法进行联合学习； 交替学习 （ alternate learning ）。将知识图谱特征学习和推荐算法视为两个分离但又相关的任务，使用多任务学习（ multi-task learning ）的框架进行交替学习。 依次学习 Deep Knowledge-Aware Network (DKN) 我们以新闻推荐[1]为例来介绍依次学习。如下图所示，新闻标题和正文中通常存在大量的实体，实体间的语义关系可以有效地扩展用户兴趣。然而这种语义关系难以被传统方法（话题模型、词向量）发掘。 为了将知识图谱引入特征学习，遵循依次学习的框架，我们 首先需要 提取知识图谱特征 。该步骤的方法如下： 实体连接 （ entity linking ）。即从文本中发现相关词汇

大数据产生的背景 前言 在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多， 传统的数据库已经不能支撑全量数据的存储工作 ；另一方面，数据越来越多， 单机的计算已经成为瓶颈 。因此，基于分布式的大数据系统崭露头角。首先我们来了解一下如何如何解决数据存储问题。 分布式文件系统(Hadoop Distributed File System) HDFS 是做什么的 HDF 大专栏 大数据学习(一)HDFS - 代思豪 S（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Hadoop2.x新特性 来源： https://www.cnblogs.com

高移动毫米波系统的深度学习协调波束成形 摘要：支持高移动性的毫米波（mmWave）系统，可实现广泛的重要应用，如车载通信和无线虚拟/增强现实。但是，在实践中意识到这一点需要克服一些挑战。首先， 窄波束的使用和mmWave信号对阻塞的敏感性 极大地影响了高移动链路的 覆盖范围和可靠性 。其次，密集mmWave部署中的高移动用户需要频繁地在基站（BS）之间进行 切换 ，这与关键控制和延迟开销相关。此外，在大型天线阵列mmWave系统中 识别最佳波束成形向量 需要相当大的训练开销，以上都显著影响了这些移动系统的效率。在本文中，开发了一种新颖的集成机器学习和协调波束成形的解决方案，以克服这些挑战并实现高移动性mmWave应用。在所提出的解决方案中，许多分布式协调BSs同时为一个移动用户服务。该用户理想地需要仅使用 全向或准全向波束模式 来发送将在协调BSs处联合接收的一个 上行链路训练导频序列 。这些接收的信号不仅为用户位置绘制了定义签名，而且还为其与周围环境的交互绘制了定义签名。然后，开发的解决方案利用深度学习模型来学习如何使用这些签名来预测BSs处的波束成形向量。这提供了一个全面的解决方案，支持具有可靠覆盖，低延迟并且可忽略的训练开销的高移动mmWave应用程序。基于精确射线追踪的广泛仿真结果表明

========================================================================================================== 写在前面： 发现整理了很多问题，却没有一个系统学习的过程 ，所以定期维护学习网址，定期更新。 ========================================================================================================== 测试菜菜鸟的蜕变： http://www.51testing.com/html/53/462853-3718359.html 各种教程网址： https://www.yiibai.com/java/io/bytearrayoutputstream_tobytearray.html 来源： https://www.cnblogs.com/conquerorren/p/11857728.html

身份认证技术 1、常用的身份认证方法 （1）静态口令认证的问题：静态口令，即由用户自己设置或者系统给定的一串静态数据作为口令。静态口令一旦设定之后，除非用户更改，否则将保持不变。这种方法存在严重的安全问题。 基于口令认证的安全性仅仅基于用户口令的保密性，如果用户口令较短且容易猜测，那么这种方案就容易遭受口令猜测攻击。 如果口令在通信线路上明文传输，系统攻击者就能够通过窃听方法获取用户口令。 由于系统需要保存用户名和口令，这一方面要求系统管理员是可信赖的，另一方面，一旦攻击者能够访问口令库，整个系统的安全性就受到了威胁，如果口令库中保存明文的口令，那么攻击者就能够直接获取用户口令；如果保存的是经过密码变换后的口令，例如保存口令的 HASH 值，攻击者也可以采用离线方式对口令密文实施字典攻击或穷举攻击，从而获得合法用户的口令。 静态口令对重放攻击也毫无抵抗能力。 （2）一次性口令认证：一次性口令认证技术通常是基于密码技术来实现，通过在认证过程中加入不确定因子、认证数据传输过程加密等方式，使用户每次进行身份认证的认证口令都不同，而且每个认证口令只使用一次，攻击者即使获得了某次登录的认证口令也无法在下一次成功登录到系统，因为攻击者获得的登录口令已经失效。为了产生一次性的动态口令，一般采用双运算因子的计算方式，也就是加密算法的输入包括两个数值，一个是用户密钥，通常是代表用户身份的识别码

因为人的意志力是有限的，任何让自己坚持的事情，都会消耗它 ， 从而让你感觉非常累。比如你会发现，如果我们一段时间工作压力很大，就会更容易放弃健身等等良好习惯，因为我们的意志力在坚持工作这方面已经耗费光了，所以就没有多余的意志力用在坚持健身上了。学习也是一样，当你坚持学习的时候，不是“学习”这件事情累着你，而是“坚持”这件事情累着你了，因为意志力会耗费大量能量。而且在移动互联网时代，我们会发现，自己的意志力好像越来越薄弱。以前高中时期，能坚持学习2个小时，但现在看1小时书，就觉得如坐针毡。很简单，因为我们面对的诱惑更多了，游戏、短视频、微博等等这些，都比学习的诱惑力更大，只要我们脑子里有这些东西，就需要不断耗费我们的意志力来抵制他们，才能最终坚持学习，所以我们才会很累。 威尔海姆·霍夫曼（Wilhelm Hofmann）主持的一项研究表明， 人们醒着的时候，把大约1/4的时间用来抵制欲望。 而这个研究是在BP机时代做的，近二十年间，移动互联网兴起带来的诱惑，比如游戏、短视频、段子等等，比过去上千年的诱惑加起来还要多，所以我们每天需要抵制更多欲望。这也是为什么，我们常常觉得，没做什么事情，也会感到很心累的原因。 如果要让我们能够坚持做一件事情，比如学习，并不是只能靠意志力的，其实有三个关键因素：理性上知道要学习、情感上愿意去学习、情境上制造适合学习的场景。 1.发挥理性的作用

1.掌握20%的核心 —— 一个领域20%的核心内容，能够解决这个领域80%的问题 比如我们经常说一个人思维混乱，然后觉得思维混乱是个很大的事情，感觉一辈子都提升不了。但实际上，大部分的思维混乱，都是因为缺乏结构化思维，而结构化思维只要掌握三个特征就可以，包括 主题鲜明、归类分组、逻辑递进 ，不管写作、演讲还是会议发言，做到这三点就可以显得思路很清晰。因为结构化思维属于思维的20%核心，而这3个特征，又是结构化思维的20%核心。 但是，每个领域里面，哪些是那20%的核心，其实是需要这个领域的专家来指点的，因为在你对这个领域一无所知的情况下，你没有方向，绕一大圈也不知道门在哪里，等终于入门了才发现走了不少弯路。所以大多数的成功人士，都很擅长找“师傅”，他们会告诉你，一个领域里面最核心的是什么，从而让你快速入门。至于入门之后他是否需要或者愿意深度提升，那是他自己的选择。 2.知识和问题互相靠 知识向问题靠 ： 每看到一个知识的时候，就去思考这个知识可以用来解决什么问题。 问题向知识靠 ： 就是当你遇到问题的时候，抛弃第一反应，不要先按照自己的思维定式来解决，而要去想有什么方法论模型可以用。 为什么不能按照第一反应的方式解决呢？因为在我们碰到问题的时候，我们的下意识第一反应，是未经思考的，是在遵循我们过去的模式，但如果我们处理所有问题都靠过去的模式，那么刚刚学习的新知识、新解决方案

1.深度学习文本检测识别精选资源汇总github网址 https://github.com/hwalsuklee/awesome-deep-text-detection-recognition 2. DBLP （DataBase systems and Logic Programming）是计算机领域内对研究的成果以作者为核心的一个计算机类英文文献的集成数据库系统，可在这里搜索相应期刊及其论文，搜索关键此有 AAAI, ICCV, TPAMI（顶会）,CVPR,arXiv,IJCV,PR,PRL,NC(neural computing),ICFHR(每年3\4月份的会议，多为手写识别方向)，ICDAR（多为场景文本）。 待更新～～ 来源： https://www.cnblogs.com/KAKAFEIcoffee/p/11804236.html

Linux 学习总结笔记 1.cron 任务了解 Linux crontab是用来定期执行程序的命令 当安装完成操作系统之后，默认便会启动此任务调度命令。 crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。 Linux 任务调度工作主要分为两类： ​ 1.系统执行工作：系统周期性所要执行的工作 ​ 2.个人执行工作：某个用户定期要做的工作 举例而言： linux系统中有如下cron任务： 20,40 */3 * * 1 sh test.sh 解析字段含义 每项工作有六个字段，分别是： 分钟 小时 日期 月份 周 指令 辅助特殊符号： *（星号） 代表任何时刻 ，（逗号） 代表分割时间 -（减号） 代表一段时间 /（斜线） 代表每个n个单位时间 2. ./ 和 sh的区别 使用./执行脚本，对应的xxx.sh脚本必须要有执行权限 使用sh执行脚本，对应的XXX.sh没有执行权限可执行。 当文件开始标明解释器时， 系统会使用该解释器，否则会使用系统默认的解释器 来源： https://www.cnblogs.com/ganshuoos/p/11797289.html