贝叶斯

作者 | Batman1234 整理 | NewBeeNLP 面试锦囊之面经分享系列，持续更新中 欢迎后台回复" 面试 "加入讨论组交流噢 写在前面 在某大厂做算法一年，本来安安稳稳还没想过跳槽，某天接到了猎头的电话说字节在招数据挖掘工程师，择日不如撞日那就去试一试呗。 一面 问贝叶斯网络的原理。 一些统计学的原理比如t-test, AUC curve的意义是啥，为什么要用AUC去衡量机器学习模型的好坏。 问了一道题：假设现在有一个函数random(), n为未知数，1/n的概率返回0，2/n的概率返回1，写一个newRandom()，让返回0,1的概率各为1/2。medium。 二面 问了adaboost的原理，模型的权重以及数据的权重各自有什么意义，写出adaboost的伪代码。 CART树的原理，和ID3以及C4.5有什么区别，回归树与分类树有什么区别。 写出逻辑回归反向传播的伪代码。 算法题：现在有一个每行每列递增的2D数列，比如[[1,2,3,4], [2,3,4,5], [4,5,6,7]]，在O(nm)的时间复杂度返回最小的k个数。hard。 三面 主要面C语言基础知识。 实现memcpy. 如何在main函数之外之行一个函数。 这样声明变量有没有问题：int a[10000000]. static修饰符有什么用？如果不加会出现什么后果？ 四面 主要考察机器学习。

知道创宇研发技能表v2.2 2014/3/9 发布 by @知道创宇(www.knownsec.com) @余弦 & 行之 知道创宇是国内Geek十足且普遍被认为特别有前途的互联网安全公司， 动态请关注微信公众号： Lazy-Thought 。 说明 本技能表为知道创宇研发工程师必备技能 聪明的人会根据每个tip自驱动扩展 不聪明的，坐等别人手把手的人请绕行，不仅不适合知道创宇，也不适合任何有Geek精神的公司 附件标志是我们推荐的附加资源，感谢资源提供者 知道创宇研发技能表v2.2离线版打包下载 通用技能 公司与个人 公司是盈利性组织 个人和公司必须双赢 工作 在认同公司理念且能够给公司创造足够价值的基础上，为个人发展而工作 沟通、反馈、责任 一个无沟通能力的人，要么是天才，要么是不可爱的人 反馈要及时 避免出问题不反馈，影响进度 方式 正式的：邮件 临时的：QQ等即时通信 礼貌的：给个电话、短信 工作有大小，责任心无大小 周报的透明 意义：大家互相了解工作与心得，有利于自己的判断与成长 不是单纯的给领导汇报工作 任务四象限，决定优先级 紧急重要 重要不紧急 紧急不重要 不紧急不重要 新事物的敏感性 保持好奇心 不要局限在自己的圈子，适当跨界吸收灵感 订阅国内外优秀博客/资源，鲜果RSS阅读不错 英文很重要 选择性参与一些必要的会议，听必要的主题，讨论必要的话题 成长

这篇paper在去年盲审的时候就读过，这次终于读完了。 FASTER AND JUST AS ACCURATE: A SIMPLE DECOMPOSITION FOR TRANSFORMER MODELS（ 更快且同样准确:Transformer模型的简单分解 ） https://openreview.net/pdf?id=B1gKVeBtDH ​ openreview.net Introduction 文本的研究基于先前的研究： @张俊林 AI科技大本营：张俊林：BERT和Transformer到底学到了什么 | AI ProCon 2019 ​ zhuanlan.zhihu.com 较低的层次倾向于对局部现象建模(如词性、句法范畴)，而较高的层次倾向于对依赖于任务的语义现象建模(如词性、句法范畴)，可以以很小的效率成本提供加速。 DeFormer引入一个简单的分解预训练的基于转换的模型，在分解的模型中，较低的层独立地处理问题和上下文文本，而较高的层联合地处理它们。假设我们允许n层模型中的k个更低的层独立地处理问题和上下文文本。DeFormer通过k个较低的层离线处理上下文文本，并缓存第k层的输出。在运行时，首先通过模型的k层处理问题，然后从缓存加载第k层的文本表示。这两个第k层表示被作为输入输入到第(k + 1)层，并通过与原始模型相同的更高的层继续进行进一步的处理。

背景 一般的（确定性）推理过程： 运用已有的知识由已知事实推出结论. 此时，只要求事实与知识的前件进行匹配。 不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。 很多原因导致同一结果 推理所需的信息不完备 背景知识不足 信息描述模糊 信息中含有噪声 规划是模糊的 推理能力不足 解题方案不唯一 在人类的知识和思维行为中， 精确性只是相对的，不精确性才是绝对的 。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。 一、不确定性处理概述 1、不确定性及其类型 a. (狭义)不确定性 　 不确定性(uncertainty)就是一个命题(亦即所表示的事件)的真实性不能完全肯定, 而只能对其为真的可能性给出某种估计。 例如: 如果乌云密布并且电闪雷鸣, 则很可能要下暴雨。 如果头痛发烧, 则大概是患了感冒。 就是两个含有不确定性的命题。 当然, 它们描述的是人们的经验性知识。 b. 不确切性(模糊性) 不确切性(imprecision)就是一个命题中所出现的某些言词其涵义不够确切 , 从概念角度讲, 也就是其代表的概念的内涵没有硬性的标准或条件, 其外延没有硬性的边界, 即边界是软的或者说是不明确的。 例如, 小王是个高个子。 张三和李四是好朋友。 如果向左转, 则身体就向左稍倾。 这几个命题中就含有不确切性, 因为其中的言词“高”、 “好朋友”、“稍倾

今年ICLR2020顶会有一个特别有意思的专题， 叫认知科学与AI顶会专题。 在当下深度学习愈发进入瓶颈期的时代，认知科学和AI的交叉成为大势所趋。 一方面我们希望把认知科学或心理学的知识用起来直接指导AI，另一方面我们希望用AI来理解我们的大脑和认知规律，最终进一步改善AI， 那么ICLR的这个workshop在这两个方面各有哪些建树？ 1， 用AI来理解我们的大脑 Bridging AI and Cognitive Science (BAICS) ​ baicsworkshop.github.io 用深度学习模型来理解视皮层对信息的处理一直是两个领域交叉的热点， 因为视觉处理是2010深度学习革命的最大成者， 而视皮层是神经科学了解最多的区域， 两者都有充分的理由认为可以反哺对方。 From heuristic to optimal models in naturalistic visual search 根据一些研究，人眼的精度大约相当于一个5.76亿像素的数码相机， 这相比任何当下的数码相机都很可怕。但事实上这个数字对我们有所误导，因为事实上我们只有人眼的极小中心区域有很高精度， fovea是在积极工作的（这部分只相当于500到1500万像素）， 而人之所以能够得到非常清晰的视觉图像，是因为人眼通过眼动把很多微小区域拼接起来理解一个整个的场景

3788字13图，预计阅读需要23分钟 红色华诞68周年 National Day of the People's Republic of China 作 者：张 旭 编 辑：李文臣 R-CNN提出于2014年，应当算是卷积神经网络在目标检测任务中的开山之作了，当然同年间还有一个overfeat算法，在这里暂不讨论。 在之后的几年中，目标检测任务的CNN模型也越来越多，实时性与准确率也越来越好，但是最为经典 的模型还是很值得学习的。 那么下面就正式开始吧 对于R-CNN模型，个人是这样理解，它其实是将4个应用于不同任务的已有的算法很好的结合了起来，最终在目标检测任务中取得了不错的效果，这种结合更像是偏向于工程的方法，而不是在算法上的一种突破，当然在后续的Fast-RCNN与Faster-RCNN中模型逐步完善并整合成为一个模型，但是在R-CNN中是没有的。 所以R-CNN由4个部分构成，它们分别是： 1 .区域建议算法（ss） 2 .特征提取算法（AlexNet） 3 .线性分类器（线性SVM） 4 .边界框修正回归模型（Bounding box） 区域建议算法 首先是区域建议（Region Proposal）算法，这个东西在CNN之前就已经有了，而且算法不止一种，ss（selective search）算法是比较著名的一个，此外还有EdgeBox，MSER，MCG等等算法

​ 【玩点有趣的】这几篇SVM介绍是从0到1慢慢学会支持向量机，将是满满的干货，都是我亲自写的，可以随我一起从头了解SVM，并在短期内能使用SVM做到想要的分类或者预测~我也将附上自己基础训练的完整代码，可以直接跑，建议同我一样初学者们，自己从头到尾打一遍，找找手感，代码不能光看看，实践出真知！ ​ 回顾一下， 上上篇 ，我们建立和比较了线性分类器和非线性分类器，比较了多元线性核函数和线性核函数，解决了类型数量不平衡问题， 上篇 ，我们使用SVC做了简单的分类，话不多说，今天我们开始SVR做回归预测，原理篇和实战基础一 请参见上几篇博客，我们循序渐进慢慢贴近真实情景！解决生活问题 估算交通流量 首先做一个比较 有趣的应用 ，我们使用了 SVR来预测：在洛杉矶棒球队进行主场比赛期间，体育场周边马路通过的汽车数量 如图： 这里 一万七千条记录数据 ，分别表示： 星期，时间，对手球队名，比赛是否正在进行，通过汽车的数量 【完整代码】上代码： import numpy as np from sklearn import preprocessing from sklearn . svm import SVR input_file = 'traffic_data.txt' X = [ ] count = 0 with open ( input_file , 'r' ) as f : for

概要： 推荐系统通过信息获取技术解决在线的个人的消息、产品或者服务的推荐问题。这些系统，特别是基于k临近协同过滤算法，在网络上取得了广泛的成功。可用信息和访问人数的巨大增加成了推荐系统一个难题。基于商品的协同过滤推荐算法应运而生，通过分析用户特征矩阵计算推荐信息。本文主要分析不同的基于商品的推荐算法，还会同k临近过滤算法比较，同时提供比现存最好的基于用户算法更好的算法。 一、协同过滤算法分类 协同过滤算法主要分为：1.基于存储 2.基于模型 基于存储 ：它利用整个用户商品数据来产生预测，使用静态的方法找到相似用户，他们评价了不同的商品但是评价相似或者他们想买相似的商品，一旦形成相似组群，系统就会整合组群来产生预测。这种方法也被叫做临近算法或者基于用户的协同过滤算法，得到广泛的应用。 面临的问题： 1.稀疏问题：商品很多，即使是非常爱买东西的用户买的物品可能都不会超过总商品的1%。 2.性能：计算量随着用户和商品的增加而增加。因此数据量一大性能就降低。 基于模型 ：它通过产生一个用户评分模型来推荐，这个算法采用了概率论的方法，通过用户给出的期望价值来给其他商品打分，这个模型通过机器学习算法比如贝叶斯网络, clustering, 和 rule-based等等实现的。贝叶斯网络模型为协同过滤算法提供了一个概率模型，Clustering模型把协同过滤算法当成一个分类问题

（一）Arima模型 时间序列建模基本步骤 获取被观测系统时间序列数据； 对数据绘图，观测是否为平稳时间序列；对于非平稳时间序列要先进行d阶差分运算，化为平稳时间序列； 经过第二步处理，已经得到平稳时间序列。要对平稳时间序列分别求得其自相关系数ACF 和偏自相关系数PACF ，通过对自相关图和偏自相关图的分析，得到最佳的阶层 p 和阶数 q 由以上得到的d、q、p，得到ARIMA模型。然后开始对得到的模型进行模型检验 一、时间序列平稳性 1.判断是否平稳 　　平稳性就是要求经由样本时间序列所得到的拟合曲线在未来一段时间内仍能顺着现有的形态惯性地延续下去。平稳性要求序列的 均值和方差不发生明显变化 。 严平稳： 严平稳表示的分布不随时间的改变而改变。如白噪声（正太），无论怎么取， 期望都是0，方差为1 。 宽平稳： 期望与相关系数（依赖性）不变。未来某时刻的t的值X t 要依赖于它的过去信息，所以需要依赖性。这种依赖性不能有明显的变化。 三种方法： （1）时序图检验 （2）自相关系数和偏相关系数 （3）单位根检验 如果是不平稳，那就需要将其转成平稳，就要用到差分法。 2.差分法 使用差分法可以使得数据更平稳，常用方法：一阶差分法和二阶差分法 3. 纯随机性检验 　　纯随机序列，又称白噪声序列，序列的各项数值之间没有任何相关关系，白噪声序列是没有信息可提取的平稳序列

一、概率图分为三类：表示、推断、学习 二、贝叶斯网络---Representation---条件独立性 三、贝叶斯网络---Representation---D-speration 四、贝叶斯网络---Representation---具体模型例子 五、马尔可夫随机场---Representation---条件独立性 六、马尔可夫随机场---Representation---因子分解 七、推断inference 总体介绍 八、推断inference---Variable Elimination变量消除法 九、推断inference---Belief Propagation（1） 十、推断inference---Belief Propagation（2） 十一、推断inference---Max Product 十二、概念补充---道德图（Moral Graph） 十三、概念补充---因子图（Factor Graph） 参考文献： 【1】 概率图论PGM的D-Separation(D分离) 【2】 机器学习-白板推导系列-概率图模型 来源： oschina 链接： https://my.oschina.net/u/4330093/blog/3649849