概率计算

统计学面试经典问题

点点圈 提交于 2020-01-25 02:56:39
1. 叙述你所熟悉的大数定律与中心极限定理,并举例说明它在统计学中的应用。 1) 大数定律 弱大数定律(通常指辛钦大数定律): a) 马尔科夫大数定律: 随机变量满足马尔科夫条件: 1 n 2 D ( ∑ k = 1 n ξ k ) → 0 \frac {1}{n^2} D(\sum^n_{k=1} \xi_k)\rightarrow 0 n 2 1 ​ D ( ∑ k = 1 n ​ ξ k ​ ) → 0 ,则样本均值依概率收敛于期望值。 b) 辛钦大数定律: 随机变量独立同分布,一阶矩存在且等于 a a a ,样本均值 依概率收敛 于期望值 a a a 。 强大数定律(柯尔莫哥洛夫): 随机变量独立同分布,一阶矩存在且等于 a a a ,样本均值 以概率1收敛 于期望值 a a a 。 2) 中心极限定理 Lindeberg-Levy 中心极限定理 (最早的版本是de Moivre – Laplace,指出二项分布的极限为正态分布): 随机变量 X 1 , X 2 , ⋯   , X n X_{1},X_{2},\cdots ,X_{n} X 1 ​ , X 2 ​ , ⋯ , X n ​ 独立同分布, 且具有有限的数学期望和方差 E ( X i ) = μ E(X_{i})=\mu E ( X i ​ ) = μ , D ( X i ) = σ 2 ≠ 0 ( i = 1

深度学习如何处理信息实现智慧之信息熵、相对熵、交叉熵等

谁说胖子不能爱 提交于 2020-01-25 01:19:48
“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,后经管理人员调查研究发现,这种现象出现在年轻的父亲身上,父亲在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加。 如今,“啤酒+尿布”的大数据挖掘分析成果早已成了大数据技术应用的经典案例,被人津津乐道。啤酒尿布这一看似可笑的现象之所以能被发现,正是“大数据”惊人威力的体现。 今天,大量数据、大量信息充斥我的日常生活和工作中,仿佛生活在数据和信息的海洋中,各类信息严重影响了我们的生活,碎片、垃圾、过时信息耗费了我们宝贵时间,最后可留在我们大脑中的知识少之又少,如何提高有效信息转化率、加快知识积累,更高效的创新,成为我们信息化社会、智慧企业新课题。 信息化社会、智慧企业构成如上图的金字塔模型,基础是数据,通过信息化技术进行数字化;第二层是信息,通过流程上下文,对数据处理;第三层是知识,对信息分类、分层次、归纳梳理;最后,顶端形成人工智能,实现决策支持。 智慧是指人工智能,人工智能是系统基于数据、信息和知识,形成类似于人脑的思维能力(包括学习、推理、决策等)。 知识是对信息的总结和提炼

浅谈欧洲算法——模拟退火

↘锁芯ラ 提交于 2020-01-24 20:13:26
初听说退火这个名词感觉就很(zhuang)帅(A__CDEFG...) 直到学了退火之后,我才发现: 退火不只是帅,而且非常万能 甚至比 D (大) F (法) S (师)还要万能 简直就是骗(de)分神器啊 简介 作为一个计算机算法,它竟然在百度上有物理词条! 当时我看了就懵了,你说计算机一个算法,跟冶炼金属有什么关系啊? 后来我看了算法的词条... 是不是更懵了... 方便大家理解( 变得更懵 ),我搬了百度上的定义: Simulate Anneal Arithmetic (SAA,模拟退火算法) 根据Metropolis准则,粒子在温度T时趋于平衡的概率为e-ΔE/(kT),其中e为温度T时 的内能,ΔE为其改变量,k为Boltzmann常数。用固体退火模拟组合优化问题,将内能E模拟为目标函数值f,温度T演化成控制参数t,即得到解组合优化问题的模拟退火算法:由初始解i和控制参数初值t开始,对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代,并逐步衰减t值,算法终止时的当前解即为所得近似最优解,这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制,包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。 (懒的话不看也罢,本来就是拿来凑字数的) 说实话看完还是挺清楚(?)的,总计一下就是:

自然语言处理(九)——数据平滑

半城伤御伤魂 提交于 2020-01-24 05:09:39
一、概念 什么是数据平滑?我通过一个例子来解释一下。假设有如下语料库: { 今天 天气 不错, 天气 晴朗, 晴朗 的 天气, } 如果要计算句子s=“晴朗天气”的概率(用二元语法模型,自然语言处理(七)已经介绍过),有如下计算过程。 p(天气 | 晴朗) = c(晴朗天气)/ c(晴朗) = = 0 显然上面计算得到的概率不怎么准确,晴朗天气总有出现的可能,最起码概率应该大于0。 为了解决这种问题,数据平滑就有了用武之地,数据平滑的作用把概率为0的变为概率较小的非0概率。最后可能还有一个疑问,句子的概率是0就0呗,为什么要平滑?实际上在语音识别中如果识别到句子的概率是0,那么就识别失败了,不管如何都要识别出一个结果,所以不能让句子的概率成为0。 知道了数据平滑的目的和用途,就该了解,数据平滑到底怎么个平滑?怎么消除0概率?其实平滑的方法有很多,接下来介绍一些常用方法。 二、数据平滑方法 加1法: 这个方法是用于n元语法模型的比较简单的方法,就是计算频率时,每个二元语法出现的次数加1。公式如下: 上面的 |V| 指的是所有不同基元的个数,对下面这个语料库来说: { 今天 天气 不错, 天气 晴朗, 晴朗 的 天气, } |V| = 5。这时候采用平滑的方法要计算句子s=“晴朗天气”的概率: p( 天气 | <BOS> ) = p( 天气 | 晴朗 ) = p( <EOS> | 天气

2.1 条件概率,全概率公式,Bayes公式

我的未来我决定 提交于 2020-01-23 21:28:03
2.1 条件概率,全概率公式,Bayes公式 1.条件概率 对概率的讨论总是限制在一组固定条件下进行。以前的讨论总是假设除此以外再无其余信息可供使用。然而,我们有时却需要考虑:已知某一事件 B B B 已经发生,要求在该情况下另一事件 A A A 发生的概率这样的情况。我们所需要计算的概率实际上是“在已知事件 B B B 发生的条件下,事件 A A A 发生的概率”,我们记这个概率为: P ( A ∣ B ) P(A|B) P ( A ∣ B ) . 定义2.1.1 (条件概率) 设 ( Ω , F , P ) (\Omega, \mathscr{F},P) ( Ω , F , P ) 为一个概率空间, B ∈ F B \in \mathscr{F} B ∈ F ,且 P ( B ) > 0 P(B)>0 P ( B ) > 0 ,则对任意 A ∈ F A \in \mathscr{F} A ∈ F ,记 P ( A ∣ B ) = P ( A B ) P ( B ) . P(A|B) = \frac{P(AB)}{P(B)}. P ( A ∣ B ) = P ( B ) P ( A B ) ​ . 并称 P ( A ∣ B ) P(A|B) P ( A ∣ B ) 为 在事件 B B B 发生的条件下事件 A A A 发生的条件概率 . 注: 未经特别指出,在出现条件概率 P (

自主移动机器人同时定位与地图创建(SLAM)方法概述

孤街醉人 提交于 2020-01-23 16:29:24
1.引言: 机器人的研究越来越多的得到关注和投入,随着计算机技术和人工智能的发展,智能自主移动机器人成为机器人领域的一个重要研究方向和研究热点。移动机器人的定位和地图创建是自主移动机器人领域的热点研究问题。对于已知环境中的机器人自主定位和已知机器人位置的地图创建已经有了一些实用的解决方法。然而在很多环境中机器人不能利用全局定位系统进行定位,而且事先获取机器人工作环境的地图很困难,甚至是不可能的。这时机器人需要在自身位置不确定的条件下,在完全未知环境中创建地图,同时利用地图进行自主定位和导航。这就是移动机器人的同时定位与地图创建(SLAM) 问题,最先是由SmithSelf 和Cheeseman在1988年提出来的,被认为是实现真正全自主移动机器人的关键。 SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和传感器数据进行自身定位,同时建造增量式地图。 在SLAM中,机器人利用自身携带的传感器识别未知环境中的特征标志,然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的全局坐标。这种在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。近几年来,SLAM的研究取得了很大的进展,并已应用于各种不同的环境,如:室内环境、水下、室外环境。 2.SLAM的关键性问题 2.1地图的表示方式 目前各国研究者已经提出了多种表示法

理解贝叶斯优化

允我心安 提交于 2020-01-23 11:00:57
1 总述 对于贝叶斯优化,总体可以分为两个部分,概率代理模型和采集函数。 2 概率代理模型和采集函数 概率代理模型:根据模型的参数个数是否固定可分为:参数模型和非参数模型。常见的参数模型有:贝塔-伯努利(Beta-Bernoulli)模型和线性(linear)模型。常见的非参数模型有高斯过程、随机森林等。本文介绍应用范围最广的高斯过程。 采集函数:主要根据后验概率代理模型,选择下一个具有潜力的评估点。 2.1 高斯过程 由于高斯过程的参数维度随着观测点的增加而增加,非固定,因此被归类为非参数模型(并非没有参数)。 高斯过程可以看成是一个函数,这个函数的输入是 x t + 1 x_{t+1} x t + 1 ​ ,函数的输出是在当前输入 x t + 1 x_{t+1} x t + 1 ​ 下的预测值在高斯分布下的均值和方差。 在训练中,主要涉及协方差矩阵的计算和超参数的优化。 2.2 采集函数 采集函数:对于采集函数需要一方面尽可能的探测未知的空间(未评估过的参数组合),这样概率代理模型才能更加接近真实的未知函数。另一方面,根据已经找到的最优值,加大在其周围搜索参数的力度,以期更加迅速的找到全局最优值。这两方面往往是矛盾的,需要在两者之间找到一个平衡点。常见的采集函数有三种:probability of improvenment(PI)、Expected improvement(EI

系统集成项目管理工程师备考资料(口袋应试第二版)19

无人久伴 提交于 2020-01-22 14:39:22
15.文档/配置管理 口袋应试:文档、配置管理一章中,因为每年出题的分数占比不高,所以出题点比较集中。文档管理中主要是:文档的种类、文档的质量等级;配置管理中出题点主要集中在15.2.1这一节,其中包括:配置项状态、配置项版本号(版本号要会看会区分)、配置库的概念和类型。其它内容大家根据个人时间和精力去复习即可。 15.1信息系统项目相关信息(文档)及其管理 15.1.1信息系统项目相关信息(文档) 2.信息系统项目相关信息(文档)种类 软件文档分为三类:开发文档、产品文档、管理文档。 (1) 开发文档描述开发过程本身,基本的开发文档是: ●可行性研究报告和项目任务书; ●需求规格说明 ●功能规格说明 ●设计规格说明,包括程序和数据规格说明; ●开发计划 ●软件集成和测试计划 ●质量保证计划; ●安全和测试信息。 (2) 产品文档描述开发过程的产物,基本的产品文档包括: ●培训手册; ●参考手册和用户指南 ●软件支持手册 ●产品手册和信息广告 (3) 管理文档记录项目管理的信息,例如: ●开发过程的每个阶段的进度和进度变更的记录 ●软件变更情况的记录 ●开发团队的职责定义。 第二版P491@15.1.1@15.1.1 出题概率:★★★★★ 140163、140363、160163、160361、180361 文档的4个质量等级 文档的质量可以分为四级: (1) 最低限度文档

机器学习基础——带你实战朴素贝叶斯模型文本分类

风格不统一 提交于 2020-01-22 09:26:00
本文始发于个人公众号: TechFlow 上一篇文章当中我们介绍了 朴素贝叶斯模型的基本原理 。 朴素贝叶斯的核心本质是假设样本当中的变量 服从某个分布 ,从而利用条件概率计算出样本属于某个类别的概率。一般来说一个样本往往会含有许多特征,这些特征之间很有可能是有相关性的。为了简化模型,朴素贝叶斯模型 假设这些变量是独立的 。这样我们就可以很简单地计算出样本的概率。 想要回顾其中细节的同学,可以点击链接回到之前的文章: 机器学习基础——让你一文学会朴素贝叶斯模型 在我们学习算法的过程中,如果只看模型的原理以及理论,总有一些纸上得来终觉浅的感觉。很多时候,道理说的头头是道,可是真正要上手的时候还是会一脸懵逼。或者是勉强能够搞一搞,但是过程当中总会遇到这样或者那样各种意想不到的问题。一方面是我们动手实践的不够, 另一方面也是理解不够深入。 今天这篇文章我们实际动手实现模型,并且在 真实的数据集 当中运行,再看看我们模型的运行效果。 朴素贝叶斯与文本分类 一般来说,我们认为 狭义的事件 的结果应该是有限的,也就是说事件的结果应该是一个 离散值 而不是连续值。所以早期的贝叶斯模型,在引入高斯混合模型的思想之前,针对的也是离散值的样本(存疑,笔者推测)。所以我们先抛开连续特征的场景,先来看看在离散样本当中,朴素贝叶斯模型有哪些实际应用。 在机器学习广泛的应用场景当中,有一个非常经典的应用场景

推荐系统评价指标:AUC和GAUC

白昼怎懂夜的黑 提交于 2020-01-21 23:59:03
AUC是推荐系统中最常用的模型评价指标。基础概念要常看常新,最近复习了一遍AUC的概念,在此做个笔记。本文力求简洁系统地理解AUC的概念和计算方法,AUC在推荐/广告领域的局限性以及解决这一问题的另一个指标:Group AUC(GAUC) 1. 分类任务与混淆矩阵 认识auc的第一步,是看懂混淆矩阵: 预测\真实 1 0 1 TP FP 0 FN TN True/False代表预测的正确/错误; Positive/Negative代表预测值为1/0. TP是真1;FP是假1;FN是假0; TN是真0。 真阳率: T P R = T P T P + F N TPR = \frac{TP}{TP+FN} T P R = T P + F N T P ​ ,正样本被预测为1的概率; 假阳率: F P R = F P F P + T N FPR = \frac{FP}{FP+TN} F P R = F P + T N F P ​ ,负样本被预测为1的概率; 2. ROC曲线与AUC 以x轴为FPR, y轴为TPR,做出图称为ROC曲线 AUC的定义:Area Under ROC Curve,即ROC曲线下的面积 AUC的意义:随机抽取一对正负样本,AUC是 把正样本预测为1的概率大于把负样本预测为1的概率的概率 。这句话有点拗口,用公式写就是: A U C = P ( P 正 > P 负 )