概率计算

基本概念 随机变量 在做实验时，常常是相对于试验结果本身而言，我们主要还是对结果的某些函数感兴趣。 例如，在掷骰子时，我们常常关心的是两颗骰子的点和数，而并不真正关心其实际结果； 就是说，我们关心的也许是其点和数为7，而并不关心其实际结果是否是（1，6）或（2，5）或（3，4）或（4，3）或（5，2）或（6，1）。 我们关注的这些量，或者更形式的说，这些定义在样本空间上的实值函数，称为随机变量。 古典概率 概率 依其计算方法不同，可分为古典概率、 试验概率 和 主观概率 人们最早研究概率是从 掷硬币 、 掷骰子 和摸球等游戏和赌博中开始的。 这类游戏有两个共同特点： 一是试验的 样本空间 （某一试验全部可能结果的各 元素组成 的集合）有限，如掷硬币有正反两种结果，掷骰子有6种结果等； 二是试验中每个结果出现的可能性相同，如硬币和 骰子 是均匀的前提下，掷硬币出现正反的可能性各为1/2，掷骰子出出各种 点数 的可能性各为1/6，具有这两个特点的 随机试验 称为 古典概型 或等可能概型。 计算古典概型概率的方法称为概率的古典定义或古典概率。 定义： 关于古典 概率 是以这样的假设为基础的,即 随机现象 所能发生的事件是有限的、互不相容的,而且每个 基本事件 发生的可能性相等。 例如，抛掷一枚平正的硬币,正面朝上与反面朝上是唯一可能出现的两个基本事件,且互不相容。

原文地址： Image Completion with Deep Learning in TensorFlow by Brandon Amos 原文翻译与校对： @MOLLY && 寒小阳 (hanxiaoyang.ml@gmail.com) 时间：2017年4月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/70214565 声明：版权所有，转载请联系作者并注明出 简介 第一步：将图像理解为一个概率分布的样本 你是怎样补全缺失信息的呢？ 但是怎样着手统计呢？这些都是图像啊。 那么我们怎样补全图像？ 第二步：快速生成假图像 在未知概率分布情况下，学习生成新样本 [ML-Heavy] 生成对抗网络(Generative Adversarial Net, GAN) 的架构 使用G(z)生成伪图像 [ML-Heavy] 训练DCGAN 现有的GAN和DCGAN实现 [ML-Heavy] 在Tensorflow上构建DCGANs 在图片集上跑DCGAN 第三步：找到用于图像补全最好的伪图像 使用 DCGAN 进行图像补全 [ML-Heavy] 到 pgpg 的投影的损失函数 [ML-Heavy] 使用tensorflow来进行DCGAN图像补全 补全图像 结论 简介 内容识别填充(译注: Content-aware fill

MNIST 手写数字识别模型建立与优化 本篇的主要内容有： TensorFlow 处理MNIST数据集的基本操作 建立一个基础的识别模型 介绍 S o f t m a x Softmax S o f t m a x 回归以及交叉熵等 MNIST是一个很有名的手写数字识别数据集（基本可以算是“Hello World”级别的了吧），我们要了解的情况是，对于每张图片，存储的方式是一个 28 * 28 的矩阵，但是我们在导入数据进行使用的时候会自动展平成 1 * 784（28 * 28）的向量，这在TensorFlow导入很方便，在使用命令下载数据之后，可以看到有四个数据集： 模型 来看一个最基础的模型建立，首先了解TensoFlow对MNIST数据集的一些操作 1.TensorFlow 对MNIST数据集的操作 下载、导入 from tensorflow.examples.tutorials.mnist import input_data # 第一次运行会自动下载到代码所在的路径下 mnist = input_data.read_data_sets('location', one_hot=True) # location 是保存的文件夹的名称 打印MNIST数据集的一些信息，通过这些我们就可以知道这些数据大致如何使用了 # 打印 mnist 的一些信息 from tensorflow

前言：简单翻译了一篇介绍卷积网络的文章，以学习了解卷积网络运行机制。 An Intuitive Explanation of Convolutional Neural Networks 原文地址： https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/comment-page-4/?unapproved=31867&moderation-hash=1ac28e426bc9919dc1a295563f9c60ae#comment-31867 一、什么是卷积神经网络、为什么卷积神经网络很重要？ 　　卷积神经网络<Convolutional Neural Networks>简称ConvNets 或CNNs 属于分类神经网络，在某些领域已经被验证非常有效，比如图像识别、分类领域。ConvNets 不仅仅在人脸、物体、交通标志识别成功而且还助力于机器视觉与自动驾驶。 图 1: 来源 [ 1 ] 　　在上图 图1 中ConvNet 可以识别场景并且系统可以建立相关关联（“一个足球运动员在踢足球”），然而在下图 图2 的示例中展示了ConvNets 用于识别物体、人和动物。最近，ConvNets 在某些自然语言处理任务（例如句子分类）中也有效。[ 注：微软小冰、苹果Siri 等，读者也可以调用微软AI搭建自己的应用程序

一：频率派，贝叶斯派的哲学 现在考虑一个最最基本的问题，到底什么是概率?当然概率已经是在数学上严格的，良好定义的，这要归功于30年代大数学家A.N.Kolmogrov的概率论公理化。但是数学上的概率和现实世界到底是有怎样的关系?我们在用数学理论--------概率论解决实际问题的时候，又应该用什么样的观点呢?这真差不多是个哲学问题。这个问题其实必须得好好考察一下，下面我们看看最基本的两种哲学观，分别来自频率派和贝叶斯派， 我们这里的 “哲学” 指的是数学研究中朴素的哲学观念，而不是很严肃的哲学讨论。 1.1. 经典的统计(频率派)的哲学 ： 1)概率指的是频率的极限，概率是真实世界的客观性质(objective property) 2)概率分布的参数都是固定的，通常情况下未知的常数，不存在"参数$\theta$满足XXX的概率是X"这种概念。 3)统计方法应该保证具有良好的极限频率性质，例如95%区间估计应该保证当$N$足够大的时候，我们选取$N$个样本集$S_{1}$, $S_{2}$,...,$S_{N}$所计算出来的相应的区间$I_{1}$，$I_{2}$，...，$I_{N}$中将有至少95%*N个区间包含我们需要估计的统计量的真实值。 我们从上看到，经典频率派的统计是非常具有 唯物主义（materialism） 色彩的，而贝叶斯的哲学大不一样

07 朴素叶贝斯算法 概率基础 概率： 一件事情发生的可能性 联合概率： 包含多个条件，且所有条件同时成立的概率。P(A,B) P(A, B) = P(A)P(B) 条件概率：事件A在另外一个事件B已经发生条件下发生的概率。 P(A|B) P(A1,A2 | B) = P(A1 | B) * P(A2 | B) 注意： 此条件概率的成立，是由于A1, A2相互独立的结果 朴素贝叶斯 朴素： 特征独立，常用文档分类 在给定词比例的基础上，求各类型文档的比例 贝叶斯公式： （多个条件下一个结果） 公式分为3个部分： P(C): 每个文档类别的概率 （某类文档数/总文档数） P(W | C)：给定类别下特征（被预测文档中出现的词）的概率：计算方法：P(F1|C） = Ni/N Ni : F1词在C类别文档所有文档出现的次数 N: 所属C类别下的文档所有词出现的次数和 P(F1,F2,F3) : 预测文档中每个词的概率 文档分类： 给定一个文档的条件下，求文档所属于科技、娱乐等类别的概率。哪个类别的概率大，则归为某个类别。 文档：词1， 词2 ， 词3 （词出现的数量的情况下，判断类别） P(科技|词1，词2，词3） = P(f1,f2,f3 | 科技）*P(科技）/P(W) P(娱乐|词1，词2，词3） = P(f1,f2,f3 | 娱乐）*P(娱乐）/P(W) 由于是概率大小，则P(W

ARIMA 模型 ARIMA模型（英语：AutoregressiveIntegratedMovingAverage model）， 差分整合移动平均自回归模型 ，又称 整合移动平均自回归模型 （移动也可称作滑动）， 时间序列 预测分析方法之一。ARIMA（p，d，q）中，AR是"自回归"，p为自回归项数；MA为"滑动平均"，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。 ARIMA（p，d，q）模型是 ARMA （p，q）模型的扩展。ARIMA（p，d，q）模型可以表示为： 其中 L 是滞后算子（Lag operator）， 1. 平稳性： 平稳性就是要求经由样本时间序列所得到的拟合曲线，在未来的一段时间内仍能顺着现有状态“惯性”地延续下去； 平稳性要求序列的均值和方差不发生明显变化； 方差越大，数据波动越大，方差计算公式如下式所示： 方差等于1，那么标准差也就是1，表示概率函数在对称轴左右偏差1的位置导数为0，即为拐点。期望为0，表示概率函数以y轴为对称轴。 平稳性分为严平稳和弱平稳 严平稳：严平稳表示的分布不随时间的改变而改变，如：白噪声（正态），无论怎么取，都是期望为0，方差为1； 弱平稳：期望与相关系数（依赖性）不变，未来某时刻的t值Xt就要依赖于它的过去信息，所以需要依赖性； 2. 差分法：时间序列在 t 与 t-1 时刻的差值 3. 自回归模型（ AR

一：贝叶斯的哲学 现在考虑一个最最基本的问题，到底什么是概率?当然概率已经是在数学上严格的，良好定义的，这要归功于30年代大数学家A.N.Kolmogrov的概率论公理化。但是数学上的概率和现实世界到底是有怎样的关系?我们在用数学理论--------概率论解决实际问题的时候，又应该用什么样的观点呢?这真差不多是个哲学问题。这个问题其实必须得好好考察一下，下面我们看看最基本的两种哲学观，分别来自频率派和贝叶斯派， 我们这里的 “哲学” 指的是数学研究中朴素的哲学观念，而不是很严肃的哲学讨论。 1.1. 经典的统计推断(频率派)的哲学 ： 1)概率指的是频率的极限，概率是真实世界的客观性质(objective property) 2)概率分布的参数都是固定的，通常情况下未知的常数，不存在"参数$\theta$满足XXX的概率是X"这种概念。 3)统计方法应该保证具有良好的极限频率性质，例如95%区间估计应该保证当$N$足够大的时候，我们选取$N$个样本集$S_{1}$, $S_{2}$,...,$S_{N}$所计算出来的相应的区间$I_{1}$，$I_{2}$，...，$I_{N}$中将有至少95%*N个区间包含我们需要估计的统计量的真实值。 我们从上看到，经典频率派的统计是非常具有 唯物主义（materialism） 色彩的，而贝叶斯的哲学大不一样，据考证贝叶斯是英格兰的一名牧师

之前学习了隐马尔可夫模型，现在记录一下条件随机场。本文主要参考了《统计学习方法》，如有错误，请各位多多指教 1、什么是条件随机场 首先我们先了解什么是随机场。 在概率论中，随机场的定义为：由 样本空间 Ω = {0, 1, ..., G − 1}n取样构成的 随机变量 Xi所组成的S = {X1, ..., Xn}。若对所有的ω∈Ω下式均成立，则称π为一个随机场。更直白一点的理解是随机场是由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场。就如一句话对他进行词性标注，先不论对错，只要对每个词标注了就形成一个随机场。 接着我们来了解什么是马尔科夫随机场。 先看《统计学习方法》中对马尔科夫随机场的定义。 概率无向图模型，又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。 图(graph)是由结点(node)及连接结点的边(edge)组成的集合。结点和边分别记作 v 和 e，结点和边的集合分别记作 V 和 E，图记作G=(V,E)。无向图是指边没有方向的图。设有联合概率分布P(Y)，Y是一组随机变量。由无向图G=(V,E)表示概率分布P(Y)，即在图G中，每个结点 v 表示一个随机变量Yv；每条边e表示随机变量之间的概率依赖关系。 定义：设有联合概率分布P(Y)由无向图G=(V,E)表示，在图G中，结点表示随机变量

在ChainNode白皮书解密读书会01期活动中，比原链高级研究员刘秋杉带领大家领读「MOV：下一代去中心跨链 Layer 2 价值交换协议」白皮书，得到了很多粉丝的关注，其中gentledog的读书帖「关于MOV巡查官制度的几点思考」获得了读书活动的第一名。 正文如下： 根据白皮书，MOV中有巡查官一职防止侧链作恶。我就在想，这个制度是否存在漏洞呢？经过一番思考，似乎有以下几种攻击方式： 1、复制交易攻击 巡查官发现问题并在主链上发起一笔交易，有人获取这笔交易内容后，提高手续费或者直接向网络隐瞒这笔交易，然后再发起一笔同样内容的交易，从而窃取巡查官的劳动成果。在这种情况下，巡查官能够获取的利益几乎为零，甚至为负，这样就不会有动力去巡查了。 这种攻击是有对策的。有一样东西是作恶者无法复制的：钱包地址！可以采取提案（承诺）+证据的模式，巡查官可以先提交承诺（数据+钱包地址的哈希值），等区块确认后，再公布数据（钱包地址可以不用公布）。这样就能比较完美地解决这个问题了。 2、假装作恶攻击 当网关节点给予的奖励大于侧链作恶者所遭受的损失时，可以采取这种攻击。侧链作恶者可以假装作恶，然后串通巡查官抢先提交作恶的证据，从网关节点处骗取奖励，当奖励大于作恶者所受到的惩罚时，作恶者就获利了。这种攻击说明，网关节点给予的奖励是有上限的，它不能大于作恶者所受到的惩罚，并不一定与作恶程度对等。 3