四分位数

数据探索是对样本数据进行解释性的分析工作，它是数据挖掘和机器学习较为前期的部分，更偏重于研究数据的本质、描述数据的形态特征并解释数据的相关性。 换句话说，透过数据探索，我们应该可以回答如下问题： 样本数据的分布怎样？有什么特点？数据之间有何种关系？数据是否满足建模要求？ 问题驱动发展，对以上问题进行解答，涉及到数据探索的两个方面工作： 数据质量分析 数据特征分析 需要提及的是，数据探索与数据预处理紧密相连的，二者在数据挖掘的中没有绝对的先后次序。比如，在数据质量分析中，就牵涉到数据预处理中的数据清洗。 本文将主要介绍数据质量分析的相关工作。 数据质量分析 数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，脏数据包括以下方面： 1 缺失值 2 异常值 3 不一致的值 4 重复数据以及含有特殊符号（如#、￥、*）的数据 对于第四种数据，理解起来比较简单，处理也很容易，因此主要针对前三种数据进行分析，至于处理手段，所用到的方法是数据预处理中的数据清洗内容。 1 缺失值 数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确。 （1）缺失值产生原因 1）有些信息暂时无法获取，或者获取代价太大。 2）有些信息被遗漏。可能是忘记填写或对数据理解错误等因素，也可能是由于数据采集设备的故障造成。 3）属性值不存在。在某些情况下

四分位数 四分位数（英语：Quartile）是统计学中分位数的一种，即把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。 概念 第一四分位数（ {\displaystyle Q_{1}} Q_{1}），又称较小四分位数，等于该样本中所有数值由小到大排列后第25%的数字。 第二四分位数（ {\displaystyle Q_{2}} Q_{2}），又称中位数，等于该样本中所有数值由小到大排列后第50%的数字。 第三四分位数（ {\displaystyle Q_{3}} Q_{3}），又称较大四分位数，等于该样本中所有数值由小到大排列后第75%的数字。 第三四分位数与第一四分位数的差距又称四分位距（InterQuartile Range, IQR）。 运算过程 应用 不论Q1,Q2,Q3的变异量数数值为何，均视为一个分界点，以此将总数分成四个相等部分，可以通过比较Q1,Q2,Q3，分析其数据变量的趋势 来源： CSDN 作者： 一只勤奋爱思考的猪 链接： https://blog.csdn.net/sinat_26566137/article/details/104251212

对数据质量进行简单的分析后，我们就可以开始来分析数据的特征分析了。数据的特征分析可以从以下几个方面开展： 分布分析 对比分析 统计量分析 周期性分析 相关性分析 通过以上5种方式，可以找到数据中存在的某种特征。 分布分析 分布分析很容易理解，就是理解数据的分布情况。例如：在0-100区间有多少数据、100-1000有多少数据等等。我们一般可以使用 直方图 、 饼图 来展示数据的分布情况。 分布分析可以分为两种类型： 定量数据分布分析 定性数据分布分析 定量数据分布分析就是把数据分成一个个 固定的区间 ，然后统计不同区间的分布数值。 定量数据分析的步骤为如下： 求极差（最大值 - 最小值） 决定组距和组数 决定分点 列出频率分布表 绘制频率分布直方图 定性数据分布分析比较简单，就是按照指定的分类来统计不同类别的分布数值。 对比分析 对比分析是指选择具备有一定联系的指标来进行比较，从而发现数据的变化特征。对比分析的关键在于确定对比的标准，才能进行有效的评价。 对比分析主要分为两类： 绝对数比较 相对数比较 绝对数比较容易理解，就是用指标和一个固定的值来进行比较，寻找数据的差异。 相对数比较是找到几个有联系的指标来进行比较分析，可以发现不同类别指标之间的差异。相对数比较又分为以下几类： 结构相对数：用一个分类的指标和总体的指标值对比求得比重，用来说明事物的组成结构。 比较相对数

介绍 统计学的分类 数据集中趋势的表现 数据离散程度的描述 各种数据图（直方图、箱线图、茎叶图、线图、柱状图、饼图） 统计学可以分为：描述统计学与推断统计学 描述统计学：使用特定的数字或图表来体现数据的集中程度和离散程度。 推断统计学：根据样本数据推断总体数据特征。 应用：统计学的应用十分广泛，目前比较热门的应用：经济学，医学，心理学等。 集中趋势 均值——算术平均数，描述平均水平 中位数——将数据按大小排列后位于正中间的数描述，描述中等水平 众数——数据中出现最多的数，描述一般水平 离散程度的描述 极差：最大值-最小值，简单的描述数据的范围大小 方差： ,描述数据的离散程度 例如： 简化方差： 标准差： 与方差一样，标准差的值越大，表示数据越分散。 直方图 使用直方图的原因：数据过于复杂，无法直观表示。 找出最大值与最小值，确定数据的范围 整理数据，分组（选取数据的范围），并记录所分的组中，含有数据的多少（频数）构成表格（频数分布表） 依据频数分布表画出直方图（频数为纵轴、分组为横轴） 箱线图 对数据进行排序 找出中位数 找出上四分位数与下四分位数（注意：下四分位数：Q1，将所有数据按照从小到大的顺序排序排在第25%位置的数字；上四分位数：Q3，将所有数据按照从小到大的顺序排序排在第75%位置的数字） 判断异常点（异常点：小于Q1－1.5IQR或大于Q3+1.5IQR的值）

计算生存曲线四分位数以及中位数的置信区间: ods listing close; ods results off; proc lifetest data=adtte method=KM plots=(s); time aval*cnsr(1); strata trtan; ods output Quartiles= part3 HomTests=HomTests; run; ods results on; ods listing; adtte是datain，part3是dataout，Quartiles=表示只输出包含四分位数以及置信区间的那部分；默认的是95%置信区间，alpha=。 strata分层分析，如果只有一层，则不需要使用HomTests=HomTests选项。 cnsr（1），表示在cnsr=1的时候，该条记录删失。 四分位数表示当有百分之25/50/75的人发生事件（cnsr=0）的时候，发生事件的时间（aval）的点估计；95%的置信区间上下限也是时间。四分位的分母是指所有人，并且随着时间的推移，不停的去掉删失的人。 ods listing close; ods results off; proc lifetest data=adtte plots=(survival(atrisk) logsurv) timelist=78 162; time aval*cnsr

总结一个小知识，仅供参考。 1、数列项为奇数时： 3、5、9、11、17、19、35 先计算位置，在通过位置计算对应的数值 Q1：(n+1)*0.25=2 Q2：(n+1)*0.5=4 Q3：(n+1)*0.75=6 当下标正好为整数时，对应的数值为Q1=5、Q2=11、Q3=19 3、5、9、11、17 Q1：(n+1)*0.25=1.5 Q2：(n+1)*0.5=3 Q3：(n+1)*0.75=4.5 当计算的下标不是整数时，对应的数值为Q1=（3+5）*0.5=4、Q2=9、Q3=（11+17）*0.5=14 2. 数列项为偶数时 3、5、9、11、17、19 Q2的值为中间两个数字和除以2 Q1位置：（n+1）/ 4 = 1.75 Q3位置：3（n+1）/ 4=5.25 对应值得计算为落到位置的区间值，低位+(高位-低位)*小数部分 Q1值：3+（5-3）* 0.75 = 4.5 Q3值：17+（19-17）* 0.25 = 17.5 来源： CSDN 作者： 罗罗诺亚-小鱼 链接： https://blog.csdn.net/Tracycater/article/details/103647939

描述统计学（Descriptive Statistics）：将数据的信息以表格， 图形或数值的形式进行汇总。 数据类型：分为定量数据（数值型数据）和定性数据（类别型数据）。数值型数据又可以分为连续型和离散型，类别型数据又可以分为有序型和无序型。 定性数据： 频数（frequency） ：数据出现的次数。 相对频数（relative frequency） ：数据出现的次数/总次数。 百分数（percentage） ：数据出现的次数/总次数*100%。 定量数据： 平均数（mean） ：总数值除以总数。总体均值---μ；样本均值--- 。 注：这里说的平均数是算术平均数，其他还有加权平均数（weighted mean），几何平均数（geometric mean）和调和平均数。 中位数（median） ：将所有数据按升序排列，当数据个数是奇数时，中位数就是位于中间的数值，当数据个数是偶数时，中位数就是位于中间的两个数值的平均值。 众数（mode） ：出现次数最多的数据。 四分位数（quartile） ：将所有数据按升序排列，然后等分为四部分，处在25%位置上的数值称为下四分位数Q1，处在50%位置上的数值称为Q2，处在75%位置上的数值称为上四分位数Q3。 极差（range） ：最大值-最小值。 四分位间距（interquartile range, IQR） ：第三分位数（Q3）

阅读材料为 第四章。 开头先来一个 总体内容的概括 好了： 集中趋势：众数、中位数、平均数 离散程度：异众比率、四分位差、极差、平均差、方差或标准差、离散系数 分布的形状：偏态系数、峰态系数 集中趋势： 分类数据： 众数：一般情况下，只有在数据量较大的时候众数才有意义。 众数可能不存在，也可能有多个。 顺序数据： 分位数、中位数 中位数的位置：(n+1)/2 数值型数据： 平均数：简单平均数、加权平均数、几何平均数 简单平均数很简单就不说了。 根据分组数据计算的平均数称为加权平均数；工作中我们算1-9月的店均销售就是采用加权平均的，因为每个月的店铺数会有变化。用1-9月的销售额之和除以1-9月的店铺数之和。 几何平均数的主要应用是计算现象的平均增长率（当数据出现零值或负值时不宜使用）。 当所平均的各比率数值相差不大时，算术和几何平均的结果差别不大。 众数、中位数、平均数之间的关系： 当数据对称分布时，三者相等； 当数据左偏分布时，平均数被拉向左边，中位数也略偏左边，因此，平均数<中位数<众数 当数据右偏分布时，平均数被拉向右边，中位数也略偏右边，因此，众数<中位数<平均数 三者的应用场合： 众数：数据量大时适用；分类数据。 中位数：不受极端值影响，因此偏态分布时适用；顺序数据。 平均数：受极端值影响大，因此数据对称分布时适用；数值型数据。 集中趋势和离散程度之间的联系：

数据源： nums=[] 使用numpy 很简单： import numpy as np np.percentile(nums, (25, 50, 75), interpolation='midpoint') 附纯python写法: def median(x): x = sorted(x) length = len(x) mid, rem = divmod(length, 2) # divmod函数返回商和余数 if rem: return x[:mid], x[mid+1:], x[mid] else: return x[:mid], x[mid:], (x[mid-1]+x[mid])/2 lHalf, rHalf, q2 = median(nums) print(median(lHalf)[2]) print(q2) print(median(rHalf)[2]) 文章来源: python求四分位数的方法（附纯python写法）

https://blog.csdn.net/qq_19528953/article/details/78785818 一 介绍 对于数据处理来说，整个处理的流程如下图所示： 数据预处理——通常包括特征选择、维规约、规范化等方法。 数据挖掘——这部分的方法和技术非常多，在处理时主要根据自己的目的来选择对应的方法最为恰当。 数据后处理——主要包括模式过滤、可视化等，目的是为了让数据挖掘的结果利于使用和观察。 为了让大家有一个清晰的框架，后面内容的思维导图如下展示： 二 了解数据 数据处理最关键的地方在于解决问题，并不是使用的方法越复杂越好。无论方法多么简单，只要解决问题就是好的方法 。为了解决数据处理的相关问题， 第一步是观察数据，了解数据相关的概念 ，然后对数据进行一些处理。这样对后面具体使用哪个方法来进行分析非常有用。 2.1数据预处理 数据预处理对于后续使用数据挖掘或者机器学习技术非常重要。在面临大数据的当下，数据的维度通常非常的多，因此 数据预处理的一个主要任务就是降低数据维度 。 2.1.1维归约 所谓维归约，就是要减少数据的特征数目，摒弃掉不重要的特征，尽量只用少数的关键特征来描述数据。人们总是希望看到的现象主要是由少数的关键特征造成的，找到这些关键特征也是数据分析的目的。维归约中主要方法很多，下面介绍几个： （1）主成分分析 主成分分析是一种统计方法