数据处理

Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； 由于流处理的数据流特征，使之数据流具有不可预测性，而且数据处理的速率还与硬件、网络等资源有关，在这种情况下如不对源源不断进来的数据流速率进行限制，那当Spark节点故障、网络故障或数据处理吞吐量下来时还有数据不断流进来，那将有可能将出现OOM进而导致Spark Streaming程序崩溃； 在Spark Streaming中不同的数据源采用不同的限速策略，但无论是Socket数据源的限流策略还是Kafka数据源的限流策略其速率（rate）的计算都是使用PIDController算法进行计算而得来； 下面从源码的角度分别介绍 Socket数据源 与 Kafka数据源 的限流处理。 速率限制的计算与更新 Spark Streaming的流处理其实是基于微批处理(MicroBatch)的，也就是说将数据流按某比较小的时间间隔将数据切割成为一段段微批数据进行处理； 添加监听器 StreamingContext调用Start()启动的时候会将速率控制器（rateController）添加到StreamingListener监听器中； 当每批次处理完成时将触发监听器

进入 大数据 时代，和数据相关的名词都被人们津津乐道。那 数据挖掘 、 数据分析 以及大数据之间有哪些区别呢？数据挖掘是发现信息以及收集数据的过程；数据分析则是将现有数据进行归纳以及分析得出相应结论的过程。而大数据则更加关注数据本身，重要表现就是数据量大，数据的多样性等等。 　　首先我们了解一下这三个概念分别有哪些具体的含义以及特点。 　　 1、大数据： 　　指无法一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 　　在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)、Veracity(真实性) 。 　　 2、数据分析： 　　是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 　　数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 　

PySpark数据科学入门 PySpark是一种很好的语言，可以大规模地进行探索性数据分析、构建机器学习管道以及为数据平台创建ETL。如果您已经熟悉Python和Pandas等库，那么PySpark是一种很好的语言，可以用来创建更具扩展性的分析和管道。这篇文章的目的是展示如何启动和运行PySpark并执行常见任务。 我们将使用Databricks作为Spark环境，将Kaggle的NHL数据集用作分析的数据源。这篇文章展示了如何在Spark 数据帧写入数据，创建这些帧的转换和聚合，可视化结果以及执行线性回归。我还将展示如何使用Pandas UDF以可扩展的方式将常规Python代码与PySpark混合。为了简单起见，我们将专注于批处理并避免流数据管道出现的一些复杂问题。 这篇文章的完整笔记本可以在github上找到。(https://github.com/bgweber/StartupDataScience/blob/master/EDA/PySpark_NHL.ipynb) 环境 启动和运行Spark有许多不同的选项： 自托管：您可以使用裸机或虚拟机自行设置群集。 Apache Ambari是这个选项的一个有用的项目，但它不是我推荐的快速启动和运行的方法。 云提供商：大多数云提供商都提供Spark集群：AWS具有EMR，GCP具有DataProc，它可以比自托管更快地进入互动环境

Hadoop是什么？ Hadoop是由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常是指一个更广泛的概念—-Hadoop生态圈 Hadoop发展历史 Lucene框架是Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎 2001年底Lucene成为Apache基金会的一个子项目 对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢 学习和模仿Google解决这些问题的办法：微型版Nutch 可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS → HDFS Map-Reduce → MR BigTable → HBase 2003年到2004年，Google公开了部分GFS和MapReduce的思想细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升 2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会 2006年3月份，Map-Reduce和Nutch Distributed File System（NDFS

1.Excel简介 数据处理软件，lotus兼容（文件，选项，高级，拉到底，lotus，） 2.Excel功能 数据存储，数据处理，数据分析，数据呈现 3.具体功能 重新认识了Excel，选项，高级选项（新建列表） 新建表，垂直排布，标签颜色 自动填充，右键，日期 定位（上下左右），选项（导航栏）：2:1000 冻结窗口（视图，冻结窗格） 来源： https://www.cnblogs.com/kekefu/p/12250495.html

机器如何学习？ 数据预处理（数据清洗、数据集成、数据采样） 特征工程（特征编码、特征选择、特征降维、规范化） 数据建模（回归问题、分类问题、聚类问题、其他问题） 结果评估（拟合度量、查准率、查全率、F1值、PR曲线、ROC曲线） 数据预处理 数据清洗 ：对各种脏数据进行对应方式的处理，得到标准、干净、连续的数据、提供给数据统计、数据挖掘等使用 数据的完整性 数据的合法性（例如获取的数据与常识不符） 数据的一致性 数据的唯一性 数据的权威性 数据采样： 数据不平衡——指数据集的类别分布不均（例如：一个二分类问题，100个训练样本，比较理想的情况是正类、父类相差不多；而如果正类样本有99个，父类样本仅1个，则意味存在类不平衡），此时预测时就算全部为正，准确率也为99%，这并不能反映模型的好坏 解决方法 ——过采样：通过随机复制少类来增加其中的实例数量，从而可增加样本中少数类的代表性。 ——欠采样：通过随机的消除占多数的类的样本来平衡类分布；直到多数类和少数类的实例实现平衡 数据集拆分 机器学习中将数据划分为三份 训练数据集：用来构建机器学习模型 验证数据集：辅助构建模型，用于在构建过程中评估模型，提供无偏估计，进而调整模型参数 测试数据集：用来评估训练好的最终模型的性能 常用拆分方法 留出法：直接将数据集划分为互斥的集合，如通常选择70%数据作为训练集，30%作为测试集

摘自 https://www.cnblogs.com/ShaYeBlog/p/5872113.html 一、大数据分析在商业上的应用 1、体育赛事预测 世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。 “在百度对世界杯的预测中，我们一共考虑了团队实力、主场优势、最近表现、世界杯整体表现和博彩公司的赔率等五个因素，这些数据的来源基本都是互联网，随后我们再利用一个由搜索专家设计的机器学习模型来对这些数据进行汇总和分析，进而做出预测结果。”--- 百度北京大数据实验室的负责人张桐 2、股票市场预测 去年英国华威商学院和美国波士顿大学物理系的研究发现，用户通过谷歌搜索的金融关键词或许可以金融市场的走向，相应的投资战略收益高达326%。此前则有专家尝试通过Twitter博文情绪来预测股市波动。 理论上来讲股市预测更加适合美国。中国股票市场无法做到双向盈利，只有股票涨才能盈利，这会吸引一些游资利用信息不对称等情况人为改变股票市场规律，因此中国股市没有相对稳定的规律则很难被预测，且一些对结果产生决定性影响的变量数据根本无法被监控。 目前，美国已经有许多对冲基金采用大数据技术进行投资，并且收获甚丰

本文主要分以下章节： 一、Spark专业术语定义 二、 Spark的任务提交机制 一、Spark专业术语定义 1、Application：Spark应用程序 指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成，如下图所示: image 2、Driver：驱动程序 Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常SparkContext代表Driver，如下图所示: image 3、Cluster Manager：资源管理器 指的是在集群上获取资源的外部服务，常用的有：Standalone，Spark原生的资源管理器，由Master负责资源的分配；Haddop Yarn，由Yarn中的ResearchManager负责资源的分配；Messos，由Messos中的Messos Master负责资源管理，如下图所示: image 4

文章目录 一、简介 二、转换算子详解 map、flatMap、distinct coalesce 和 repartition randomSplit glom union subtrat intersection mapPartitions mapPartitionWithIndex zip zipParititions zipWithIndex zipWithUniqueId join leftOuterJoin cogroup 针对键值对的转换算子 reduceByKey[Pair] groupByKey()[Pair] 一、简介 转换（Transformation）算子 就是对RDD进行操作的接口函数，其作用是将一个或多个RDD变换成新的RDD。 使用Spark进行数据计算，在利用创建算子生成RDD后，数据处理的算法设计和程序编写的最关键部分，就是利用变换算子对原始数据产生的RDD进行一步一步的变换，最终得到期望的计算结果。 对于变换算子可理解为分两类： 对Value型RDD进行变换的算子； 对Key/Value型RDD进行变换算子。在每个变换中有仅对一个RDD进行变换的，也有是对两个RDD进行变换的。 二、转换算子详解 map、flatMap、distinct map说明：将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。 输入分区与输出分区一对一，即

SparkStreaming教程 概要 Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。 image.png 在内部，其按如下方式运行。Spark Streaming接收到实时数据流同时将其划分为分批，这些数据的分批将会被Spark的引擎所处理从而生成同样按批次形式的最终流。 image.png Spark Streaming提供了被称为离散化流或者DStream的高层抽象，这个高层抽象用于表示数据的连续流。 创建DStream的两种方式： 1. 由Kafka，Flume取得的数据作为输入数据流。 2. 在其他DStream进行的高层操作。 在内部，DStream被表达为RDDs的一个序列。 这个指南会指引你如何利用DStreams编写Spark Streaming的程序。你可以使用诸如Scala，Java或者Python来编写Spark Streaming的程序。文中的标签可以让你在不同编程语言间切换。 注意：少量的API在Python中要么是不可用的