数据分析

在 大数据 和大数据分析，他们对企业的影响有一个兴趣高涨。 大数据分析 是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 大数据 是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。 在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。 大数据分析 是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 一、Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台

人工智能元年来临，大数据在这里充当什么角色？数据分析是什么定位？职业区分？ https://blog.csdn.net/blueheart20/article/details/71036779 https://blog.csdn.net/zw0pi8g5c1x/article/details/80768132 https://www.jianshu.com/p/c3956e0669c6 看一张小白能即刻理解的图片 简单问题？ 全球最大的旅行房屋租赁社区Airbnb曾在2011年纠结于新用户增长的缓慢，有一天，他们的数据分析团队发现房源照片的精美程度，跟房源的预定人数成很大的正相关。于是，他们提出一种假设，即“附有专业摄影照片的房源要更抢手，因此房主肯定会愿意申请Airbnb提供的此项服务”。他们迅速上线了一个提供专业摄影照片服务的版本，然后跟原版本做A/B Test，发现同一个房源，使用专业摄影服务的比不使用的多了2-3倍的订单量。 复杂问题？ 2010年前后，门户时代崛起的网易、搜狐、腾讯三巨头向移动端转型，几乎垄断了当时的新闻客户端市场。而仅仅2年后，今日头条，使用“机器学习”这把屠龙刀向用户个人性化推荐用户感兴趣的新闻，一举打破巨头垄断，成为新闻客户端老大。虽然，后来腾讯和网易为了对抗头条，推出了类似的产品的天天快报和网易号，但因起步晚和算法不成熟，都失败了。 白话总结

链接： https://wenku.baidu.com/view/7a7dd06abd64783e08122b27.html 来源： https://www.cnblogs.com/lixiaozhi/p/11712624.html

Hadoop、Hive、Spark 之间关系 https://www.cnblogs.com/jins-note/p/9513426.html 很的很诙谐有趣. 作者：Xiaoyu Ma ，大数据工程师 大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。 大数据，首先你要能存的下大数据 传统的文件系统是单机的，不能横跨不同的机器。HDFS(Hadoop Distributed FileSystem)的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什么扇区一样。HDFS为你管理这些数据。 存的下数据之后，你就开始考虑怎么处理数据。虽然HDFS可以为你整体管理不同机器上的数据，但是这些数据太大了。一台机器读取成T上P的数据(很大的数据哦，比如整个东京热有史以来所有高清电影的大小甚至更大)

数据分析库pandas之Series: replace函数及map函数， Dataframe库只能使用replace函数（且不支持method和limit参数），不支持map函数。 来源： https://www.cnblogs.com/zhuyafeng/p/11696007.html

大家好，我是小黎子！一个专注于数据分析整体数据仓库解决方案的程序猿！今天小黎子就给大家介绍一个数据分析工具由Microsoft出品的全新数据可视化工具Power BI。微软Excel很早就支持了数据透视表，并基于Excel开发了相关BI插件，如Power Query，PowerPrivot,Power View和Power Map等。这些插件让Excel如同装上了翅膀，瞬间高大上。由于Excel的普及和可操作性简单，加上数据透视表技术已经深入人心，所以全新的Power BI数据可视化工具呼之欲出，相比Qlik,Tableau等产品，有着无可比拟的天然优势。我们看一下最新2019数据分析魔力象限： 我们可以看到在2019年PowerBI已经是领导者地位了，Power BI是软件服务、应用和连接器的集合，它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。无论你的数据是简单的 Excel电子表格，还是基于云和本地混合数据仓库的集合， Power BI都可以让你轻松地连接到数据源，直观看到或发现数据的价值，与任何所希望的人进行共享。PowerBI产品下载地址：https://powerbi.microsoft.com/zh-cn/what-is-power-bi/ Power BI 简单且快速，能够从 Excel电子表格或本地数据库创建图表。 同时Power BI也是可靠的

1. 前言 计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台计算机完成，而只能由多台机器共同承担计算任务。而在分布式环境中进行大数据处理，除了与存储系统打交道外，还涉及计算任务的分工，计算负荷的分配，计算机之间的数据迁移等工作，并且要考虑计算机或网络发生故障时的 数据安全 ，情况要复杂得多。 举一个简单的例子，假设我们要从销售记录中统计各种商品销售额。在单机环境中，我们只需把销售记录扫描一遍，对各商品的销售额进行累加即可。如果销售记录存放在关系数据库中，则更省事，执行一个SQL语句就可以了。现在假定销售记录实在太多，需要设计出由多台计算机来统计销售额的方案。为保证计算的正确、可靠、高效及方便，这个方案需要考虑下列问题： 如何为每台机器分配任务，是先按商品种类对销售记录分组，不同机器处理不同商品种类的销售记录，还是随机向各台机器分发一部分销售记录进行统计，最后把各台机器的统计结果按商品种类合并？ 上述两种方式都涉及数据的排序问题，应选择哪种排序算法？应该在哪台机器上执行排序过程？ 如何定义每台机器处理的数据从哪里来，处理结果到哪里去？数据是主动发送，还是接收方申请时才发送？如果是主动发送，接收方处理不过来怎么办

1. python数据分析基础 2. numpy 3. Scikit-Learn 4. Bokeh 5. Scipy 6. Pandas 转载于：http://www.jianshu.com/p/7f4945b5d29c 1. python数据分析基础 2. numpy 3. Scikit-Learn 4. Bokeh 5. Scipy 6. Pandas 转载于：http://www.jianshu.com/p/7f4945b5d29c 来源： https://www.cnblogs.com/bighammerdata/p/11684875.html

Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中。在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作。可以说是升级版的Excel。Pandas是基于Numpy的一个数据分析包, 它里面的内核是Numpy。 在Pandas中, 最重要的两种数据结构是1维的Series和2维的DataFrame. Series：一维数组，与Numpy中的一维array类似。Series中能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。但是每个Series中只能保存一种数据结构. DataFrame：二维的表格型数据结构。有多个Series共同构成的集合就变成DataFrame。 来源： https://www.cnblogs.com/BC10/p/11681759.html

一.概述 　　SPSS【Statistical Package for the Social Science】社会科学统计软件包。SPSS统计软件在社会学、经济学、心理学、教育学等多个学科的研究工作和通信、医疗、银行、证券、保险、制造、商业、市场调研、统计调查等行业的数据分析中得到了广泛的应用，全球500强公司中约有80%的公司在使用SPSS，而在市场研究和市场调研领域有超过80%的市场占有率，是目前世界上最流行的三大通用统计分析软件【SPSS、SAS、STATA】之一。 二.功能 　　SPSS最突出的特点是操作界面极为友好，几乎所有的功能都以统一、规范的界面展现出来。 　　1.SPSS非常全面地涵盖了数据分析的整个流程，提供了数据获取、数据管理与准备、数据分析、结果报告这样一个数据分析的完整过程。 　　2.SPSS内含的众多功能使建立数据文件、清理数据、数据分组、变量转化等数据分析前的准备工作变得非常简单。 　　3.SPSS可以同时打开多个数据集，方便研究不同数据库之间进行比较分析和进行数据库转换处理。支持Excel、文本、Dbase、SAS等。 　　4.SPSS提供了广泛的基本统计分析功能，如数据分析、计数、交叉分析、分类、描述性统计分析、推断统计分析、因子分析、线性回归、逻辑回归及聚类分析等。 　　 三.模型 　　SPSS Modeler是一个业界先进的数据挖掘平台