数据分析

Python语言： 简要概括一下Python语言在数据分析、挖掘场景中常用特性： 列表（可以被修改），元组（不可以被修改） 字典（<k,v>结构） 集合（同数学概念上的集合） 函数式编程（主要由lambda()、map()、reduce()、filter()构成） Python数据分析常用库： Python资源共享群：626017123 Python数据挖掘相关扩展库 NumPy 提供真正的数组，相比Python内置列表来说速度更快，NumPy也是Scipy、Matplotlib、Pandas等库的依赖库，内置函数处理数据速度是C语言级别的，因此使用中应尽量使用内置函数。 示例：NumPy基本操作 import numpy as np # 一般以np为别名 a = np.array([2, 0, 1, 5])print(a)print(a[:3])print(a.min())a.sort() # a被覆盖print(a)b = np.array([[1, 2, 3], [4, 5, 6]])print(b*b) 输出： [2 0 1 5][2 0 1]0[0 1 2 5][[ 1 4 9] [16 25 36]] Scipy NumPy和Scipy让Python有了MATLAB味道。Scipy依赖于NumPy，NumPy提供了多维数组功能，但只是一般的数组并不是矩阵

科技发展带来的挑战 在科技的快速发展推动下，在 IT 领域，企业会面临两个方面的问题。 一是如何实现网站的高可用、易伸缩、可扩展、高安全等目标。为了解决这样一系列问题，迫使网站的架构在不断发展。从单一架构迈向高可用架构，这过程中不得不提的就是分布式。 二是用户规模越来越大，由此产生的数据也在以指数倍增长，俗称数据大爆炸。海量数据处理的场景也越来越多。技术上该如何面对？ 分布式系统 概述 分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅。 仅通过消息传递进行通信和协调的系统。简单来说就是一群独立计算机集合共同对外提供服务，但是对于系统的用户来说，就像是一台计算机在提供服务一样。 分布式意味着可以采用更多的普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。计算机越多，CPU、内存、存储资源等也就越多，能够处理的并发访问量也就越大。 初代的 web 服务网站架构往往比较简单，应用程序、数据库、文件等所有的资源都在一台服务器上。 图：互联网初始阶段的网站架构 图：现在互联网网站常用的架构 图：现在互联网网站常用的架构 从分布式系统的概念中我们知道，各个主机之间通信和协调主要通过网络进行，所以，分布式系统中的计算机在空间上几乎没有任何限制，这些计算机可能被放在不同的机柜上，也可能被部署在不同的机房中，还可能在不同的城市中

一、产品展示功能 　　做一个商城小程序，产品展示是必备的，所有的商品都会在产品展示功能页面中，向用户展示，让用户进一步了解商品，方便用户查看产品信息，增加用户下单率。 二、在线客服功能 　　用户在购物过程中，难免会产生一些疑问，这个时候需要有一个在线客服功能，这样用户与客户直接取得联系，客户为用户答疑解惑。不仅提高用户体验，而且还增加用户购买率。 三、购物车功能 　　用户通过产品展示，看到喜欢的产品，直接加入购物车，在进一步进行挑选。 四、物流功能 　　物流功能在商城小程序是必不可少的功能，物流功能一般有四种方式：商家配送、同城限时达、到店自提、货到付款。具体选择哪种方式商家可根据实际情况而定。 五、在线支付功能 　　在线下单支付功能，用户通过产品展示，看到自己喜欢的产品，直接立即购买，通过微信支付进行下单。但开通付款功能，需要做好付款接口申请。 六．订单管理功能 　　①订单查询 　　用户在支付下单支付之后，比较关心的是自己商品什么时候能够到自己的手里，这个时候需要一个订单查询功能，能够提供订单查询、物流查询等信息。不仅能够方便用户查询，而且能够方便商家做好销售统计以及数据分析工作。 　　②订单提醒 　　用户成功下单时，应该有一个订单提醒功能，授权绑定木鱼小铺公众号即可收到每单订单提醒。 　　③发货管理 　　商家可以通过发货管理，能够查看门店发货单，门店可以对分配订单进行发货

1 数据分析三要素 从下图可以清晰看出 感觉不怎么方便把图放上去，如果需要原图的私信我吧。 2 所谓修炼指南 (1)从思维到工具再到实践 (2)只有把只是抓换为自己的语言，才真正编程我们自己的东西 3 两点原则 (1)尽量不重复造轮子 一个模型有很多相关的类库 (2)工具决定效率 选择成熟的工具，因为BUG少，文档全，案例多 4 了解的作图工具，笔记工具 (1)幕布----->可以生成思维导图，数据分析也可以导图 (2)画图软件sketchBook (3)onenote/xmind 5 总结 　　学习数据分析到大概步骤，需要哪些工具，什么心智。 来源： https://www.cnblogs.com/lanjianhappy/p/11938444.html

参看链接： 2.https://blog.csdn.net/m0_37636884/article/details/82222891（SQL 常见面试题） 3.https://bbs.csdn.net/topics/392337114（难度高） 4.https://blog.csdn.net/qq_41568597/article/details/84309503 5.https://blog.csdn.net/weederss/article/details/78034364 1.SQL 45题 create database school; use school; #学生表 create table `Student` ( `Sno` varchar(20) not null COMMENT '人名', `Sname` varchar(20) not null COMMENT '姓名', `Ssex` varchar(20) not null COMMENT '性别', `Sbirthday` datetime COMMENT '出生日期', `Class` varchar(20) COMMENT '班级' ); #课程表 create table `Course`( `Cno` varchar(20) not null COMMENT '课程号', `Cname`

Amazon Kinesis 概念 处理AWS上大量流数据的数据平台 Kinesis Streams 用于搜集数据，Client Library 用于分析后的展示 构建用于处理或分析流数据的自定义应用程序 可以支持从数十万中来源捕获和存储TB级的数据，如网站点击流、财务交易、媒体馈送、IT日志等 使用IAM限制用户和角色对Kinesis的访问，使用角色的临时安全凭证可以提高安全性 Kiesis只能使用SSL加密进行访问 Kinesis组件 Kinesis Data Firehose 加载大量流数据到AWS服务中 数据默认被存储在S3中，从S3还可以再被进一步转存到Redshift 数据也可以被写入到ElaticSearch中，并且同时备份到S3 Kinesis Data Streams: 自定义构建应用程序，实时分析流数据 利用AWS开发工具包，可以实现数据在流中移动时仍然能被处理，从而接近实时 为了接近实时，处理的复杂度通常较轻 创建者 Producer 持续将数据推送进Data Streams 数据在DataStream 由一组组分片（Shards）组成，每个分片就是一条记录，通过不断分片实现几乎无限的扩展能力 使用者 Comsumer 会实时对Data Steams的内容进行处理，并且将结果推送到不同的AWS服务 数据在Stream中是临时的，默认存储24小时

作为计算框架，Spark速度快，开发简单，能同时兼顾批处理和实时数据分析，因此很快被广大企业级用户所采纳，并随着近年人工智能的崛起而成为分析和挖掘大数据的重要得力工具。 《Spark高级数据分析第2版》由业内知名数据科学家执笔，通过丰富的示例展示了如何结合Spark、统计方法和真实世界数据集来解决数据分析问题，既涉及模型的构建和评价，也涵盖数据清洗、数据预处理和数据探索，并描述了如何将结果变为生产应用，是运用Apache Spark进行大数据分析和处理的实战宝典。 《Spark高级数据分析(第2版)》中文PDF+英文PDF+源代码 《Spark高级数据分析(第2版)》中文PDF，452页，带目录，文字可复制；英文PDF，455页，带目录，文字可复制；配套源代码。 下载: https://pan.baidu.com/s/1AljbMRZcv5_vJ5GxStfrpg 提取码: iaar 根据新版Spark最佳实践，对样例代码和所用资料做了大量更新。涵盖模式如下： ● 音乐推荐和Audioscrobbler数据集● 用决策树算法预测森林植被● 基于K均值聚类进行网络流量异常检测 ● 基于潜在语义算法分析维基百科● 用GraphX分析伴生网络● 对纽约出租车轨迹进行空间和时间数据分析 ● 通过蒙特卡罗模拟来评估金融风险● 基因数据分析和BDG项目●

1.Excel 函数、数据可视化 1.1 函数 1.2 数据可视化 1.3 技巧 2. Sql 教程、练习 2.1 SQL 教程 2.2 SQL 面试题 3. Python练习 3.1 Numpy 3.2 Pandas 3.3 Matplotlib 3.4 Scipy 3.5 Scikit-learn 3.6 Python面试题 4. 机器学习 4.1 kNN近邻算法 4.2 决策树 4.3 朴素贝叶斯 4.4 Logicstic Regression 4.5 时间序列分析 4.6 SVM 4.7 神经网络 4.8 聚类 4.9 Adaboost 4.10 机器学习面试题 5. 概率论与数理统计 5.1 描述性统计 5.2 推断性统计 5.3 统计题目 5.4 统计书籍 6. 数据结构与算法 6.1 Leetcode刷题 6.2 牛客网刷题 7. Linux 8. R语言 9. Hadoop 10. Spark 11. 数据分析思维 11.1 精益数据分析 来源： https://www.cnblogs.com/Jacon-hunt/p/11382155.html

对于刚刚接触数据分析的人来说，经常会有这样的困惑和疑问： 数据分析究竟难不难？难的话难在哪？为什么有时候作分析不知道从何下手，只能眉毛胡子一把抓？ 其实就连我这种已经在数据分析行业浸淫十几年的老油条，有时候做起分析来也会手忙脚乱，根本原因就在于没有抓住数据分析的本质，我们是为了用大量数据去分析、解释和预测基于数据的事实，你首先要明白自己做数据分析的目的是什么，是为了描述事件分析？还是为了预测？又或者是做规范性分析？ 按照我的经验来说， 掌握数据分析方法有一条好的捷径——套用分析模型 ，对新手来说几乎是百试百灵，只要掌握了下面几个分析模型，基本上可以应对工作中的所有业务分析场景。 AARRR模型 AARRR模型是做数据分析最基础的模型之一了，所谓的AARRR就是指获取、激活、留存、变现和传播。 其中， 获取 就是指获取用户线索，我们可以分析SEO、SEM等分析网站的获取情况； 激活 就是指提高用户的活跃程度，主要是通过促销、内容说服等方式让用户成为最有价值的活跃用户； 留存 就是把上面的活跃客户沉淀下来，划归到自己的流量池中，比如常见的社区UCG、O2O服务留存等方式，我们可以通过日留存率、周留存率、月留存率等指标监控应用的用户流失情况，并采取相应的手段在用户流失之前，激励这些用户继续使用应用。 变现 其实就是获取收入，我们可以通过监控成交率等指标进行分析； 传播

Python数据分析：股票数据分析案例 步骤： 准备数据 可视化数据、审查数据 处理数据 根据ACF、PACF定阶 拟合ARIMA模型 预测 import pandas as pd import pandas_datareader import datetime import matplotlib . pylab as plt from matplotlib . pylab import style from statsmodels . tsa . arima_model import ARIMA from statsmodels . graphics . tsaplots import plot_acf , plot_pacf style . use ( 'ggplot' ) # 设置图片显示的主题样式 # 解决matplotlib显示中文问题 plt . rcParams [ 'font.sans-serif' ] = [ 'SimHei' ] # 指定默认字体 plt . rcParams [ 'axes.unicode_minus' ] = False # 解决保存图像是负号'-'显示为方块的问题 def run_main ( ) : """ 主函数 """ # 1. 准备数据 # 指定股票分析开始日期 start_date = datetime . datetime (