Python数据分析与挖掘

人走茶凉 提交于 2019-11-30 18:25:46

什么是数据分析与挖掘?????

  • 随着DT时代的到来,越来越多的数据被人们所认识和重视,并开始通过各种数据进行数据采集,如:使用问查调卷获取用户对产品的意见:通过网页或app的浏览记录、交易记录、评论等操作;基于数据爬虫等获得数据;甚至是企业间的合作实现多方数据的共享。

  • 将获得的数据应用于“数据分析与挖掘”之中,应用领域:电商领域,发现破坏规则的害群之马;交通出行领域为打车平台私人定制;医疗健康领域,找到最佳的医疗方案。

  • 数据分析就是针对搜集来的数据运用基础探索、统计分析、深层挖掘等方法,发现数据中有价值的信息和未知的规律与模式,进而为下一步业务决策提供理论与实践依据。

    |差异角度|        数据分析                         |数据挖掘
    |定义    |描述和探索性分析,评估现状和修正不足       |技术性的“采矿过程”,发现数据的未知的规律与价值
    |侧重点  |实际的业务知识                           |挖掘技术的落地,完成采矿过程
    |技能    |统计学、数据库、Excel、可视化等           |数学功底、编程能力
    |结果    |结合业务知识解读统计结果                  |模型或规则
    

数据挖掘的流程:

  1. 目标:即寻找价值

  2. 数据搜集:

  3. 数据清洗

                处理数据的异常值
    
                缺失值
                
                数据的不一致性
                
                量纲影响
               
                维度灾难
    
  4. 建模

    利用机器学习模型进行建模
    
  5. 模型评估

  6. 应用部署

    Python数据分析案例
    Python数值计算工具----Numpy
    Python数值分析工具----pandas
    Python数据分析与挖掘----Logistic回归

注:参考刘顺祥《Python数据分析与挖掘》

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!