大数据-----大数据-机器学习-人工智能
1.大数据与机器学习的关系: 大数据领域我们做的是数据的存储和简单的统计计算,机器学习在大数据的应用是为了发现数据的规律或模型,用机器学习算法对数据进行计算的到的模型,从而决定我们的预测与决定的因素(比如在大数据用户画像项目里,生成的特殊用户字段)。 2.大数据在机器学习的应用 目前市场实际开发模式中,应该在大数据哪一个阶段层次应用到机器学习的相关技术呢,我们接下来来说明,首先目前大数据的架构模式列举如下几个 2.1数据采集(ftp、socket)---数据存储(hdfs)---数据清洗(MapReduce)----数据分析(hive)---sqoop导入-----存储(mysql、oracle)---web显示 2.2数据采集(ftp、socket)---数据存储(hdfs)---数据清洗(MapReduce)---列式数据库存储(hbase)-----thrift(协处理器)---web显示 2.3数据采集(ftp、socket)---数据存储(hdfs)---数据清洗(MapReduce)----数据分析(hive)----impala(实时数据分析)---jdbc-----web显示 2.4数据采集(ftp、socket)---数据存储(hdfs)---spark计算-----存储(mysql、oracle)---web显示 整体在开发完成后用分布式任务调度系统