Hadoop

大数据职位体系 我们接触过很多家互联网企业，目前最为普遍也是职位需要比较大的莫过于大数据方向的岗位，以下是我通过各位技术前辈对于大数据方向各个职位的整理，方便我们猎头朋友更好地理解职位需求，同时对大数据方向感兴趣的同学也可以参考，以下是详细的文档，其中脑图我也整理整理了一份，供大家参考，另外关于技术方向是不断进化和演变的过程，希望大家共同补充和提出不同的见解。 1.大数据涉及职位从技术趋势角度来 大数据系统研发类人才对应的职位为大数据系统研发工程师 a-大数据应用开发类人才对应的职位为大数据应用开发工程师 c-大数据分析类人才对于的职位为大数据分析师 2.企业方向划分 a-产品市场分析---通过算法来测试新产品的有效性，\n是一个相对较新的领域 b-安全和风险分析---数据科学家们知道需要收集哪些数据、\n如何进行快速分析，并最终通过分析\n信息来有效遏制网络入侵或抓住网络罪犯。 c-商业智能 3.热门岗位 a-ETL研发： >ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 >有不同的数据类型 随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛

一、数据科学家 数据科学（Data Science） 这一概念自大数据崛起也随之成为数据领域的讨论热点，“数据科学家”成为了一个工作职位出现在各种招聘信息上。那么究竟什么是数据科学？大数据和数据科学又是什么关系？大数据在数据科学中起到怎样的作用？本文主要是想起到科普作用，使即将或正在从事数据工作的朋友对数据科学工作有一个全概貌了解，也使各有想法进入大数据领域的朋友在真正从事大数据工作之前对行业的情况有所知晓。数据科学是一个混合交叉学科（如下图所示），要完整的成为一个数据科学家，就需要具备较好的 数学和计算机知识 ，以及某一个 专业领域 的知识。所做的工作都是围绕数据打转转，在数据量爆发之后，大数据被看做是数据科学中的一个分支。 二、大数据体系 大数据（Big Data）其实已经兴起好些年了，只是随着无处不在的传感器、无处不在的数据埋点，获取数据变得越来越容易、量越来越大、内容越来越多样化，于是原来传统的数据领域不得不思考重新换一个平台可以处理和使用逐渐庞大数据量的新平台。用以下两点进一步阐述： 吴军博士提出的一个观点：现有产业+新技术=新产业，大数据也符合这个原则，只是催生出来的不仅仅是一个新产业，而是一个完整的产业链：原有的数据领域+新的大数据技术=大数据产业链； 数据使用的范围，原来的数据应用主要是从现有数据中的数据中进行采样，再做数据挖掘和分析

方案一：Jdbc直连Hive PS:确认Hive服务是否启动，进入到Hive服务器进行以下操作 1.先开启 metastore hive --service metastore & 2.开启hiveserver2,默认端口是10000 hive --service hiveserver2 & 3.验证是否开启成功 netstat -ntulp | grep 10000 输出：tcp 0 0 0.0.0.0:10000 0.0.0.0:* LISTEN 27799/java 即为服务开启成功 代码实现 方案二：SparkSession直连Hive 初始化并创建Sparksession,代码实现 使用Sparksession查询 查询结果 注：连接Hive无需初始化声明注册方言 特别注意，若不加载hive-site.xml时，需在config中配置： 此配置来源于Hive服务器conf/hive-site.xml中配置项 本地还需配置hosts 附：Spark方式Windows开发环境异常及解决方案 异常1：Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------ 解决方式： 1

文章目录 前言 一、Hive原理和功能介绍 二、Hive安装部署 三、Hive SQL操作 UDF函数 Hive 数据仓库模型设计 总结 前言 Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。 一、Hive原理和功能介绍 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能， Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。 Hive可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。同时，这个Hive也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和reducer无法完成的复杂的分析工作。比如UDF函数。 简单来讲，Hive从表面看来

编者按：本文转载自网易副总裁，网易杭州研究院执行院长汪源的个人公众号“冷技术热思考”（欢迎搜索关注）。7.26的 云创峰会 上，汪源承诺会写三篇文章，力求说清楚什么是中台，什么时候要考虑建中台，怎么建中台。今天是第一篇，目标是厘清什么是中台。以下为原文： 中台的概念一热，很多似是而非的东西都在往中台的概念上凑，一下子出现很多中台，如业务中台、数据中台、技术中台、算法中台、移动中台等等。特别是很多原来称作平台的，现在也都摇身一变成了中台，赶时髦。 一个概念太过宽泛是不利的，如果随随便便都是中台，必然导致很多所谓的中台项目失败，导致中台无用论。所以有必要对中台的概念做一个比较准确的定义。 什么是中台？ 要定义中台，重要的是要能比较明确的区分中台和平台。 中台和平台都是某种共性能力，区分两者的重点一是看是否具备业务属性，二是看是否是一种组织。中台是支持多个前台业务且具备业务属性的共性能力组织，平台是支持多个前台或中台业务且不具备业务属性的共性能力。 为什么要强调中台必须具备业务属性？可以来看一个例子。我们可以分析什么叫数据中台。如果一个企业把所有业务的数据都存储在Oracle里，我们能说这个Oracle数据库是数据中台吗？显然大家都会说不是（否则中台不是几十年的老古董了？）。那么现在很多企业换成了Hadoop，所有业务数据都在一个Hadoop集群里，能说是数据中台吗？显然也不是

相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH5.12 CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作 CentOS7安装CDH 第九章：CDH中安装Kafka CentOS7安装CDH 第十章：CDH中安装Spark2 CentOS7安装CDH 第十一章：离线升级CDH版本 CentOS7安装CDH 第十二章：YARN的资源调优 CentOS7安装CDH 第十三章：CDH资源池配置 CentOS7安装CDH 第十四章：CDH的优化 1. CDH体系架构剖析 1.1. 2个注意 所有的配置修改，都是从 7180 端口的 web 界面修改。当在web界面修改配置信息后会提示需要集群重启，此时选择重启，并选中其中的“重新部署客户端配置”。 kill -9 cm 进程/hdfs 进程，supervisord 会启动被 kill 掉的进程。 修改配置信息步骤

Greenplum 是 2002 年开始成立研发团队的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如： Oracle, Teradata, Tandem, Microsoft SQL Server, Informix 。 Greenplum 数据库软件是业内首创的无共享、大规模并行处理（ massively parallel processing (MPP) ）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享 /MPP ，按列存储数据库，数据库内压缩， MapReduce ，永不停机扩容，多级容错等等。该数据库软件被业界认可为扩展能力最大的分析型（ OLAP ）数据库软件。已有 500 多家世界级重大客户采用该软件，例如： NYSE,NASDAQ,FINRA,AIG ， AMEX,CIA ，德意志银行，美国联邦储备委员会，支付宝， NTT-DoCoMo,T-Mobile,Skype ， WalMart ，中国联通，太平洋保险等。 这些客户中大多数 Greenplum 数据仓库所管理的数据量都超过 100TB ，其中，全球最大的有 6500TB ，中国最大的有 1000TB 。 每一天，全球有数亿级的用户在直接、间接用到 Greenplum 发明的数据库平台。 Greenplum 分布式数据仓库软件特性介绍

Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File System，google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。 2004年Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。 2005年Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。 2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop

1. 什么是 Hadoop (1) Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构； (2) 主要解决，海量数据的存储和海量数据的分析计算问题； (3) 广义上来说，Hadoop 通常是指一个更广泛的概念—— Hadoop 生态圈。 2. Hadoop 的发展历史 (1) Lucene--Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎； (2) 2001年年底成为 Apache 基金会的一个子项目； (3) 对于大数量的场景，Lucene 面对与 Google 同样的困难； (4) 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch； (5) 可以说 Google 是 Hadoop 的思想之源(Google在大数据方面的三篇论文)； GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase (6) 2003-2004年，Google 公开了部分 GFS 和 Mapreduce 思想的细节，以此为基础 Doug Cutting 等人用了2年业余时间实现了 DFS 和 Mapreduce 机制，使 Nutch 性能飙升； (7) 2005 年 Hadoop 作为 Lucene 的子项目