转型大数据:大数据职位和就职要求的介绍

折月煮酒 提交于 2020-12-10 08:45:44

一、大数据相关职位介绍(数据来源于拉钩、智联)

(一)大数据相关职位列举

(二)每个相关职位的岗位职责与要求

 

既然要转型大数据,那从职业的角度先为大家介绍一下大数据相关的职位。

我推荐一个学习交流群:784789432

大数据相关的职位列举

(一)开发岗位

ETL工程师

数据仓库工程师

大数据工程师

Hadoop开发工程师

Java大数据工程师

Spark开发工程师

大数据运维工程师

(二)数据岗位

数据可视化工程师

机器学习算法工程师

数据挖掘工程师

大数据分析师

(三)综合岗位

大数据架构师

大数据科学家

(四)职能岗位

大数据产品经理

数据运营

BI工程师

商业分析师

每个相关职位的岗位职责与要求

01. ETL工程师(参考微贷网招聘信息)

岗位职责:

a. 负责数据仓库工具开发,

b. 负责外围系统建设和数据仓库建设,

c. 针对业务场景编写ETL通用工具脚本,

d. 数据字典编写,形成对其它团队的数据接口文档;

岗位要求:

a. 熟悉Hive、Mysql、HBase中的一种并熟悉SQL。

b. 对数字或互联网金融领域敏感,对数据建模、存取、处理、可视化等相关技术有很强的学习热情。

c. 熟悉数据仓库任务调度。

d. 熟悉linux,熟悉LINUX常用命令,至少熟悉python,php,shell等一种脚本语言。

e. 了解HADOOP,HIVE有使用这两个平台,或有在上面开发过相关应用。

f. 熟悉DataStage、Informatica、微软DTS、OWB、Kettle中的一种或多种ETL工具,能够熟练的进行事实表、维度表、汇总表的ETL开发。

g. 具备良好的沟通能力,做事认真、仔细,有责任心,具有团队协作能力。

优先考虑:

a. 有分布式存储/实时计算开发经验优先

b. 熟悉PostgreSQL、Greenplum优先

c. 熟悉Hadoop、Spark技术优先

d. 有海量数据处理经验者优先

02. 数据仓库工程师(参考贝贝网招聘信息)

岗位职责:

a. 基于大型分布式平台的数据仓库模型设计及实现。

b. ETL开发、优化、技术攻关,BI报表定制开发数据支持。

c. 协助建立数据模型,对数据进行挖掘、优化及统计。

d. 负责企业级数据仓库架构设计、建模以及ETL开发,构建可扩展的数据仓库解决方案。

e. 负责公司日常运营报表开发维护,和业务及分析部门沟通协作,提供多层面数据服务。

f. 提供完善的数据保障体系,包括元数据管理、数据质量、数据安全等。

岗位要求:

a. 两年以上数据仓库实施经验,ETL实施经验,认可数据产生价值。

b. 理解数据库原理,熟练Mysql,了解Hadoop,Hive,Spark。

c. 熟悉Linux 操作系统,熟练掌握 Shell、Python。

d. 具备较强的业务理解能力和项目管理、推动力。

e. 熟悉数据标准管理、元数据管理、数据质量管理,对整体数据有综合的把控能力。

f. 计算机或相关专业本科及以上学历 。

g. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验。

h. 熟悉SQL,有一定的SQL性能优化经验。

i. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一。

j. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情。

k. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神。

优先考虑:

暂无

03. 大数据工程师(参考京东招聘信息)

岗位职责:

a. 负责大数据处理中的各个环节,参与需求分析、架构设计、技术决策以及详细设计。

b. 为现有大数据Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题。

c. 把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码。

d. 持续挑战新的技术方向,攻克大数据量,高并发,高稳定性,易用性等各种技术难点。

岗位要求:

a. 本科或以上,计算机软件或相关专业毕业。

b. 扎实的编程能力,熟悉算法和数据结构,熟悉计算机的基础理论。

c. 熟悉大数据处理相关技术,包括但不限于 Hadoop、Hive 、Hbase、Impala、Spark 、Kafaka、Flume、Sqoop 、Storm、Redis等。

优先考虑:

熟悉推荐系统和数据挖掘算法者优先。

04. Hadoop开发工程师(参考京东金融招聘信息)

岗位职责:

a. 负责Hadoop系统的资源管理和日常维护。

b. 负责Hive/HBase/Spark/Impala等组件的优化和二次开发。

岗位要求:

a. 熟悉Hadoop、Hbase、Hive,5年以上Hadoop开发经验。

b. 理解MapReduce计算框架的思想,熟悉分布式计算模型或有高效索引 技术经验者优先。

c. 精通JAVA语言,熟悉J2EE相关技术。

d. 至少熟练使用Shell、Python、Perl等脚本语言之一。

e. 热爱技术,工作认真、严谨,有团队精神。

优先考虑:

a. 熟悉主流数据挖掘算法开发。

b. 有github开源项目优先。

c. 有技术博客优先。

05. Java大数据工程师(参考喜马拉雅招聘信息)

岗位职责:

a. 负责公司大数据相关系统和平台的设计和开发

b. 负责公司数据业务开发,包括分析、统计、推荐等系统

c. 研究Hadoop/Spark/Hbase/Storm/ES等开源项目,进行系统优化和二次开发

岗位要求:

a. 扎实的计算机系统和算法基础知识;良好的英文阅读能力。

b. 扎实的Java语言基础,对JVM运行机制有深入了解。

c. 丰富的Java开发经验,对大数据领域和框架感兴趣,并有所了解。

d. 对Scala语言有所了解,愿意深入学习。

e. 对常见开源框架代码有研究。

f. 熟悉SQL和noSQL的设计和开发。

g. 熟悉企业应用设计模式、面向对象的分析和设计技术,包括设计模式、UML建模等。

h. 善于思考,能独立分析和解决问题,热衷于互联网技术的研究和创新。

i. 责任心强,具备良好的团队合作精神。

优先考虑:

暂无

06. Spark开发工程师(参考网易招聘信息)

岗位职责:

a. 负责网易大数据平台的Spark、Spark Streaming技术研发、性能优化、问题诊断

b. 负责网易云托管Hadoop产品(EMR)研发

岗位要求:

a. 两年以上大数据平台设计和开发经验,具备优秀的编程能力和良好的开发习惯。

b. 具备独立架构设计、内核开发、测试与运维的能力,有过大规模系统设计和工程实现的经验。

c. 熟悉Spark、Spark SQL和Spark Streaming内核原理;了解Hadoop生态组件相关技术,例如Hadoop、Hive、Storm等。

d. 精通Java、Scala语言,熟悉Linux 操作系统,熟练使用Python、Shell脚本语言。

e. 具有认真的技术态度,良好的团队沟通和协作能力。

优先考虑:

有深入研究过Hadoop/Spark源码者优先。

07. 大数据运维工程师(参考美图大数据事业部招聘信息)

岗位职责:

a. 负责公司大数据通用服务集群相关组件的支撑保障(包括如:Hadoop/Hbase/Hive/Yarn/Spark/Storm/Kafka/Elasticsearch等)

b. 负责集群容量规划、扩容及性能调节优化。

c. 参与业务架构设计,在设计阶段给出可运维性及可扩展性方面的改进建议。

d. 深入研究大数据业务相关运维技术,持续优化集群服务架构,调研集群资源调度技术及平台方向。

岗位要求:

a. 至少掌握java/python/shell中的一种语言。

b. 熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch等开源组件项目优先。

c. 熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题。

d. 良好的客户服务意识,强烈的责任心和使命感,执行力强,富有团队合作精神。

e. 对大数据方向运维有很高的热情和兴趣,能主动学习了解相关知识。

优先考虑:

掌握ansible、yarn及mesos应用的优先。

08. 数据可视化工程师(参考滴滴出行招聘信息)

岗位职责:

a. 负责滴滴第一大战略业务-智慧交通业务数据可视化的整体设计与实现,搭建一套业内顶尖的数据可视化平台(对标echars,datav,raydata) 。

b. 负责数据可视化组件开发及新型展现形式研发;支持智慧交通及数据平台的相关可视化展示。

c. 深入理解主要数据可视化展现形式,针对实际场景梳理数据信息,提出专业的数据可视化元素使用意见。

d. 技术挑战大,海量交通数据的动态,多维展示,在性能和效果层面达到业内顶尖 。

岗位要求:

a. 对数据可视化有热情,了解业界发展现状和趋势,熟悉相关工具和技术,对于数据可视化有一定个人见解。

b. 熟练掌握各项Web前端技术 (HTML/CSS/Javascript) ,了解svg,canvas,webgl技术。

c. 在地图/gis相关数据可视化有过开发经验。

d. 具有计算机图形学理论基础,熟悉数据可视化相关基础算法。

e. 有过dashboard,大屏,数据展示各种开发经验,熟悉e-charts等工具。

优先考虑:

暂无

09. 机器学习算法工程师

岗位职责:

a. 使用机器学习算法解决常见的业务问题,使用的算法包括常用的图像处理、自然语言处理算法、机器学习推荐算法等。

b. 挖掘各种来源的非结构化数据。

c. 决方案,评估并优化模型。

岗位要求:

a. 计算机、数学或相关专业本科以上学历。

b. 一年以上机器学习项目经验,有深度学习项目经验优先,善于将业务问题抽象为机器学习问题。

c. 熟悉常用的分类聚类算法,清楚了解算法原理并能做一定的改进。

d. 了解深度学习模型如CNN、RNN、GAN等。

e. 熟悉常用参数调整策略。

f. 熟练掌握Java/Python一种或多种。

优先考虑:

a. 熟悉常用的深度学习计算框架scikit-learn、对tensorflow熟悉者优先。

b. 熟悉大数据开发者优先。

10. 数据挖掘工程师(参考小米招聘)

岗位职责:

a. 负责小米公司的数据收集、数据挖掘和数据产品的开发工作。

b. 建设小米的用户画像和用户标签体系。

c. 使用大数据技术赋能小米各业务线,包含新零售,广告,金融,AI手机等。

d. 从事大数据相关方向的前沿性研究。

岗位要求:

a. 有扎实的编程能力和算法基础。

b. 掌握Java、Scala、Python等至少一门常用语言,熟悉数据结构和算法。

c. 熟练掌握概率统计,具有很强的数据分析能力与敏感度,能快速从给定的数据中找出规律。

优先考虑:

a. 熟悉分布式/高性能计算系统,有hadoop、spark、mpi等开发经验者优先。

b. 对行为预测、自然语言、用户画像、社交网络、时空大数据等领域有深入实践者优先。

11. 大数据分析师(参考VIPKID招聘信息)

岗位职责:

a. 负责大数据相关产品的规划与设计,进行需求分析、数据打点、形成产品设计以及原型构建。

b. 根据新的业务需求,通过数据分析提出创新性的解决方案,并形成数据产品。

c. 对于产品改版迭代进行分析,基于数据为产品改进提供建议,与产品经理协作,对现有产品进行应用创新。

岗位要求:

a. 统计学、应用数学或计算机等相关专业本科及以上学历。

b. 有较丰富的BI数据产品实践经验,包括需求调研分析、数据模型设计、内外部资源协调、产品运营管理等。

c. 熟悉SQL,excel,熟练使用SPSS/SAS/Python/中的一种或几种。 - d. 学习沟通能力强,能快速熟悉理解复杂业务,逻辑思维能力强,善于通过数据挖掘产品改进点。

e. 强烈责任心,开放的性格,乐观的心态。

优先考虑:

了解Hadoop,HDFS,Hive等分布式大数据技术,能与技术人员良好沟通的优先考虑。

12. 大数据架构师(参考映客直播招聘信息)

岗位职责:

a. 负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等。

b. 负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题。

c. 负责项目对外技术沟通,具有较强的沟通,表达和文案能力。

d. 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。

e. 负责营造团队技术氛围,推动技术能力的沉淀。

岗位要求:

a. 计算机、信息系统、数学或相近专业本科以上学历,7年以上相关研发经验经验,5年以上大数据研发和架构经验。

b. 精通和全面掌握常用的软件设计方法、计算架构和解决方案,包括面向对象设计、SOA、J2EE、云计算等。

c. 拥有5年以上Hadoop开发设计和实施经验,精通Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于hadoop/hive/spark/impala/elasticsearch/druid/redis/hbase/kafka/flume等,能够熟练安装、配置、部署和优化大型Hadoop集群系统。

d. 有超PB级别大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖掘和数据可视化,以及架构设计、开发、部署、自动化运维等工作。

e. 有优秀的业务理解能力,能理解清楚业务并进行合理的模块和架构设计。

f. 不怕困难,有关键技术攻关的决心和能力,能够适应和享受高强度高压力的工作。

优先考虑:

有BAT工作经验优先。

13. 大数据科学家(参考好未来招聘信息)

岗位职责:

a. 负责相关大数据应用算法的设计、研发与产品化。包括但不限于数据选品算法、个性化推荐、文本挖掘、图像分析等方向。

b. 独立负责算法类产品的商业需求发掘、技术预研、系统设计,以及推动业务方共同落地,并制定后续运营和优化计划 。

c. 跟踪最新最热的机器学习算法理论进展(如deep learning),并且将优秀的算法应用到业务场景当中,提升业务效果。

岗位要求:

a. 计算机、统计、数学相关专业博士及以上学历,3年以上的互联网公司机器学习、文本挖掘、图像识别、搜索或广告算法研发经验。

b. 精通Java、C++、Python、R、Matlab等的一种或几种开发语言;精通hadoop/hive/mahout/MPI/spark等一个或多个分布式计算框架/算法平台。

c. 聪明和自我学习。

d. 优秀的沟通和表达能力,清楚的表达个人想法、理解他人观点,具备团队合作意识和推动协作达成的能力。

优先考虑:

对数据敏感,快速的发现关键问题,超强的业务建模能力,并且持续的迭代优化。

14. 大数据产品经理

岗位职责:

a. 负责数据产品规划,以产品的视角组织数据,给运营人员提供基于数据的业务指导。

b. 数据需求分析:收集各个业务部门的数据需求,将需求汇总、整合、形成数据数据产品文档。

c. 参与内部数据平台建设:推动公司数据化运营的发展,提供数据数据化运营工具。

d. 为团队内部定期提供数据报告。

岗位要求:

a. 二年以上互联网产品经验或数据产品经验,熟悉产品设计流程,熟练应用Axure等产品原型设计工具。

b. 具有扎实的产品设计、文档策划功底和较丰富的项目管理经验。

c. 对数据敏感,有数据分析系统设计、报表系统设计经验者佳。

d. 熟悉数据仓库、商业智能基本理论,有数据分析系统使用经验佳(如GA)。

e. 强烈责任心,开放的性格,良好的沟通能力。

f. 擅于协作,具备良好的团队合作精神。

优先考虑:

暂无

15. 数据运营(参考拉钩招聘业务部招聘信息)

岗位职责:

a. 业务流程中关键节点的跟踪与反馈。

b. 对接业务模块Leader进行项目数据收集及汇总。

c. 保证业务数据的准确性,并进行记录、清洗、汇总与呈现。

d. 其他业务体系内运营工作。

岗位要求:

a. 本科及以上,经管会计类专业优先。

b. 优秀的沟通能力和抗压能力,性格乐观皮实,不拘泥不固执。

优先考虑:

暂无

16. BI工程师(参考每日优鲜招聘信息)

岗位职责:

a. 了解业务团队的业务数据需求,完成相关数据支持。

b. 完成各种面向业务目标的数据模型的定义和应用开发规范的制定,并保证数据质量。

c. 协调解决数据处理过程中出现的问题。

岗位要求:

a. 本科以上学历,2年以上相关工作经验。

b. 具有海量数据建模实践经验,有BI架构体系建设经验。

c. 熟练使用sql语句,会写存储过程。

d. 最好有python、Hadoop、hive、ES等相关经验。

e. 具有良好的沟通能力、自我学习能力、团队协作能力。

优先考虑:

暂无

17. 商业分析师(参考猫眼电影招聘信息)

岗位职责:

a. 理解业务方向和战略,为管理层提供决策支持,竞争分析及建议。

b. 针对公司业务,通过深度分析进行数据价值挖掘,提供业务策略支持。

c. 配合各业务部门项目,给予数据支持,从多种数据源组合数据进行深度诊断分析,完成业务专题分析,输出核心业务报告。

d. 建立业务关键指标监控体系,搭建数据分析平台。

岗位要求:

a. 两年以上相关工作经验,互联网公司商业分析、数据分析、BI工作背景。

b. 优秀的商业分析能力(结构化思维)、敏锐的数据洞察力。

c. 具备良好的沟通协调能力、学习能力,成就驱动,具有团队合作精神。

d. 熟练使用Mysql、PPT、Excel等工具。

优先考虑:

数学、统计学背景优先。

备注:

不同公司对同一个职位的要求是有差异的,所以以上信息仅供参考,还需要具体情况具体对待。

尽量选择了一下比较大的公司做参考,这样具有代表性。

没有选择BAT的招聘信息,有两个原因:第一,BAT的招聘信息太过于抽象。第二,BAT一般走校招,比较注重基础和发展潜力,不在本文讨论范围内。

欢迎加入大数据学习交流群:

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!