Hadoop

个人记录 建立个目录执行下面命令下载tar包 wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz 解压后为了方便建立个软链接 ln -s /home/mysql/mysql-5.7.13-linux-glibc2.5-x86_64 /usr/local/mysql mysql目录下创建data目录 mkdir data chmod -R 777 /usr/local/mysql/data/ 开启ssl链接 bin/mysql_ssl_rsa_setup 创建root账号（记下自动生成随机密码） sudo yum install libaio bin/mysqld --initialize --user=root 加入服务 cp support-files/mysql.server /etc/init.d/mysql.server 添加环境变量： vi /etc/profile export MYSQL_HOME=/usr/local/mysql export PATH=$PATH:$MYSQL_HOME/bin 保存并使其生效 source /etc/profile 登录mysql mysql -uroot –p上面生成的随机密码 设置随机密码 use

主题： 腾讯云数据库MySQL高可用实践 大纲： 1. 给刚进入数据库行业新人的一些建议 2. 目前腾讯云RDS的可用性达到了99.9999%，需要做好哪些工作才能达到如此高的稳定性 3. 腾讯云RDS的性价比很高，请问都包含了哪些方面 4. TXSQL的好处 5. 腾讯云下关于MySQL高可用还需要使用者额外去监控哪些内容 听说3306π要搞事情了 是啊，马上要搞3306π深圳站了 啊，是吗？哪天啊，在哪里办，怎么报名？ 12月19日 ，就在 深圳南山区海岸城 ，点文末的原文链接或者扫描二维码就可以报名了，一起来吹吹牛逼。 嘉宾自我介绍 杨杰 架构师 CDB/CynosDB数据库管控平台架构师，TXSQL内核源码贡献者，腾讯内部开源MySQL 无锁备份工具作者 01 很多小伙伴进入数据库行业，都会把进入腾讯作为目标，杨老师作为过来人可否给大家一些建议吗？ 以我自身的经历来说，进入数据库行业也是偶然的机会。在腾讯数据库团队已经是第8个年头，最近几年招聘工作也比较多，算是有些心得吧。对于毕业生来说，我关注的是基础的技术能力、逻辑思维和技术热情。基础能力包括编程语言基础、数据结构和算法，这方面是硬实力，不可或缺但比较容易掌握，建议可以多刷题。 逻辑思维能力，即分析问题的能力，对所做的事情是有一个较全面的认识，对项目/技术有思考。 技术热情比较好理解，就不在赘述了。 对于已经在职同学来说

讨论QQ：1586558083 目录 一、RDD的概述 1.1　什么是RDD？ 1.2　RDD的属性 1.3　WordCount粗图解RDD 二、RDD的创建方式 2.1　通过读取文件生成的 2.2　通过并行化的方式创建RDD 2.3　其他方式 三、RDD编程API 3.1　Transformation 3.2　Action 3.3　Spark WordCount代码编写 3.4　WordCount执行过程图 四、RDD的宽依赖和窄依赖 4.1　RDD依赖关系的本质内幕 4.2　依赖关系下的数据流视图 正文 回到顶部 一、RDD的概述 1.1　什么是RDD？ RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ， 是Spark中最基本的数据抽象 ，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 1.2　RDD的属性 （1）一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU

0x00 环境及软件 1、系统环境 OS：Windows10_x64 专业版 2、所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip（主要使用里面的winutils.exe） IntelliJ IDEA（版本：2017.1.2 Build #IU-171.4249.32,built on April 21,2017） scala-intellij-bin-2017.1.20.zip（IntelliJ IDEA scala插件） apache-maven-3.5.0 0x01 搭建步骤 1、安装JDK 从 http://www.oracle.com/technetwork/java/javase/downloads/index.html 处下载相应版本的JDK安装文件，安装教程不再赘述，最终安装后的路径如下（由于之前就安装过JDK了，所以此处显示时间为2017年的）： 在环境变量中配置JDK信息，新建变量JAVA_HOME=C:\SelfFiles\Install\Java\jdk1.8.0_131，并在Path中添加JDK信息%JAVA_HOME%\bin，如下： 然后，打开一个命令行界面

一、 java开发工程师（大数据方向） 职位类别： Java开发工程师 岗位职责： 1、参与大数据平台的设计与开发，解决海量数据面临的挑战； 2、管理、优化并维护 Hadoop、Spark等集 群，保证集群规模持续、稳定； 3、负责 HDFS/hive/HBase的功能 、性能和扩展，解决并实现业务需求； 4、协助团队成员建立数据模型，对 数据进行挖掘、优化及统计 。 任职要求： 1、本科生及以上学历，2年及以上互联网系统或者其他企业应用系统开发相关经验； 2、具备Java开发经验， Java编程基础 扎实，熟练使用 struts2、spring、ibatis或hibernate等框架 ； 3、有 分布式系统开发 经验； 3、熟悉 Hadoop/HBase/Spark/Storm/Hive ，熟悉 数据挖掘策略 与 算法 者优先； 4、数据控，善于发现问题、解决问题,具备良好的分析和解决问题的能力，具备一定的钻研精神和持续学习的意愿，强烈的责任感和团队感，对负有挑战性的工作充满热情 二、 大数据开发工程师 职位类别： 软件工程师 岗位职责： 1、开发大数据的 数据接入、数据存储及管理系统 2、负责大数据的 维度分解 及 统计汇报 3、 梳理 并 维护 大数据及 汇总 工作 4、设计并参与开发大数据服务系统。 任职要求： 1、精通java开发，熟悉 JVM 及 java常用包 2

主题： 腾讯云CES自动化运维架构及最佳实践 大纲： 1. 如何看待“运维”在公司的定位和未来的发展方向 2. 做好自动化运维架构需要关注哪些方面 3. 运维岗位必备技能 4. 提效处理故障方面的建议 5. 腾讯云CES方面的运维架构有哪些独到之处 听说3306π要搞事情了 是啊，马上要搞3306π深圳站了 啊，是吗？哪天啊，在哪里办，怎么报名？ 12月19日 ，就在 深圳南山区海岸城 ，点文末的原文链接或者扫描二维码就可以报名了，一起来吹吹牛逼。 嘉宾自我介绍 李明 高级运维工程师 曾先后在携程、华为云等公司从事多年MySQL DBA的工作，目前在腾讯负责腾讯云Elasticsearch，CTSDB产品的运维工作。对于ES、CTSDB在日志分析、大数据搜索、时序分析等场景的使用有丰富的实践经验。 01 李老师，很多人都在谈脱离传统运维模式，更好的帮助业务前行。您是如何看待“运维”在公司的定位和未来的发展方向呢？ 运维作为一个比较传统的岗位，在当前大量中小企业都拥抱上云或自动化程度越来越 高 的背景下，其工作的定位的却是受到了一些影响，以前需要专业运维来部署的一些环境，现在并不是那么需要了，但这并不意味着运维岗位的生存将受到很大的影响。 只是对运维人员提出了更高的要求，一方面需要运维人员对所服务的产品本身的特性，要相对开发人员有更深的认识，从而指导其更开发出更专业的产品

主题： 腾讯云CES自动化运维架构及最佳实践 大纲： 1. 如何看待“运维”在公司的定位和未来的发展方向 2. 做好自动化运维架构需要关注哪些方面 3. 运维岗位必备技能 4. 提效处理故障方面的建议 5. 腾讯云CES方面的运维架构有哪些独到之处 听说3306π要搞事情了 是啊，马上要搞3306π深圳站了 啊，是吗？哪天啊，在哪里办，怎么报名？ 12月19日 ，就在 深圳南山区海岸城 ，点文末的原文链接或者扫描二维码就可以报名了，一起来吹吹牛逼。 嘉宾自我介绍 李明 高级运维工程师 曾先后在携程、华为云等公司从事多年MySQL DBA的工作，目前在腾讯负责腾讯云Elasticsearch，CTSDB产品的运维工作。对于ES、CTSDB在日志分析、大数据搜索、时序分析等场景的使用有丰富的实践经验。 01 李老师，很多人都在谈脱离传统运维模式，更好的帮助业务前行。您是如何看待“运维”在公司的定位和未来的发展方向呢？ 运维作为一个比较传统的岗位，在当前大量中小企业都拥抱上云或自动化程度越来越高的背景下，其工作的定位的却是受到了一些影响，以前需要专业运维来部署的一些环境，现在并不是那么需要了，但这并不意味着运维岗位的生存将受到很大的影响。 只是对运维人员提出了更高的要求，一方面需要运维人员对所服务的产品本身的特性，要相对开发人员有更深的认识，从而指导其更开发出更专业的产品

这是 大数据入门常识 第一篇，主要讨论大数据工作的方向问题。 后续还会把 “大数据实际工作中的职责”，“大数据需要学的内容”，“大数据如何学习” 这三个议题写成三篇文章展开来详细讨论，敬请期待，如果有其他感兴趣的问题也可以告诉我，我会给大家安排上。 言归正传，在我的第一期「定制学习」基础班，有不少刚入门的同学问了我类似这样的问题 看招聘网站上，大数据相关的方向好多，不知道自己适合哪个怎么办？ 关注我的同学应该有不少是刚入门的，所以我把内容好好地整理总结了发出来希望能帮到更多人。 另外，对刚刚提到的「 定制学习 」有兴趣的可以点击看下面的链接了解下详情 公众号：大叔据 在线一对一大数据定制学习详情 大数据开发工程师 大数据开发，大数据平台开发，大数据系统开发，大数据应用开发等等好多种排列组合的说法其实都是类似的，都是同一种大数据猿类，只是各个公司的描述不同而已。为了更具有说服力，我在招聘网站上找了个比较通用的任职要求，大家 先来看看。 首先，这种猿类对开发能力有比较高的要求，而且其实在实际工作中，大数据开发和Java后端开发是有一些关联的（ 因此有后端的朋友问我转方向事宜我都会建议这个方向 ），大数据开发需要提供接口服务，但是服务端的实现不同的是会对接更多的是大数据技术，也就是说需要用大数据的技术去实现一些需求然后通过接口的方式把数据返回给业务方。 涉及分布式存储，分布式批/流计算