Hadoop

介绍 我们在前面介绍过Edge2AI自动驾驶汽车的解决方案，参见《 Edge2AI 自动驾驶 汽车： 在小型智能汽车上收集数据并准备数据管道》，《Edge2AI 自动驾驶 汽车： 构建Edge到AI数据管道》，《 Edge2AI 自动驾驶 汽车： 训练模型并将其部署到边缘 》 。在这里我们从实操教程的角度来看如何一步一步的构建Edge2AI自动驾驶汽车的应用，这个教程也是分成了三个部分，今天的内容是总体介绍这个教程。 自动驾驶汽车是Cloudera自动驾驶汽车的开源版本。这款无人驾驶微型汽车由3个摄像头，LiDAR和游戏控制器提供动力，并连接到Jetson TX2板上。TX2运行机器人操作系统（ROS）并控制汽车的运动。最终，如果我们有多辆汽车，我们可以在汽车上训练模型，然后将该模型发送给CDSW并执行联合学习。在本教程中，我们将汽车数据发送到云中的Hadoop HDFS。我们使用CDSW运行Keras训练模型，然后将模型保存到HDFS。该模型经过训练，可以从跑道上克隆人的驾驶行为，以基于中心摄像头框架预测转向角，该摄像头框架使用ROS控制汽车。最后，将模型重新部署到汽车中，以说明Edge To AI的生命周期。 学习目标 • 将MiNiFi C ++代理安装到Jetson TX2上 • 了解TX2的汽车传感器数据 • 构建用于Emi数据管道的ETL数据管道，以用于CEM •

石家庄铁道大学信息科学与技术学院实习实训日志 学生姓名 *** 所学专业 软件工程 班级学号 ******** 实习时间 2018年 7月 10日 今天学 习过程 和小结 1.eclipse里maven工程的使用 2.maven的pom.xml进行jar包管理 3.小组里项目的依赖方法{（1）：制作成jar包 （2）：build path引入（3）使用maven引入} 4.linux安装tomcat，配置端口，在物理机里访问。 5.linux安装SSH，实现免密钥登录。 6.java中转发和重定向的区别 7.java中的四大作用域 8.ngix反向代理 9.redis分布式缓存。 10.linux下安装hadoop和配置hdfs. 遇到问 题汇总 在搭建hadoop环境时，遇到了jps启动时，没有datanode节点。目前尚未解决 学习技能思维导图 （持续增加） Java 内存机制， javap 反编译原理， java 编译原理。 来源： oschina 链接： https://my.oschina.net/u/4282521/blog/3906945

下载：apache-zookeeper-3.5.5.tar.gz 进入zookeeper安装目录查看lib文件夹和zookeeper-3.5.5.jar是否存在，如果没有需要手动添加，不然启动时会报错。 注：启动失败时，可以进入out.log日志进行查看错误原因 [hadoop@hadoop01 apache-zookeeper-3.5.5]$ ls -l total 176 drwxr-xr-x. 2 hadoop hadoop 232 Apr 9 19:13 bin -rw-r--r--. 1 hadoop hadoop 94388 May 3 19:40 build.xml drwxr-xr-x. 2 hadoop hadoop 120 Sep 20 00:45 conf -rw-r--r--. 1 hadoop hadoop 411 Feb 15 2019 excludeFindBugsFilter.xml -rw-r--r--. 1 hadoop hadoop 1709 Feb 15 2019 ivysettings.xml -rw-r--r--. 1 hadoop hadoop 7597 Apr 9 19:13 ivy.xml drwxr-xr-x. 2 root root 4096 Sep 20 00:02 lib -rw-r--r--. 1 hadoop

参考： https://segmentfault.com/a/1190000013980557 https://segmentfault.com/a/1190000013267839 注意 1.只能有一个root， 其他用alias 2.try_files是在找不到路由的时候跳转到的页面，跳转到index.html表示将路由交给前端页面（框架）处理 #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; #access

User root is not allowed to impersonate anonymous ava.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: wulei is not allowed to impersonate hadoop), serverProtocolVersion:null) (state=08S01,code=0) 使用HiveServer2 and Beeline模式运行时，启动好HiveServer后运行 beeline -u jdbc:hive2://localhost:10000 -n root 连接server时 出现 java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User root is not allowed to impersonate anonymous 错误。 修改hadoop 配置文件 etc/hadoop/core

（一）MapReduce介绍 1、MapReduce简介   MapReduce是Hadoop生态系统的一个重要组成部分，与分布式文件系统HDFS、分布式数据库HBase一起合称为传 统Hadoop的三驾马车 ，一起构成了一个面向海量数据的分布式系统的基础架构。   MapReduce是一个用于大规模数据（大于1TB）处理的 分布式计算模型、编程模型 ，它最初是由Google设计并实现的，在Google提出时，给它的定义是：Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。   MapReduce的主要思想“Map（映射）”和“Reduce（规约）”都来自于函数式编程语言。MapReduce极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统之上。用户只需要定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达，具有较强的实用价值。    具体来看，MapReuce应当是包含了以下三层含义：   （1）MapReduce是一个

安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。为了避免安装过程出现各种错误，建议关闭，有如下两种关闭方法： 1）临时关闭（不建议使用） [root@hadoop101 ~]# setenforce 0 但是这种方式只对当次启动有效，重启机器后会失效。 2）永久关闭（建议使用） 修改配置文件/etc/selinux/config [root@hadoop101 ~]# vim /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=disabled # This file controls the state of SELinux on the system. # SELINUX = can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. #SELINUX = enforcing SELINUX = disabled

在一个大数据团队中，大数据架构师主要关注的 核心问题就是技术架构选型问题 。架构选型问题一般会受到哪些因素的影响呢？在我们的实践中，一般大数据领域架构选型最受以下几个因素影响： 数据量级 这一点在大数据领域尤其是一个重要的因素。不过从根本上讲，数据量级本身也是一种业务场景的衡量。数据量级的不同往往也就昭示着业务场景的不同。 业务需求 经验丰富的大数据架构师能够从纷繁的业务需求中提炼出核心技术点，根据抽象的技术点选择合适的技术架构。主要的业务需求可能包括：应用实时性要求、查询的维度和灵活程度、多租户、安全审计需求等等。 维护成本 这一点上大数据架构师一方面要能够清楚的了解各种大数据技术栈的优劣势，在满足业务需求的要求下，能够充分的优化架构，合理的架构能够降低维护的成本，提升开发的效率。 另一方面， 大数据架构师要能清楚的了解自己团队成员，能了解其他同学的技术专长和品位，能够保证自己做的技术架构可以得到认可和理解，也能得到最好的维护和发展。 接下来我们会围绕这几个方面去看看，做一个最适合自己团队业务的架构选型会如何受到这些因素的影响？ 技术架构选型 业务需求是五花八门的，往往影响我们做技术选型的不是种种需求的细节，而是经过提炼后的一些具体的场景。就好比，业务需求提出我们要做一个日志分析系统，或者要做一个用户行为分析系统，这些具体需求背后我们要关注哪些具体的点？这是一个很有趣的问题

前言 阅读本文前，请先回答下面两个问题： 1. 数据库和数据仓库有什么区别？ 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？ 如果您不能五秒内给出答案，那么本文应该是对您有帮助的。 注：如果您还不清楚完整参照性约束，请参考 《数据库关系建模》 ：，如果您还不了解范式，请参考 《更新异常与规范化设计》 。 数据库的"分家" 随着关系数据库理论的提出，诞生了一系列经典的RDBMS，如Oracle，MySQL，SQL Server等。这些RDBMS被成功推向市场，并为社会信息化的发展做出的重大贡献。然而随着数据库使用范围的不断扩大，它被逐步划分为两大基本类型： 1. 操作型数据库 主要用于 业务支撑 。一个公司往往会使用并维护若干个数据库，这些数据库保存着公司的日常操作数据，比如商品购买、酒店预订、学生成绩录入等； 2. 分析型数据库 主要用于 历史数据分析 。这类数据库作为公司的单独数据存储，负责利用历史数据对公司各主题域进行统计分析； 那么为什么要"分家"？在一起不合适吗？能不能构建一个同样适用于操作和分析的统一数据库？ 答案是NO。一个显然的原因是它们会"打架"......如果操作型任务和分析型任务抢资源怎么办呢？再者，它们有太多不同，以致于早已"貌合神离"。接下来看看它们到底有哪些不同吧。

官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制。 节点 命令 create /test create -e /test/sxtest create -s /test get /test get -w /test 监听节点 （一次性的） set /test xxx delete /test deleteall /test zookeeper 安装说明 https://my.oschina.net/guoenzhou/blog/4299015 https://www.iteye.com/blog/coolxing-1871009 启动server只需运行脚本: ./bin/zkServer.sh start Server启动之后, 就可以启动client连接server了, 执行脚本: ./bin/zkCli.sh -server localhost:2181 来源： oschina 链接： https://my.oschina.net/shunshun/blog/4726898