安全模式

Hadoop 软件有三大核心，HDFS、Yarn、MapReduce。这里我们来说第一个核心HDFS，HDFS全称 Hadoop Distributed File System 是Apache Hadoop项目的一个子项目，是一个分布式文件系统，Hadoop能够适合存储大数量的数据比如TB和PB，其实就是使用的HDFS。HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。 HDFS适用的场景 　　 存储非常大的文件：这里非常大指的是几百M、G、或者TB级别，需要高吞吐量，对延时 没有要求 。 　　 采用流式的数据访问方式: 即一次写入、多次读取，数据集经常从数据源生成或者拷贝一次，然后在其上做很多分析工作 。 　　 运行于商业硬件上: Hadoop不需要特别贵的机器，可运行于普通廉价机器，可以处节约成本需要高容错性为数据存储提供所需的扩展能力 HDFS不适用的场景 　　 低延时的数据访问 对延时要求在毫秒级别的应用，不适合采用HDFS。HDFS是为高吞吐数据传输设计的,因此可能牺牲延时 　　 大量小文件 文件的元数据保存在NameNode的内存中， 整个文件系统的文件数量会受限于NameNode的内存大小。 经验而言，一个文件/目录/文件块一般占有150字节的元数据内存空间。如果有100万个文件，每个文件占用1个文件块

hadoop在安全模式下，是不能在hdfs上操作数据的，所以，如果你出现上次文件失败，这是一种失败的原因。 bin/hdfs dfsadmin -safemode enter：进入安全模式 bin/hdfs dfsadmin -safemode leave：离开安全模式 bin/hdfs dfsadmin -safemode get：获取安全模式 bin/hdfs dfsadmin -safemode wait：模式等待状态 模拟一种情况，就是在安全模式下不能上传文件，离开之后能上传的情况。 hadoop文件夹下执行：bin/hdfs dfsadmin -safemode enter 进入安全模式之后，写一个脚本（vim safemode_operate.sh）： #! bin/bash hdfs dfsadmin -safemode wait hdfs dfs -put /opt/module/hadoop-2.10.0/NOTICE.txt / 把我本地的一个文件上传到hdfs的根目录。 写完脚本之后，执行脚本：bash safemode_operate.sh，发现一直是在等待状态，去 http://hadoop101:50070/explorer.html#/ 查看，也没有NOTICE.txt 文件，说明在安全模式下是不能上传文件的。 再打开一个命令行，执行离开命令：bin

基本的思路是，以安全模式启动mysql，这样不需要密码可以直接以root身份登录，然后重设密码。 首先，我们停掉MySQL服务： sudo service mysql stop 以上命令适用于Ubuntu和Debian。CentOS、Fedora和RHEL下使用mysqld替换mysql。 以安全模式启动MySQL： sudo mysqld_safe --skip-grant-tables --skip-networking & 注意我们加了--skip-networking，避免远程无密码登录 MySQL。 这样我们就可以直接用root登录，无需密码： mysql -u root 接着重设密码： mysql> use mysql; mysql> update user set password=PASSWORD( "mynewpassword" ) where User= 'root' ; mysql> flush privileges; 注意，命令后需要加分号。 重设完毕后，我们退出，然后启动 MySQL 服务： mysql > quit quit不需要分号。 重启服务： sudo service mysql restart 同样，以上命令适用于Ubuntu和Debian，Centos、Fedora和RHEL需要用mysqld替换mysql。 现在可以尝试用新密码登录了：

记录一次今天同事笔记本无法开机的故障处理 windows7系统，安装更新失败，无法开机，卡在配置更新界面 处理方法，强制关机，开机按F8，进入安全模式，安全模式还会卡在配置更新界面，但是卡一会会进入系统，网上有人说10-20分钟，但是我的卡了近一个小时才进去，然后在管理-服务中，禁用windows update 然后重启，解决 来源： https://www.cnblogs.com/slim-liu/p/11898698.html

flatmap的用法，还有关于sql的udf hadoop fs -mkdir /scdata hadoop fs -mkdir /scdata/riskModel 2042 sudo hdfs dfsadmin -safemode leave 2043 hdfs dfsadmin -safemode leave 2044 sudo /hdfs dfsadmin -safemode leave 2045 hadoop fs -put /home/scdata/get_bankrupt_com_and_time . csv /scdata/riskModel / 2046 sudo hdfs dfsadmin -safemode leave 2047 hadoop fs -ls \ 2048 hadoop fs -ls 2049 hadoop fs -ls / 2050 hadoop fs -df 2051 df -h 2052 hadoop fs -put /home/scdata/get_bankrupt_com_and_time . csv /scdata/riskModel / 2053 sudo hdfs dfsadmin -safemode leave 2054 hdfs dfsadmin -safemode leave 2055 hadoop fs -put /home

在HDFS配置文件中修改安全模式阀值 在hdfs-site.xml中设置安全阀值属性，属性值默认为0.999f，如果设为1则不进行安全检查 <property> </property> 因为是在配置文件中进行硬修改，不利于管理员操作和修改，因此不推荐此方式 直接在bash输入指令脱离安全模式（推荐） 在安全模式下输入指令： 即可退出安全模式。 文章来源: Hadoop退出安全模式

今天给同事弄一个服务器自启动，但是那个服务是挂载模式，不是后台模式，所以在启动的时候一直进入不了登陆界面。 我当时心里知道挂载模式的服务弄自启动可能会导致前面说的情况，但是后来还是这么做了。 只有进入linux安全模式（也叫单用户模式）然后修改/etc/rc.d/rc.local文件 现在写这个博客主要是怕以后又遇到这种问题会忘记这类问题是怎么处理的 如下图所示: 找到 linux16 那一行 然后在那一行末尾添加 rw init=/bin/sh 上图是init=/bin/sh没有加上rw应该加上完整的rw init=/bin/sh 如果不加会导致进入安全模式(单用户模式) 不能修改任何文件 7.4版本有所不同 找到Linux 16的那一行，将ro改为rw init=/sysroot/bin/sh 修改完成后按ctrl+x键，即可进入安全模式(单用户模式) 注意事项 rw init=/bin/sh , init前面一定要写上rw, 不然进入了安全模式也修改不了文件 原文: 大专栏 centos7进入单用户模式 来源：博客园 作者： 三鲜豆皮 链接：https://www.cnblogs.com/sanxiandoupi/p/11658102.html

【MySQL笔记】解除输入的安全模式，Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column To disable safe mode, toggle the option in Preferences -> SQL Queries and reconnect. Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column To disable safe mode, toggle the option in Preferences -> SQL Queries and reconnect. 这是因为MySql运行在safe-updates模式下，该模式会导致非主键条件下无法执行update或者delete命令。 1、show variables like 'SQL_SAFE_UPDATES';查看开关状态。 2、执行命令SET SQL_SAFE_UPDATES = 0;修改下数据库模式　// 1是开启 文章来源: https:

###1、Shell$ExitCodeException 现象：运行hadoop job时出现如下异常： Exception from container-launch: org.apache.hadoop.util.Shell$ExitCode Exception: Container exited with a non-zero exit code 1 原因及解决办法：原因未知。重启可恢复正常 ###2、Safe mode 现象：分配map reduce任务时产生： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 说明Hadoop的NameNode处在安全模式下。 经查阅： 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。 在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。 用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下： enter - 进入安全模式 leave - 强制NameNode离开安全模式 get

复习 """ 1、数据库导入 文件存储数据、多个文件放在一个文件夹中统一管理、管理的系统 2、数据库的分类 关系非关系：mysql | redis 硬盘内存：mysql | redis sql与nosql：mysql | redis 3、mysql安装与使用 数据库的基本操作：create、show、use、drop 表的基本操作：create、show、desc、drop 记录的基本操作：insert into、delete from、update set、select from """ 今日内容 """ 1、数据库与表的剩余操作 编码配置、引擎介绍 2、数据库字段的操作 3、数据库的数据类型 4、数据库字段的约束条件 """ 数据库配置 # 通过配置文件统一配置的目的：统一管理 服务端(mysqld) 、客户端(client) # 配置了 mysqld(服务端) 的编码为utf8，那么再创建的数据库，默认编码都采用utf8 # 配置流程 # 1）在mysql安装根目录下，创建配置文件：my.ini # mac下配置文件名叫 my.cnf # 2）设置配置文件内容并保存 [mysqld] # 服务器配置 port=3306 # 可以修改数据库默认端口(如果数据库端口被其他软件占用) character-set-server=utf8 # 编码格式 collation-server