rsync

当目录下文件太多时，用rm删除文件会报错：-bash: /bin/rm: Argument list too long提示文件数目太多。解决的办法是使用如下命令：ls | xargs -n 10 rm -fr ls输出所有的文件名(用空格分割) xargs就是将ls的输出，每... 当目录下文件太多时，用rm删除文件会报错： -bash: /bin/rm: Argument list too long 提示文件数目太多。 解决的办法是使用如下命令： ls | xargs -n 10 rm -fr ls 输出所有的文件名(用空格分割) xargs就是将ls的输出，每10个为一组(以空格为分隔符)，作为rm -rf的参数也就是说将所有文件名10个为一组，由rm -rf删除 或者使用rsync的同步命令 rsync --delete-before -a -H --stats test/ cache-bak/ test是空目录，cache-bak是要清空的目录 删除大文件时，可以使用 >清空 学习提高自己，能力证明自己，技能创造价值 来源： oschina 链接： https://my.oschina.net/u/4355012/blog/4284392

高性能计算 高性能计算HPC需要连续计算，快速读数据，数据文件共享等。随着时间的推移，数据会迅速增长。 纵向扩展NAS容量不断增长，性能却不会增加。而横向扩展NAS如果单纯扩容，添加节点成本太高。CS NAS集群同时支持横向纵向扩展，既有高效稳定的带宽，又有超大容量。CS还提供单一命名空间，快速实现数据共享，以及GB级别的带宽，PB级别的容量。 优势  高性能–CS聚合带宽非常稳定，减少数据I / O时间，提高集群的工作效率。增加节点线性提高性能，满足大量数据并行读/写要求。  支持纵向扩展–传统分布式集群通过添加节点扩展容量成本很高。CS可以连接扩展柜，节省大量预算。高性能计算集群在合理的成本范围内，实现大量数据和计算结果的保存。  专用分布式文件系统—与纠删码/副本模式相比，空间利用率最高可达50%，低损耗极大降低用户成本，单一命名空间下提供超高并行IO性能。  全面的数据保护–使用纠删码/副本/Infortrend的RAID技术，如果发生任何磁盘故障，用户无需担心数据丢失。  备份–研究数据至关重要，CS提供Rsync和其他备份机制，防止任何意外事故导致数据丢失。  安全性– SED硬盘加密，一写多读（WORM），SSL加密。 影视媒体 CS的高性能大容量，支持双向扩展，以及对数据的多重安全保护。有效解决高清编辑和影视用户后端存储带宽不足，容量扩展性差

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 Hadoop完全分布式运行模式 步骤分析: 编写集群分发脚本xsync 集群配置 集群部署规划 配置集群 集群单点启动 SSH无密登陆配置 登录状态的环境变量 群起集群 集群启动/停止方式总结 集群时间同步 其他注意事项 Hadoop完全分布式运行模式 步骤分析: 准备3台客户机（关闭防火墙、静态ip、主机名称） vim /etc/sysconfig/network 三台机器各自的配置分别为HOSTNAME=hadoop101;HOSTNAME=hadoop102;HOSTNAME=hadoop103 vim /etc/hosts 三台机器都加入下面的映射关系 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 由于在 上一章节 已经配置好环境并测试了hadoop伪分布式开发模式,所以在此不再赘述. 编写集群分发脚本xsync scp(secure copy) 安全拷贝(全量复制) scp定义 scp可以实现服务器与服务器之间的数据拷贝.（from server1 to server2）

环境：RHEL 6.5 + Oracle 11.2.0.4 需求：使用df -i巡检发现Inodes使用率过高，需要清理删除文件来解决。如果Inodes满，该目录将不能写，即使df -h查看还有剩余空间。 1.问题现象 2.解决方案 1.问题现象 Oracle的adump下记录的是sys的登陆审计信息，特点是小碎文件非常多，经常会遇到使用 rm -rf * 命令删除不了，报错 -bash: /bin/rm: Argument list too long 。 这是因为通配符 * 在执行时会替换为具体的文件名，例如 rm -rf file1 file2 file3 ... ，如果文件数量过多，就容易出现这个错误。 比如在下面的环境中，adump目录下文件已达到114万+，执行 rm -rf * 命令时就会报这个错误： [oracle@jystdrac2 adump]$ pwd /opt/app/oracle/admin/crmdb/adump [oracle@jystdrac2 adump]$ ls|wc -l 1149787 [oracle@jystdrac2 adump]$ rm -rf * -bash: /bin/rm: Argument list too long [oracle@jystdrac2 adump]$ du -sh 4.4G 2.解决方案 清楚了问题现象

网络配置，虚拟机克隆（Centos7） 1.在/etc/hostname 修改主机名称 2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置 3.ifconfig检查ip地址是否正确 1.scp 安全拷贝 可以实现服务器与服务器之间的数据拷贝 语法： scp -r p d i r / pdir/ p d i r / fname u s e r @ h a d o o p user@hadoop u s e r @ h a d o o p host: p d i r / pdir/ p d i r / fname 递归 文件路径/名称 目的用户@主机：目的路径/名称 在101上把opt/module的软件拷贝到102上 scp -r /opt/module root@hadoop102:/opt/module 在103上从101中拿取软件 sudo scp -r root@hadoop101/opt/module ./ #103的当前目录下 在103上从101中拿取软件给104 sudo scp -r root@hadoop101/opt/module root@hadoop104:/opt/module 2.rsync 远程同步工具 （只对差异的文件做更新） 用于备份和镜像。速度快，避免复制相同内容，支持符号链接

rsync是 linux系统 下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步 sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录 实验环境 centos6.5_x64 192.168.10.18 rsync+sersync rsync1 192.168.10.15 rsync rsync2 实验软件 sersync2.5.4_64bit_binary_stable_final.tar.gz 软件安装 cp -pv /etc/hosts /etc/hosts.bak echo 192.168.10.18 rsync1 >> /etc/hosts echo 192.168.10.15 rsync2 >> /etc/hosts sed -i.bak 's/centos6/rsync1/g' /etc/sysconfig/network rsync -avz /etc/hosts root@192.168.10.15:/etc/hosts rsync -avz /etc/sysconfig/network root@192.168.10.15:/etc/sysconfig/network

定时备份数据库，保存周期为一个月，并同步到远程的rsync服务器上 代码如下： #!/bin/bash d=`date +%d` db=blog datadir=/tmp/mysql remotedir=192.168.0.108::backup pass_wd=123456 mysqldump -uroot -p${pass_wd} $db > ${datadir}/$d.log rsync -az ${datadir}/$d.log ${remotedir}/$d.log 来源： oschina 链接： https://my.oschina.net/u/4356138/blog/4318117

场景模拟: 某知名企业搭建了一套zabbix_server的高可用环境,然后通过虚拟ip（192.168.1.1）来访问真实的zabbix_server(主节点：192.168.1.2)。当zabbix_server主节点发生异常后，虚拟ip就会映射到zabbix_server(备节点:192.168.1.3)上。这时候他们做了一个高可用的切换过程。但是切换高可用后，zabbix备节点界面出现了主机无法获取数据的告警，经排查，是因为zabbix_server(主节点)上的一些自定义键值文件和自定义脚本，还有外部检查文件没有添加到zabbix_server的(备节点)，所以即使切换后，zabbix_server可以访问，但是由于备节点上缺失自定义脚本的相关文件，导致zabbix备节点无法获取部分主机的数据。 部署过程： 第一步：在zabbix_server(主节点）和zabbix_server(备节点)上安装rsync服务 yum install rsync 启动rsync –daemon启动服务 Rsync --daemon 用ss –ntl查看rsync服务，默认端口为873 接着在主zabbix和备zabbix上编辑/etc/rc.local文件，把rsync服务设置为开机启动 在rc.local中加入/usr/bin/rsync –daemon

一. 阿里面试流程 阿里的面试一般分为笔试和电话面试。 很多大的外包公司都在帮阿里招聘，所以他们的候选人很多。 所以阿里会通过笔试题先进行筛选。 HR会跟你约好笔试题的答题时间，然后给你发邮箱过来， 需要你使用淘宝账号登陆。 如果你参加过笔试过一次了，半年内是不允许再次参加考试的。 不过阿里的题目相对来说还比较简单，一般会让你从docker基础，Linux，mysql基础里选择两个来答题。 我的学员选择Linux和mysql的居多，所以暂时没有拿到docker的笔试题。 今天我分享的是阿里Linux基础笔试题，注意： 本题是招聘0-4年工作经验的通用题。 二. 阿里原题限时答题 查看文件test.txt，并显示行号（ ） A grep -n test.txt B cat test.txt C cat -n test.txt D string -n test.txt URL地址为 http://www.baidu.com/a.html，哪个是主机名 A baidu.com.cn B a.html C www.baidu.com/a.html D www.baidu.com linux系统中，哪个命令可以查看服务器的序列号（ ） A dmidecode B lspci C modinfo D dmesg linux系统中，如何挂载一块移动硬盘/dev/sdm到相应的挂载点/mnt？ A

1、播放声音文件脚本 执行1.sh test.wav，ssh登陆到192.168.1.1服务器，root密码是123456，播放/home/temp目录下的test.wav文件，注意test.wav是变量，不是常量。 【之前没有用过linux环境的音视频环境，百度了一下，涉及的知识还是很多的。没做出来。】 2、拷贝文件脚本 执行2.sh test.txt，将/home/hello/temp目录下文件使用rsync指令ssh方式远程同步到192.168.1.1服务器的/home/ftp目录下，登陆192.168.1.1的root账号密码是123456，注意test.txt文件是变量，不是常量。 sshpass -p 123456 rsync -avzP -e 'ssh -p 22' root@192.168.1.1:/home/ftp/ /home/hello/temp 3、ping测脚本 执行3.sh 192.168.1.1 10 20，ping测192.168.1.1主机20次，时间间隔10秒，每次ping3个包，并将每次ping测结果列成一行，以YYYY_MM_DD_HH_MM_SS_PING.txt存储文件。 vi 3.sh #!/bin/bash interval=$1 count=$2 ping -c $count -i $interval 192.168.1.1 >