rsync

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 首先下载好两个工具： rsync 地址 : http://rsync.samba.org/download.html inotify-tools: http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 这次的实验主要有两台机器， 172.16.54.114 和 172.16.54.115 ，我们把 115 做为源服务器， 114 做为目标服务器 主要是把 115 上 /home/md 中的所有数据实时同步到 114 上的 /home/md 中 1, 先关闭防火墙 vi /etc/selinux/config # 编辑防火墙配置文件 #SELINUX=enforcing # 注释掉 #SELINUXTYPE=targeted # 注释掉 SELINUX=disabled # 增加 :wq! # 保存，退出 setenforce 0 # 立即生效 2 ，查看端口是否被占用（直接在命令行输入）及安装 netstat –apn | grep 873 安装 rsync, 在两台服务器上都要进行这个步骤 首先将下载的包解压 tar -xzvf rsync-3.1.0.tar.gz 解压后进入目录 ./configure -

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 操作系统：rhel 5.7 首先下载好两个工具： rsync 地址 : http://rsync.samba.org/download.html inotify-tools: http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz 这次的实验主要有两台机器， 172.16.54.114 和 172.16.54.115 ，我们把 115 做为源服务器， 114 做为目标服务器 主要是把 115 上 /home/md 中的所有数据实时同步到 114 上的 /home/md 中 1, 先关闭防火墙 vi /etc/selinux/config # 编辑防火墙配置文件 #SELINUX=enforcing # 注释掉 #SELINUXTYPE=targeted # 注释掉 SELINUX=disabled # 增加 :wq! # 保存，退出 setenforce 0 # 立即生效 2 ，查看端口是否被占用（直接在命令行输入）及安装 netstat –apn | grep 873 安装 rsync, 在两台服务器上都要进行这个步骤 首先将下载的包解压 tar -xzvf rsync-3.1.0.tar.gz 解压后进入目录

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> inotify和rsync实现实时同步 inotify 相关解释 查看服务器内核是否支持inotify grep -i inotify /boot/config-3.10.0-1062.el7.x86_64 inotify内核参数 cat /proc/sys/fs/inotify/max_queued_events //inotify事件队列最大长度默认为 16384 cat /proc/sys/fs/inotify/max_user_watches //可以监视的文件数量 默认为8192 cat /proc/sys/fs/inotify/max_user_instances //每个用户创建 inotify 实例最大值 默认为 128 安装：基于epel源 yum install inotify-tools inotify-tools包主要文件： inotifywait： 在被监控的文件或目录上等待特定文件系统事件（open closedelete等）发生，常用于实时同步的目录监控 inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计 inotifywait 命令常见选项 -m，--monitor 始终保持事件监听 -d，--daemon 以守护进程方式执行，和-m相似

数据同步--rsync 数据同步--rsync 1. 节点双向无密码连接 2. 安装 3. 准备存储空间 4. 使用rsync (1)工作模式1 本地模式 (2)工作模式2 远程模式 (3)工作模式3 服务器模式 数据同步–rsync 简介： rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。 优点： 支持断点续传 支持增量传输 在centos7环境部署rsync同步数据文件： 主机名 IP rsync1 172.16.0.61 rsync2 172.16.0.62 开始部署： 1. 节点双向无密码连接 [ root@rsync1 ~ ] # vim /etc/hosts 172.16.0.61 rsync1.up.com rsync1 172.16.0.62 rsync2.up.com rsync2 [ root@rsync1 ~ ] # scp /etc/hosts 172.16.0.62:/etc/ [ root@rsync1 ~ ] # ssh-keygen [ root@rsync1 ~ ] # ssh-copy-id -i .ssh/id_rsa.pub rsync2 [ root@rsync2 ~ ] # ssh-keygen [ root@rsync2 ~ ]

作为一个运维工程师，经常可能会面对几十台、几百台甚至上千台服务器，除了批量操作外，环境同步、数据同步也是必不可少的技能。 说到“同步”，不得不提的利器就是rsync。rsync不但可以在本机进行文件同步，也可以作为远程同步工具。 前面提到了 rsync+inotify实时同步方案部署 ，下面结合本人近几年运维工作中对这一工具使用的经验，简单在此梳理下： rsync同步命令中常用的几个参数说明： -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD -v, --verbose 详细模式输出 -p, --perms 保持文件权限 -g, --group 保持文件属组信息 -o, --owner 保持文件属主信息 -r, --recursive 对子目录以递归模式处理。同步目录的时候要加上这个参数 -l, --links 保留软链结，加上这个参数，同步过来的文件会保持之前的软链接属性不变 -H, --hard-links 保留硬链结 -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 -z, --compress 对备份的文件在传输时进行压缩处理 --stats 给出某些文件的传输状态 --progress 打印同步的过程 --timeout=TIME 同步过程中，IP超时时间，单位为秒 --delete

rsync 简介 rsync是可以实现增量备份的工具。配合任务计划，rsync能实现定时或间隔同步，配合inotify或sersync，可以实现触发式的实时同步。 rsync可以实现scp的远程拷贝(rsync不支持远程到远程的拷贝，但scp支持)、cp的本地拷贝、rm删除和"ls -l"显示文件列表等功能。但需要注意的是，rsync的最终目的或者说其原始目的是实现两端主机的文件同步，因此实现的scp/cp/rm等功能仅仅只是同步的辅助手段，且rsync实现这些功能的方式和这些命令是不一样的。事实上，rsync有一套自己的算法，其算法原理以及rsync对算法实现的机制可能比想象中要复杂一些。平时使用rsync实现简单的备份、同步等功能足以，没有多大必要去深究这些原理性的内容。但是想要看懂rsync命令的man文档、使用"-vvvv"分析rsync执行过程，以及实现rsync更强大更完整的功能，没有这些理论知识的支持是绝对不可能实现的。本篇文章将简单介绍rsync的使用方法和它常用的功能。 rsync的目的是实现本地主机和远程主机上的文件同步(包括本地推到远程，远程拉到本地两种同步方式)，也可以实现本地不同路径下文件的同步，但不能实现远程路径1到远程路径2之间的同步(scp可以实现)。 不考虑rsync的实现细节，就文件同步而言，涉及了源文件和目标文件的概念

1.备份的基础概念知识 　　1.什么是备份？ 　　　　备份就是把自己认为重要的文件复制一份存放起来 （给源文件增加一个 副本） 　　2.为什么要备份？ 　　　　数据比较重要 　　　　防止出现故障（软件故障 认为故障占比80%） 能保证快速恢复整个系统的运转 　　3.能不能不备份？ 　　　　可以 对于自己绝对不重要的文件 可以不备份 　　4.备份通常使用什么工具？ 　　　　本地备份 cp 　　　　远程备份 scp rsync 　　 2.什么是rsync 　　　　rsync简称远程同步 可以实现不同主机之间的同步 同时支持增量和全量的备份 　　　　　　不同主机 windows-->linux linux-->linux macos-->linux macos-->windows 3.rsync是如何实现的备份 　　　　全量：完全备份 效率低 　　　　增量：差异备份 效率高 4.rsync使用场景 　　　　rsync数据传输模式：push推 lull拉 　　　　　　推(上传)：客户端将需要备份的文件发送到服务器 　　　　　　拉(下载)：客户端从服务端下载需要的文件 　　　　rsync数据传输模式-->问题 　　　　　　推(下载)：如果机器过多 容易造成推送数据缓慢 　　　　　　拉(下载)：如果客户端过多 会造成服务端压力过大 　　　　比如：现在有20台计算机 怎么有效的缓解推送和拉取问题

遇到的问题是几台游戏服务器，有一台新的服务器之前已经copy( Linux的scp命令 )过文件上去，但在测试的过程中发现还是图片无法正常不显示出来，然后用httpwatch去分析请求的资源，发现有一个图片请求的地址是404（文件不存在），然后ssh登录上去，找到指定目录，发现确实是没有这个文件。。。 为了不至于再copy一次，就需要使用文件同步的管理软件了，同事推荐了linux下的rsync，小试了一下，还是很不错的。 假设有服务器A 和 服务器B，现在登录了服务器B，需要将服务器A上的文件同步到服务器B中，将A中有的B中没有的，或是A中文件比B中的文件要新就全部copy过来。 shell命令如下： rsync -zvrtopg -progress -e 'ssh -p 端口号' root@192.xx.xx.xx:/ 文件目录/ 本机的目录地址 语法rsync -参数 ‘源文件访问路径’目标路径 第一次用的时候，我在源服务器（即上面所指的服务器A）中的文件目录没有加/导致后来直接把那个目录copy过来了，而不是它目录下的所有文件 关于rsync 这个命令的一些参数，英文好点就自己直接使用rsync --help去查看了，这里从其它人写的博客中转载过来的。 参考了： rsync参数详解 rsync 使用说明 使用之前需要先安装rsync，这个直接自行搜索吧.. 关于参数的说明：

关于rsync 一款快速增量备份工具 Remote Sync，远程同步 支持本地复制，或者与其他SSH、rsync主机同步 官方网站： http://rsync.samba.org 配置rsync源服务器 配置rsync源服务器 指备份操作的远程服务器，也称为备份源 配置rsync源 配置rsync源 建立rsync.conf配置文件，独立的账号文件 启用rsync的--daemon模式 应用示例 用户backuper，允许下行同步 操作的目录为/var/www/html 配置文件rsyncd.conf 需手动建立，语法类似于Samba配置 认证配置auth users，secrets file，不加则为匿名 rsync账号文件 采用“用户名：密码”的记录格式，每行一个用户记录 独立的账号数据，不依赖于系统账号 启用rsync服务 通过--daemon独自提供服务 执行kill $(cat /var/run/rsync.pid)关闭rsync服务 使用rsync备份工具 rsync命令的用法 rsync [选项] 原始位置 目标位置 常用选项 -a：归档模式，递归并保留对象属性，等用于-rlptgoD -v：显示同步过程的详细信息 -z：在传输文件时进行压缩 -H：保留硬连接文件 -A：保留ACL属性信息 --delete：删除目标位置有而原始位置没有的文件 --checksum