rsync

Rsync服务常见问题汇总

邮差的信 提交于 2020-01-25 05:28:08
Rsync服务常见问题汇总讲解: rsync服务端开启的iptables防火墙/selinux没关 【客户端的错误】 No route to host 【错误演示过程】 [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup rsync: failed to connect to 172.16.1.41: No route to host (113) rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6] 【异常问题解决】 关闭rsync服务端的防火墙服务(iptables) [root@backup mnt]# /etc/init.d/iptables stop iptables: Setting chains to policy ACCEPT: filter [ OK ] iptables: Flushing firewall rules: [ OK ] iptables: Unloading modules: [ OK ] [root@backup mnt]# /etc/init.d/iptables status iptables: Firewall is not running.

RSYNC

て烟熏妆下的殇ゞ 提交于 2020-01-24 22:28:00
博主本人平和谦逊,热爱学习,读者阅读过程中发现错误的地方,请帮忙指出,感激不尽 Rsync简介 Rsync英文全称Remote synchronization, 一个 rsync相当于scp,cp,rm,但是还优于他们每一个命令。 在同步备份数据时,默认情况下, Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。 传统的 cp,scp工具拷贝每次均为完整的拷贝,而rsync除了可以完整拷贝外,还具备增量拷贝的功能,因此,从同步数据的性能及效率上,Rsync工具更胜一筹 特性: 支持拷贝特殊文件如链接文件,设备等 可以有排除( tar?find?)指定文件或目录同步的功能,相当于打包命令tar的排除功能 可以做到保持原文件或目录的权限,时间,软硬链接,属主,组等属性均不改变 -p 可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高( tar-N) 可以使用 rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密) 可以通过 socket(进程方式)传输文件和数据(服务端和客户端) 支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像

Child_process handling a STDOUT stream with carriage return (\r)

送分小仙女□ 提交于 2020-01-24 15:12:28
问题 I'm writing a simple(ish) application that allows an internal system at work to request a copy process (using rsync) from a remote server to another remote server instigated using a REST call. I'm already familiar enough with the express framework, and have just started experimenting with the child_process library, and stumbled upon a small problem. I am successfully starting rsync processes using node's childProcess.spawn() , my issue is that rsync outputs its progress line-buffered with a

centos7搭建rsync

我怕爱的太早我们不能终老 提交于 2020-01-23 21:06:14
所需环境 两台机器,一台服务端,一台客户端 服务器安装配置 安装rsync 检查是否安装,若无则安装rpm -qa rsyncyum -y install rsync vim /etc/rsyncd.conf 修改以下内容: uid = rsync gid = rsync use chroot = no max connections = 4 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ignore errors //忽略错误 read only = false list = false hosts allow = 192.168.1.11/24 //允许的地址 hosts deny = 0.0.0.0/32 //拒绝的地址 auth users = rsync_backup // 推拉文件时的虚拟用户 secrets file = /etc/rsync.password //密码文件 [backup] //模块名,可以写多个 comment = “backup dir by oldboy” path = /backup //存放文件的目录(共享目录) 权限配置 mkdir -p backup useradd

rsync文件断点续传测试

ぐ巨炮叔叔 提交于 2020-01-23 09:41:39
实验一: 一个文件大小为1.2G,发送端传输中途手动中断 接收端已收到95M 此时,MD5值不同 实验二: 发送端rsync继续传输文件直至1.2G文件传输完成 接收端已完整接收文件1.2G MD5值相同 实验三: 原文件ceshi.tar.gz不变,新增文件ceshi后传输,只传输新增文件 实验四: 传输端删除文件ceshi后,rsync命令执行后,接收端文件不被删除 来源: 51CTO 作者: 晓阿赫赫 链接: https://blog.51cto.com/xiaoahehe/2468305

实时同步sersync

旧时模样 提交于 2020-01-22 08:13:47
实时同步sersync实战 什么是实时同步 实时同步是一种只要当前目录发生变化则会触发一个事件,事件触发后会将变化的目录同步至远程服务器。 sersync和rsync+inotify对比 提到数据同步就必然会谈到 rsync ,一般简单的服务器数据传输会使用 ftp/sftp 等方式,但是这样的方式效率不高,不支持差异化增量同步也不支持实时传输。针对数据实时同步需求大多数人会选择 rsync+inotify-tools 的解决方案,但是这样的方案也存在一些缺陷(文章中会具体指出), sersync 是国人基于前两者开发的工具,不仅保留了优点同时还强化了实时监控,文件过滤,简化配置等功能,帮助用户提高运行效率,节省时间和网络资源。 项目地址 sersync项目实战 1)环境准备 角色 外网IP(NAT) 内网IP(LAN) 安装工具 web01 eth0:10.0.0.7 eth1:172.16.1.7 部署代码(提交作业) nfs-server eth0:10.0.0.31 eth1:172.16.1.31 rsync+inotify+sersync backup eth0:10.0.0.41 eth1:172.16.1.41 rsync-server 1.实时同步哪台服务器的目录,那么就在哪台服务器上安装 sersync 2.只要安装 sersync 就必须安装 rsync 和

Rsync how to include directories but not files?

自闭症网瘾萝莉.ら 提交于 2020-01-22 02:07:50
问题 I have a directory structure and files like this data/ data/a.txt data/folder/ data/folder/b.txt data/folder/folder/ data/folder/folder/c.txt ... a.txt , b.txt , and c.txt are large files that are computer-generated and renewed frequently. They should NOT be backuped -- but I want to backup the directory structure : data/ data/folder/ data/folder/folder/ How can I do this with rsync and --exclude-from, without specifying every folder, but something like rsync -a data/* --exclude-from=exclude

rsync+inotify实时同步

*爱你&永不变心* 提交于 2020-01-21 13:06:55
一、rsync基本操作 rsync常用选项: -n : 测试同步过程,不做实际修改 –delete :删除目标文件夹内多余的文档 -a :归档模式,相当于-rlptgoD -v :显示详细操作信息 -z :传输过程中启用压缩/解压 用法: rsync [选项…] 本地目录1 本地目录2 rsync [选项…] 本地目录1/ 本地目录2/ rsync -a /shell /test //将目录1作为目录2的子目录 rsync -a /shell/ /test/ //将目录1下的内容同步到目录2下 rsync -a --delete /shell/ /test/ 将目录1下的内容同步到目录2下,并删除目录2下多余的文件 二、rsync+ssh同步 用法: rsync [选项…] user@host:远程目录/ 本地目录/ //将远程目录下的内容同步到本地目录下 rsync [选项…] 本地目录/ user@host:远程目录/ //将本地目录下的内容同步到远程目录下 rsync -a root@192.168.84.130:/root/shell/ /test/ //将远程目录下的内容同步到本地目录下 rsync -a test/ root@192.168.84.130:/root/shell/ //将本地目录下的内容同步到远程目录下 三、inotifywait工具 用法:

NFS+inotify实时同步

為{幸葍}努か 提交于 2020-01-20 07:09:05
Inotify简介 Inotify是一种文件系统事件通告机制,能够实时监控文件系统下文件的访问、修改、删除等各种变化情况并将其作为事件通告给用户态应用程序。Linux内核从2.6.13版本后已经集成了Inotify的功能,用户只需安装inotify应用程序即可实现对文件系统的监控。 配置Rsync服务端 rpm -qa | grep rsync vim /etc/rsyncd.conf uid = rsync #客户端进行数据传输时所使用的用户 gid = rsync #客户端进行数据传输时所使用的用户组 user chroot = no #安全相关 max connections = 200 #最大连接数 timeout = 300 #超时时间,客户端连接后300s不传输自动断开 pid file = /var/run/rsyncd.pid #进程号文件 lock file = /var/run/rsync.lock #锁文件 log file = /var/log/rsyncd.log #日志文件 ignore errors #忽略错误 read only = false #可写 list = false #客户端不能ls等进行列表 hosts allow = 172.16.1.0/24 #允许连接的主机 #hosts deny = 0.0.0.0/32 #拒绝的主机 auth

Linux(10):期中架构(2)--- NFS存储服务 & 实时同步

孤街浪徒 提交于 2020-01-20 06:45:41
1. 共享存储服务概念: # NFS是Network File System的缩写,中文意思是网络文件系统, # 它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录。 2. NFS共享存储服务的应用: # 将数据存储到一台服务器上,实现数据统一一致,共享访问 # NFS存储服务器中主要存储哪些信息:用户上传的图片 音频 视频 附件等信息 # NFS服务是分为服务端和客户端 # 存储服务器:NFS服务端 网站web服务器:NFS客户端 # 实现共享存储好处: 01. 实现数据统一一致 02. 节省网站磁盘资源 03. 节省网站访问带宽 3. NFS共享存储服务的原理: ①. nfs服务端创建共享存储目录 ②. nfs客户端创建远程挂载点目录 ③. nfs客户端进行远程挂载 ④. 实现客户端数据信息统一一致 4. NFS服务重要概念说明: 4.1 NFS共享文件系统RPC服务介绍 4.2 NFS共享文件系统RPC服务由来: # NFS服务启动进程和端口过程,需要由rpc服务统一管理 5. NFS服务部署实践过程 5.1 NFS服务端部署流程: # 第一步:检查服务软件是否安装 [root@nfs01 ~]# rpm -qa|egrep "nfs-utils|rpcbind" # 检查 nfs 和 rpc 服务是否已经安装 # 第二步:进行软件服务安装