rsync

centos7下部署rsync+innotify实现数据同步

由 ≯℡__Kan透↙ 提交于 2019-12-16 09:51:19
转自: https://blog.51cto.com/12244079/2336264?source=dra 一、文档目的 随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足。 首先，rsync在同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的，并且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。 其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。 基于以上两种情况，可以使用rsync+inotify的组合来解决，可以实现数据的实时同步 二、环境准备 2.1 操作系统 两台虚拟机，系统均为centos7 源服务器：10.5.96.41 作为rsync的客户端，部署rsync+inotify 目标服务器：10.5.96.13 作为rsync的服务端，只安装rsync即可 2.2关闭防火墙和selinux 关闭防火墙 # systemctl stop firewalld # systemctl disable firewalld 关闭selinux # sed -i '/^SELINUX=

rsync远程同步(实例!!!)

由 时光毁灭记忆、已成空白 提交于 2019-12-16 06:26:26
rsync 同步概述： Remote Sync ----- 远程同步，支持本地复制，或者与其他SSH 、rsync主机同步，功能类似于scp，但是要比scp丰富。 官方网站：http://rsync.samba.org rsync 同步特点： 1、可以镜像保存整个目录树和文件系统。 2、可以很容易做到保持原来文件的权限、时间、软硬链接等等，无须特殊权限即可安装。 3、快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。 4、安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。 5、支持匿名传输，以方便进行网站镜像。 实例演示 第一步:配置rsync源服务器 rsync 是系统内核自带的，rpm - q rsync查看包 ,无需额外安装.如果是最小化安装的话，使用 yum安装一下即可 1.修改rsyncd.conf配置文件 [root@server ~]# vim /etc/rsyncd.conf #7、8、9行， uid = nobody gid = nobody use chroot = yes #11行， pid file = /var/run/rsyncd.pid #16行， dont compress = *.gz *.tgz *.zip

rsync远程同步

由 随声附和 提交于 2019-12-15 03:51:37
一、rsync同步简介 （1）Remote Sync ----- 远程同步，支持本地复制，或者与其他SSH 、rsync主机同步，功能类似于scp，但是要比scp丰富。 官方网站：http : //rsync.samba.org （2）特点： 1、可以镜像保存整个目录树和文件系统。 2、可以很容易做到保持原来文件的权限、时间、软硬链接等等，无须特殊权限即可安装。 3、快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。 4、安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。 支持匿名传输，以方便进行网站镜像。 二、rsync 命令的用法 命令： rsync [选项] 原始位置 目标位置 常用选项： -a ： 归档模式，递归并保留对象属性，等同于 -rlptgoD -v ： 显示同步过程的详细信息 -z ： 在传输文件时进行压缩 -H ： 保留硬链接文件 -A ： 保留 ACL属性信息 --delete ：删除目标位置有，而原始位置没有的文件 --checksum ：根据对象的校验和来决定是否跳过文件 配置源的两种表示方法： 格式1 ：用户名@主机地址::共享模块名 格式2: ：rsync://用户名@主机地址/共享模块名 rsync

Linux文件传输

由 扶醉桌前 提交于 2019-12-14 16:02:17
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1、Rsync rsync，remote synchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。 1.1 安装配置Rsync 查看系统是否安装：rsync rsync -version，没有则yum install rsync 2、配置/etc/rsyncd.conf [datamining_service] path=/data1/monitor/rsync_service_data/datamining_service uid = root gid = root read only = no #list = yes hosts allow = * 3、启动rsync：/usr/bin/rsync --daemon --config=/etc/rsyncd.conf 4、本地上传文件：rsync -azR README.md 10.30.64.41::datamining_service/ 5、本地下载服务器文件：rsync -azR 10.30.64.41::datamining_service/deploy_master.sh shell_from_server.sh 1.2 Rsync命令解释 详细可参考 https:/

两台服务器互相自动备份

由 安稳与你 提交于 2019-12-14 03:52:20
将数据同步到其它服务器这里使用Linux同步文件工具rsync来进行文件的同步 rsync rsync是类unix系统下的数据镜像备份工具——remote sync。一款快速增量备份工具 Remote Sync，远程同步 支持本地复制，或者与其他SSH、rsync主机同步 用法 rsync src dest 这是最简单的用法，表示同步src,dest文件。（即，执行之后，dest的文件与src的相同，以src的为准) 常用选项 -a: 等价于-rlptgoD,归档式 -r: 递归 -l: 复制软件链接 -p: 保留权限信息 -t: 将src的修改时间，同步到dest -g: 同步组信息(group) -o: 同步拥有者信息(own) -D: 保持字符与块设备文件 -z: 启用压缩传输 –delete：如果src没有此文件，那么dest也不能有，即在dest删除src里没有的文件。（如果你使用这个选项，就必须搭配-r选项一起） 例如： 将本地/bak/mysqlbak/文件同步到 远程服务器 /bak/mysql/bak 目录下面 排除 mysqlbak/index目录 通过ssh端口 rsync -vzacu /bak/mysqlbak/ root@192.168.53.86:/bak/mysqlbak --exclude “mysqlbak/index” -e “ssh -p

How to write a image from the live url into local system using rsync

由 故事扮演 提交于 2019-12-13 20:22:38
问题 I want to save a image or load a image which is on this example image link into my computer using rsync command into the terminal. Can anybody tell me how to save the image using terminal command? Path is:- /home/iron/go/src/ 回答1: Here I'm adding my answer to load a image from server to the local system or you can say remote machine to local machine Here is the little code package main import ( "fmt" "io" "log" "net/http" "os" ) func main() { url := "https://www.bookingkoala.com/wp-content

【集群实战】共享存储实时备份（解决nfs共享存储的单点问题）

由 断了今生、忘了曾经 提交于 2019-12-13 16:10:59
1. nfs存储的单点问题 如果nfs服务器宕机了，则所有的nfs客户机都会受到影响。一旦宕机，会丢失部分用户的数据。为了解决单点问题，需要实现共享存储的实时备份，即：将nfs服务端共享目录下的数据实时备份到备份服务器（或其它存储设备），以保证数据的完整性。 2. NFS共享数据的实时同步推送备份 公司有两台web服务器一直在对外提供服务，但随着业务的发展用户越来越多，网站的功能也越来越强大，各种图片，视频等占用硬盘空间越来越大。 于是，领导将web服务器的数据直接存储到NFS服务器上作为存储使用；并且为了防止NFS服务器发生单点故障，领导希望将web服务器存储的内容实时同步到Rsync备份服务器上。现在由你来计划完成领导的需求。 具体要求如下： NFS服务器的要求如下： 服务器的共享目录名为/data目录； 权限要求只能内网网段访问且可读可写，时时同步； 为了方便管理人员管理，需要指定NFS虚拟账户为zuma，uid=888，gid=888 所有访问者的身份都压缩为最低身份 将/data目录里的内容同步时时推送到备份服务器的/data目录里（inotify+rsync） web服务器将NFS共享目录统一挂载到/var/html/www目录下 思路： 1. NFS存储服务器和Rsync备份服务器，Rsync服务器部署运行rsync --daemon服务

security issue with CreateProcess API

由 a 夏天 提交于 2019-12-13 14:26:23
问题 Objective : I am trying to send some files from my client to server. I am using "rsync" for transferring the data. I am using CreateProcess APi and passing the rsync path along with the parameters. Positive Case : When i send data from local drives like "C:" is where my windows is installed the above method works properly and transfers data. Problem : When i try to send data of a mapped drive (shared network drive) . The CreateProcess completes but the error which i get is rsync cannot find

sersync+rsync代码增量同步部署

由 戏子无情 提交于 2019-12-13 08:05:37
参考：https://blog.csdn.net/benma12345/article/details/83754428 https://blog.csdn.net/z13615480737/article/details/80985157 https://blog.csdn.net/sj349781478/article/details/79612138 https://www.cnblogs.com/gdou123czh/p/5713283.html 环境及目标： 系统： centos7 服务器： 目标服务器web2（rsync）： 172.19.14.248 源服务器web1（sersync）： 172.19.14.249 目标：需要将 web1 172.19.14.249 上的 /var/www/app_m/web 目录（包括子目录）实时同步到 web2 172.19.14.248 的/var/www/app_m/web 下 架构： rsync+sersync rsync 为数据同步工具，sersync为目录监听工具，可监听到目录的增删改操作，两个工具同步可以实现实时增量同步目录。 安装步骤 （一）目标服务器（rsync）：172.19.14.248 1、安装rsync yum -y install rsync 2、创建rsyncd.conf配置文件 # vi /etc

Using rsync in expect script with find -ctime give me an error?

由 拥有回忆 提交于 2019-12-13 05:28:19
问题 I need some help with an expect script and rsync. When I run rsync in command line like this it works fine: rsync -avz root@10.33.122.22:'$(find /cluster/storage/nobackup/coremw/var/log/saflog/FaultManagementLog/alarm/ -ctime -1)' /home/imstest/shared/Generate/ReportingT3/tmp/ But when I use my expect script that looks like this I get an error: #!/usr/bin/expect -f set host_ip [lindex $argv 0 ] set user [lindex $argv 1 ] set password [lindex $argv 2] set scp_remote_directory [lindex $argv 3 ]
订阅 rsync