rsync

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages 目录 Hadoop完全分布式运行模式 步骤分析: 编写集群分发脚本xsync 集群配置 集群部署规划 配置集群 集群单点启动 SSH无密登陆配置 登录状态的环境变量 群起集群 集群启动/停止方式总结 集群时间同步 其他注意事项 Hadoop完全分布式运行模式 步骤分析: 准备3台客户机（关闭防火墙、静态ip、主机名称） vim /etc/sysconfig/network 三台机器各自的配置分别为HOSTNAME=hadoop101;HOSTNAME=hadoop102;HOSTNAME=hadoop103 vim /etc/hosts 三台机器都加入下面的映射关系 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 由于在 上一章节 已经配置好环境并测试了hadoop伪分布式开发模式,所以在此不再赘述. 编写集群分发脚本xsync scp(secure copy) 安全拷贝(全量复制) scp定义 scp可以实现服务器与服务器之间的数据拷贝.（from server1 to server2）

准备两台服务器：192.168.50.11 (windows，做为服务端)，192.168.50.14（Centos7，做为客户端） 1、在windows（192.168.50.11）上安装cwRsyncServer，下载地址： https://www.backupassist.com/rsync/ Service account：winrsync 安装步骤：Type password：RsyncUser123@ （密码必须复杂，要不不会创建系统用户，也不会抛错） 在安装目录下编辑配置文件rsyncd.conf 内容如下 uid = 0 gid = 0 use chroot = false strict modes = false hosts allow = * log file = rsyncd.log # Module definitions # Remember cygwin naming conventions : c:\work becomes /cygwin/c/work # [test] path = /cygdrive/c/work read only = false transfer logging = yes [rsyncfile] path = /cygdrive/c/rsyncfile/ auth users = winrsync secrets file

迁移虚拟机到AWS上有很多方式，比如很多第三方的备份软件都有类似的功能，把本地的虚拟机备份成AMI 镜像文件，然后通过AMI来创建EC2 实例。AWS本身也提供了2种常见的方式。 第一个方式是AWS的命令行方式。简单的说有4个步骤： 把虚拟机的磁盘文件，比如vhd，vmdk上传到S3的bucket里面 通过AWS CLI的命令 ec2 import-image 导入生成一个AMI镜像， 生成AMI的这个过程可能会花很多个小时，我们可以通过ec2 describe-import-image-tasks的命令查看进度 最后我们可以通过 ec2 run-instance的命令来通过AMI创建EC2 实例。 他可以import，自然也可以export，不过很大的限制是只能export出root volume，其他volume的信息只能额外通过rsync 或者 robocopy进行拷贝。 第二个方式是通过AWS的 Server Migration service 实现。简单的说是5个步骤：(以Hyper-V为例） 下载对应的SMS connector的虚拟机文件，生成一个虚拟机 下载PowerShell的脚本到Hyper-V的主机，验证合法之后，执行脚本，他会打开对应的端口和服务 登陆到SMS Connector 虚拟机的web控制台界面，根据提示进行注册，连接Hyper-V的主机和AWS

1.mkdir 创建目录 * 主要选项：-p 递归创建目录 主要案列：mkdir /jingfeng mkdir -p /jingfeng/jf mkdir -p /jingfeng/jf{1,2} #创建多个目录 2.cd 切换路径 * 主要案例：cd 或 cd ~ #切换至家目录 cd - #在上一个目录和当前目录来回切换 cd ~jingfeng #切换至某用户的家目录 cd .. #切换至上一级目录 3.ls 查看目录或文件信息 * 主要选项：-l 列出目录或者文件的详细信息。比如权限、修改时间等等 -a 列出当前目录下所有文件，包括隐藏文件（已点开头的都是隐藏文件） -A 列出除.和..之外的所有文件 -h 已人类能查看的方式，列出文件的大小 -d 只列出目录的详细信息 -F 给不同文件结尾加不同标识 -p 给目录结尾加斜线 -t 按修改时间排序 -r 反转排序 -i 查看 inode 节点 --time-style=long-iso 格式化属性时间 -R 递归 主要案例：1、ls -l #列出目录或者文件的详细信息 -rw-r--r-- 1 root root 1 Aug 5 21:24 jingfeng.txt 2、ls -la #列出当前目录下所有文件，包括隐藏文件 -rw------- 1 root root 18029 Aug 11 22:05 .bash

本文为大家分享了linux服务器之间传输文件的四种方式，供大家参考，具体内容如下 1. scp 【优点】简单方便，安全可靠；支持限速参数 【缺点】不支持排除目录 【用法】 scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证 。 命令格式：scp [参数] <源地址（用户名@IP地址或主机名）>:<文件路径> <目的地址（用户名 @IP 地址或主机名）>:<文件路径> 举例： scp /home/work/source.txt work@192.168.0.10:/home/work/ #把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下 scp work@192.168.0.10:/home/work/source.txt /home/work/ #把192.168.0.10机器上的source.txt文件拷贝到本地的/home/work目录下 scp work@192.168.0.10:/home/work/source.txt work@192.168.0.11:/home/work/ #把192.168.0.10机器上的source.txt文件拷贝到192.168.0.11机器的/home/work目录下 scp -r /home/work

服务器上用了crontab和rsync做了文件同步与异地备份，常年累月的日志会比较多。为了方便查找，而且看起来更直观，写了个脚本，每个月都会打包一下日志文件。 这个脚本需要用crontab每个月都跑一下。 直接上源码： #!/bin/bash lastMonth=`date -d "last month" +%Y-%m` //获取上个月的月份 e.g. 2020-07 cd /var/log/rsync //进入工作目录 这样打包起来的压缩包不会有很多层级 tar -uvf ${lastMonth}.tar.gz ${lastMonth}-*.log --remove-files cd webservicemonitor tar -uvf ${lastMonth}.tar.gz ${lastMonth}-* --remove-files tar的选项为什么是 uvf 而不是 czvf ？ 因为考虑到我可能会有临时需要备份日志的时候，如果使用czvf备份，压缩包就无法追加进去新的内容。使用uvf就可以追加。但是uvf只是用新文件替换旧文件，如果存在需要拼接的内容需要你自己手动处理。 另外date的命令其实很强大，可以做很多事情，没事闲的不要自己瞎搞代码去处理跟时间有关的问题。 比如我前几个月用的脚本代码如下： #提取当前月份 temp=`date +%m` year=`date +

自动化部署主要是为了解决项目多、环境多、持续集成慢、部署操作麻烦、手动操作易出错、自动化运维等问题。 Jenkins 是开源 CI&CD 软件领导者， 提供超过 1000 个插件来支持构建、部署、自动化， 满足任何项目的需要。 目标 l 支持多分支、多环境、多项目、多套配置文件、多编程语言 l 支持一键构建、集群发布 l 支持一键回滚历史版本 l 快捷配置添加新的部署项目 l 支持多个项目使用同一个 job 发布或回滚 另外：也可以根据需要加入 gitlab 自动触发构建、自动化测试、钉钉通知、邮箱通知等需求 本实践使用到的技术，可参考： 《[CI&CD]jenkins自动化工具使用教程》 技术关键词： jenkins master-slave ， jenkins 插件（ multijob 、 EnvInject ）， rsync 工具， powershell ， dotnet core cli ， icacls 工具等等 拷贝文件权限解决方案：方案一：使用 icacls 工具赋权。 方案二：指定 jenkins服务 的运行账户 目录 最终效果图 ... 1 目录设计 ... 2 约定及规范 ... 3 架构设计 ... 4 # 、CICD 架构图 ... 4 # 、项目映射配置文件设计 ... 5 # 、一键发布job 设计 ... 6 # 、一键回滚job 设计 ... 8 #

#!/bin/ bash # 1 获取输入参数个数，如果没有参数，直接退出 pcount = $# if ((pcount== 0 )); then echo no args; exit; fi # 2 获取文件名称 p1 =$ 1 fname = `basename $p1` echo fname = $fname # 3 获取上级目录的绝对路径 pdir =`cd - P $(dirname $p1); pwd` echo pdir = $pdir # 4 获取当前用户名称 user = `whoami` # 5 循环 for ((host= 101 ; host< 103 ; host++)); do echo ------------------- $host -------------- rsync -av $pdir/ $fname $user@hadoop$host:$pdir done 来源： oschina 链接： https://my.oschina.net/u/4267218/blog/4303060

http://www.cnblogs.com/weafer/archive/2011/06/10/2077852.html OpenSSH是SSH连接工具的免费版本。telnet，rlogin和ftp用户可能还没意识到他们在互联网上传输的密码是未加密的，但SSH是加密的，OpenSSH加密所有通信（包括密码），有效消除了窃听，连接劫持和其它***。此外，OpenSSH提供了安全隧道功能和多种身份验证方法，支持SSH协议的所有版本。 SSH是一个非常伟大的工具，如果你要在互联网上远程连接到服务器，那么SSH无疑是最佳的候选。下面是通过网络投票选出的25个最佳SSH命令，你必须牢记于心。 （注：有些内容较长的命令，在本文中会显示为截断的状态。如果你需要阅读完整的命令，可以把整行复制到您的记事本当中阅读。） 1、复制SSH密钥到目标主机，开启无密码SSH登录 ssh-copy-id user@host 如果还没有密钥，请使用ssh-keygen命令生成。 2、从某主机的80端口开启到本地主机2001端口的隧道 ssh -N -L2001:localhost:80 somemachine 现在你可以直接在浏览器中输入http://localhost:2001访问这个网站。 3、将你的麦克风输出到远程计算机的扬声器 dd if=/dev/dsp | ssh -c arcfour -C

1. 本地终端与服务器互传数据（都在本地终端操作） 1.1 从本地终端上传数据到服务器： scp -P 具体端口号 -r 本地终端数据路径 用户名@服务器地址:服务器数据保存路径 其中，-P表示指定端口号（注意P为大写），-r表示递归传输，下同。 1.2 从服务器下载数据到本地： scp -P 具体端口号 -r 用户名@服务器地址:服务器数据保存路径 本地终端数据路径 其实上面并不是本文的重点，本文重点是如何不覆盖传输，即针对已存在的数据，直接跳过。 2. 不覆盖传输 rsync -avzu -e 'ssh -p 具体端口号' --progress 本地服务器数据地址用户名@服务器地址:远端服务器数据地址 -avzu中的u选项，指定不覆盖原目录内容； –progress可以查看拷贝的过程； ‘ssh -p 具体端口号’，指定端口号； 2.1 可能存在的问题 2.1.1 针对机器中不存在rsync指令的问题，可执行以下命令： apt-get install rsync -y 2.1.2 传送跟接收两台服务器都必须有rsync指令，如果存在以下错误： bash: rsync: command not found rsync: connection unexpectedly closed (0 bytes received so far) [sender] rsync error: