scp

一，ssh上传文件 scp file username@hostIP:文件地址 例: [FuJw@DBSEC ~]$ scp test.sql FuJw@192.168.1.5:/var/www/FuJw FuJw@192.168.1.5's password: test.sql 100% 8888 8.8KB/s 00:00 [FuJw@DBSEC ~]$ 二，ssh下载文件 scp username@hostIP:文件所在地址 文件目录 例: [FuJw@DBSEC ~]$ scp FuJw@192.168.1.5:/var/www/FuJw/test.sql /home/FuJw/database_bak/ FuJw@192.168.1.5's password: test.sql 100% 8888 8.8KB/s 00:00 [FuJw@DBSEC ~]$ 来源： CSDN 作者： 夜未眠风已息 链接： https://blog.csdn.net/fjw044586/article/details/103457514

使用情景描述： 有多台服务器A、B、C，每台服务器的程序每小时都生成大量的日志文件，日志处理程序部署在服务器A，服务器B和C生成的日志需要拷贝到远程服务器A上处理。那么B和C生成的日志文件如何以小时为单位拷贝到远程服务器上呢？ 常用方法有ftp和scp，这里主要叙述scp(secure copy)的使用。 scp的使用 scp的命令格式如下: scp local_file remote_username@remote_ip:remote_folder 使用scp命令，每次使用都需要手动输入远程主机用户remote_username的密码。但根据使用情景是要以shell脚本的方式来进行拷贝的crontab定时任务。如何使用shell脚本自动输入远程主机密码来执行scp命令?下面记录两种方式： 一.用expect 实现scp无密码拷贝 设置SSH，SCP不用输入密码 本地主机拷贝文件到远程主机 二.SSH建立密钥通道 1.在本地主机生成密钥对 ssh-keygen -t rsa 这个命令生成一个密钥对：id_rsa（私钥文件）和id_rsa.pub（公钥文件）。默认被保存在~/.ssh/目录下 2.将公钥添加到远程主机的 authorized_keys 文件中 将文件上传到远程主机中 scp ~/.ssh/id_rsa.pub root@192.168.1.23:/root/

Hadoop的运行模式 Hadoop一般有三种运行模式，分别是： 单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。 伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。 完全分布式集群模式（Full Distributed Mode），Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。 这里介绍的就是如何搭建一个Hadoop完全分布式集群。 安装环境介绍 准备了四个服务器，IP为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239，其中192.168.0.236作为主节点，其他3个作为从节点。具体版本信息如下： CentOS 7.4 JDK 8 Hadoop 2.10.0 准备安装环境 设置主机名 在各个服务器上修改对应的主机名： #在192.168.0.236上执行： hostnamectl set-hostname onemore-hadoop-master #在192.168.0.237上执行： hostnamectl set-hostname onemore-hadoop-slave1

Hadoop的运行模式 Hadoop一般有三种运行模式，分别是： 单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。 伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。 完全分布式集群模式（Full Distributed Mode），Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。 这里介绍的就是如何搭建一个Hadoop完全分布式集群。 欢迎关注微信公众号： 万猫学社 ，每周一分享Java技术干货。 安装环境介绍 准备了四个服务器，IP为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239，其中192.168.0.236作为主节点，其他3个作为从节点。具体版本信息如下： CentOS 7.4 JDK 8 Hadoop 2.10.0 欢迎关注微信公众号： 万猫学社 ，每周一分享Java技术干货。 准备安装环境 设置主机名 在各个服务器上修改对应的主机名： #在192.168.0.236上执行： hostnamectl set-hostname onemore-hadoop-master

scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录. scp命令的用处： scp在网络上不同的主机之间复制文件，它使用ssh安全协议传输数据，具有和ssh一样的验证机制，从而安全的远程拷贝文件。 scp命令基本格式： scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file][-l limit] [-o ssh_option] [-P port] [-S program][[user@]host1:]file1 [...][user@]host2:]file2 scp命令的参数说明: [-1246BCpqrv] -1 强制scp命令使用协议ssh1 -2 强制scp命令使用协议ssh2 -4 强制scp命令只使用IPv4寻址 -6 强制scp命令只使用IPv6寻址 -B 使用批处理模式（传输过程中不询问传输口令或短语） -C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能） -p 保留原文件的修改时间，访问时间和访问权限。 -q 不显示传输进度条。 -r 递归复制整个目录。 -v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。 [