ssh

用ssh登录一个机器（换过ip地址）会出现如下错误 weiguohui@weiguohui1-virtual-machine:~/.ssh$ ssh 172.16.33.53 The authenticity of host '172.16.33.53 (172.16.33.53)' can't be established. ECDSA key fingerprint is 28:17:f7:c3:58:54:fb:6e:dd:b9:61:61:c4:8a:45:0f. Are you sure you want to continue connecting (yes/no)? Host key verification failed. 导致我的secondenamenode 和datanode 无法启动，最后通过查资料解决，是解决的方法为： weiguohui@weiguohui1-virtual-machine:~/.ssh$ ssh -o StrictHostKeyChecking=no 172.16.33.53 然后再ssh 登录就不会报错了 来源： https://www.cnblogs.com/beigongfengchen/p/5464669.html

用ssh登录出现如下错误 [hadoop@Master .ssh]$ ssh localhost The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is 4d:ba:1c:b8:75:eb:6f:a2:60:56:b1:71:ee:cc:02:2c. Are you sure you want to continue connecting (yes/no)? Host key verification failed. [hadoop@Master .ssh]$ ssh localhost The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is 4d:ba:1c:b8:75:eb:6f:a2:60:56:b1:71:ee:cc:02:2c. Are you sure you want to continue connecting (yes/no)? Host key verification failed. 解决方式： [hadoop@Master .ssh]$ ssh -o StrictHostKeyChecking=no localhost

在远程管理linux系统基本上都要使用到ssh，原因很简单：telnet、FTP等传输方式是‍以明文传送用户认证信息，本质上是不安全的，存在被网络窃听的危险。SSH（Secure Shell）目前较可靠，是专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题，透过SSH可以对所有传输的数据进行加密，也能够防止DNS欺骗和IP欺骗。 ssh_config和sshd_config都是ssh服务器的配置文件，二者区别在于，前者是针对客户端的配置文件，后者则是针对服务端的配置文件。两个配置文件都允许你通过设置不同的选项来改变客户端程序的运行方式。下面列出来的是两个配置文件中最重要的一些关键词，每一行为“关键词&值”的形式，其中“关键词”是忽略大小写的。 ‍‍1、编辑 /etc/ssh/ssh_config 文件 # Site-wide defaults for various options Host * ForwardAgent no ForwardX11 no RhostsAuthentication no RhostsRSAAuthentication no ‍ RSAAuthentication yes PasswordAuthentication yes FallBackToRsh no UseRsh no BatchMode

Hadoop的安装与配置 几个知识点： HDFS：底层，存储 HBase ：NOSQL列数据库 Map Reduce：编程模型，用于并行计算 ZooKeeper：分布式应用程序协调服务 Avro：数据序列化系统，设计用于支持大批数据交换的应用 Pig：大数据分析工具 Hive：数据仓库，依赖传统关系型数据库（行存储） Sqoop：数据导入导出模式 **怕装坏了，可以先在虚拟机拍摄快照** Xftp连接虚拟机centos01,将Hadoop压缩包放入根目录下/opt/softwares， 用Xshell连接三台虚拟机 用SSH（Secure Shell） 2.1检查电脑是否安装SSH ssh -V 若没有就搜索教程安装一个 在Xshell中，查看—撰写—撰写栏-在下侧弹出的框中选择：发送文本到Xshell文本全部对话。 4. 配置ssh免秘钥登录 4.1生成密钥文件，并将秘钥加入到授权文件中。 1）创建,ssh将秘钥保存到此 在根目录下，#ls -a查看文件，因为ls会隐藏一部分文件 三台虚拟机一起：（执行完命令后打开每一个窗口看一下，防止出现其他问题） mkdir .ssh cd .ssh ls ssh-keygen -t rsa 生成秘钥文件 2）将公钥加入授权文件中，一个个来 cat ./id_rsa.pub >> ./authorized_keys 3）将centos02

一：下载github 二：安装GitHub 下载之后点击 进行安装过程，安装之后桌面上会有两个图标，如下图 三：新建项目 GitHub是图形界面模式，Git Shell是命令行模式，在Windows系统下我们使用GitHub进行代码管理。 1：打开GitHub图形界面，输入用户名密码或注册新账号，如下图： 2：登录之后新建项目 点击左上角 进行新建项目，如下图所示： 新建之后如下图所示： 在电脑上查找刚才所选择的路径，会发现在该路径下会新建一个“Temp”文件夹，如下图所示： 点击软件右上角 填写项目说明，如下图所示： 下一步点击右上角 展开之后点击 在浏览器中查看项目详情，如下图所示： 3：在计算机中Temp文件夹下添加一个空白文档”测试.doc“，如下图所示： 下一步打开GitHub程序，会发现界面有所改变，之后按照提示填写内容，然后点击 提交即可，如下图所示： 提交之后如下图所示，然后点击右上角 进行同步 同步完之后在浏览器中查看，这时项目的提交次数已经变成了”2“，如下图所示： 点击 可以查看先前的版本，如下图所示： 四：修改项目 在计算机中修改先前新建的空白文档”测试.doc“，如下图所示： 修改保存之后，在软件中再一次进行提交同步操作，如下图所示： 同步之后再浏览器中查看，提交次数已经变成了3次，之后可以分别下载第二次与第三次提交的文档，可以比较看出我们修改的内容。 五

一、线上Linux服务器基础优化 1、如何最小化安装系统 仅安装需要的，按需安装、不用不装，必须安装的有开发包、基本网络包、基本应用包。 2、ssh登录系统策略 vi /etc/ssh/sshd_config #SSH链接默认端口，修改默认22端口为1万以上端口号，避免被扫描和攻击。 Port 22221 #不使用DNS反查，可提高ssh连接速度 UseDNS no #关闭GSSAPI验证，可提高ssh连接速度 GSSAPIAuthentication no #禁止root账号登陆 PermitRootLogin no 3、selinux， iptables策略设置 [root@ACA8D5EF ~]# cat /etc/selinux/config Selinux的状态： enforcing 开启状态、permissive 提醒的状态 、disabled 关闭状态 命令行关闭：setenforce 0（临时生效） [root@ACA8D5EF ~]# iptables -L -n 4、更新yum源及必要软件安装 常用的几个yum源 epel源：https://fedoraproject.org/wiki/EPEL repoforge源：http://repoforge.org/use/ [root@ACA8D5EF ~]#yum update #更新系统所以软件和内核 5

原创 by zoe.zhang GitHub中采用的比较多得是markdown的语法，博客园里对markdown的支持感觉不是特别友好，但是为了应景，还是用了markdown来写这一篇文章。另外，题外话，后面有时间有精力希望学习去搭建一个个人的博客网站，漂亮，干净又有个性，感觉特别帅气。恩，跑题了，回来。 1.Git 和 GitHub的联系与区别 git是一款免费的开源的分布式版本控制软件，是由Linux的开发者开发的，git的官网是 git 下载 ; github是一个网络开源代码分享社区，人们可以互相分享和讨论彼此的开源项目，在github上是基于git进行软件版本托管的。 在软件开发中，我们总是会 不断改进或者修改代码 ，因此会衍生中各种不同的版本的代码，如果版本数量多，而管理不当，很容易造成管理的混乱。所以我们需要git来进行版本控制与管理。然后git主要可以对本地的项目进行管理，而在实际开发中，我们常常倾向于在本地和远程服务器各存放一份代码，同时需要一套机制使得 本地和远程同步 ，此时我们就有了github，通过将本地git仓库和远程仓库进行关联，实现本地和远程的代码版本控制。当然github的功能不仅仅止于此，github上最重要的一个精神就是 开源、分享和共同进步 ，github作为远程仓库只是它的一部分功能，更重要的是可以接触和学习到很多厉害人的源码。 2

测试环境 Windows 7 Ultimate, 64-bit 6.1.7601, Service Pack 1（实体机，虚拟机VMware的宿主机） VMware® Workstation 7.1.4 build-385536 Fedora 16 x86_64（Git服务器，是上学时候安装的虚拟机，已经整整8年了，老了唉） Windows 10 v1511 x64（实体机，测试外网连接git服务器） 测试软件 Git（自行编译/下载） Apache（自行编译/下载） gitweb（自行编译/下载） HTTP浅析 　　　有兴趣的同学可以去研究下《HTTP权威指南》，这本书不算薄（手动滑稽）。 　　　其实不单是HTTP协议，所有网络协议都可以被概括为 　　　“为了传送指定的数据，网络中发送数据的一端要和接受数据的一端约定一个相同的数据格式，这个数据格式就是所谓的协议”。 　　　从广义上来讲，所有人都可以制定协议，只是市面上大家一起用的就那么几个而已，所以HTTP也同样没那么神秘。 　　” 超文本传输​​协议（HTTP） 是用于传输 诸如 HTML的超媒体文档的 应用层 协议。它被设计用于Web浏览器和Web服务器之间的通信，但它也可以用于其他目的。 HTTP遵循经典的 客户端-服务端模型 ，客户端打开一个连接以发出请求，然后等待它收到服务器端响应。 HTTP是 无状态协议

1.适用场景 　　需要读取(写)多台远程机器下的一个或多个文件，如果要通过 os.system('scp ......')来完成就必须配置免密登陆，比较麻烦 2.准备工作， 　　安装依赖 　　pip install ssh2, 　　如未安装pip可以通过网页下载ssh2.zip文件然后通过动态加载 import os import imp os.system('unzip ssh2.zip') imp.load_package('ssh2','./ssh2') 3.具体操作方式， 　　 import socket from odps import ODPS from ssh2.session import Session from datetime import date, timedelta, datetime from ssh2.sftp import LIBSSH2_FXF_READ, LIBSSH2_SFTP_S_IRUSR sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect((host, 22)) session = Session() session.handshake(sock) session.userauth_password(user, pwd) sftp = session

window环境下pycharm使用git 我在网上get到了一些资源和一些有趣的帖子,接下来我会在以前的帖子的基础上进行进一步的跟进. 下载安装git安装包: 推荐下载安装地址:https://www.jianshu.com/p/e9b37c0a3c4d,选择你需要的windows版本下载安装 下载好以后安装教程看这里:https://www.cnblogs.com/wj-1314/p/7993819.html pycharm配置git and github 1、ctrl+alt+S 打开pycharm设置项，选择Version Control 配置git 红框里面选择你安装git的路径. 配置 github ,按照顺序点击添加账户,输入你的gitjub账户名和密码,点击登录,确定最后配置完毕. 最后一定要看,这里有坑。 我安装好以后直接上传项目报错，由于我这里已经弄好了，没有截图。所以直接说过程吧。搜索引擎一搜发现还需要添加SSH密钥在GitHub上面，下面是步骤。 1、打开Git Bash 输入ssh-keygen -t rsa -C “your_git_hub_email” 如下图所示就成功了,这个过程中他会提示让你输入文件的名字还有密码.输入过后我去C:\Users\xxhaa.ssh发现没有这个文件夹,当然,也没有这个文件了然后开始某度入坑.一番