ecs

函数计算进行自动化运维专题

☆樱花仙子☆ 提交于 2019-12-06 08:51:03
前言 通常来说,自动化运维有两种类型的运维方式: 定时的脚本任务, 比如定时更换云服务的 acess key secret , 定时检查 ecs 对外暴露的端口等 报警事件的紧急处理, 比如 ecs 实例发生异常重启 在传统的运维中,对于定时任务的处理通常用crontab脚本来实现,但是一旦管理的机器多了,必定会对脚本进行集中管理,这个时候对集中管理脚本的机器的可用性、脚本里面会散落密码明文等相关信息以及定时任务执行的记录都是一个很大的挑战;而对于事件驱动的报警处理,要么是通过短信报警告知运维人员,要么需要自建服务来处理报警信息, 无论是哪种方式,财务成本和运维成本都很大。本文探讨一种新的运维方式,利用函数计算做自动化运维,以极低的成本就可以获得一个高可靠,高质量的运维服务。 函数计算 阿里云 函数计算 是一个事件驱动的serverless计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,具体表现为: 无需采购和管理服务器等基础设施 按需付费,比如对运维管控这类低频调用的系统,财务成本通常能节约90%以上 专注业务逻辑的开发,能极大提高开发效率,比如 十分钟上线弹性高可用的图片处理服务 稳定高可用,毫秒级别弹性伸缩,快速实现底层扩容以应对峰值压力 提供日志查询、性能监控、报警等功能快速排查故障

函数计算进行自动化运维专题

℡╲_俬逩灬. 提交于 2019-12-06 08:50:30
前言 通常来说,自动化运维有两种类型的运维方式: 定时的脚本任务, 比如定时更换云服务的 acess key secret , 定时检查 ecs 对外暴露的端口等 报警事件的紧急处理, 比如 ecs 实例发生异常重启 在传统的运维中,对于定时任务的处理通常用crontab脚本来实现,但是一旦管理的机器多了,必定会对脚本进行集中管理,这个时候对集中管理脚本的机器的可用性、脚本里面会散落密码明文等相关信息以及定时任务执行的记录都是一个很大的挑战;而对于事件驱动的报警处理,要么是通过短信报警告知运维人员,要么需要自建服务来处理报警信息, 无论是哪种方式,财务成本和运维成本都很大。本文探讨一种新的运维方式,利用函数计算做自动化运维,以极低的成本就可以获得一个高可靠,高质量的运维服务。 函数计算 阿里云 函数计算 是一个事件驱动的serverless计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,具体表现为: 无需采购和管理服务器等基础设施 按需付费,比如对运维管控这类低频调用的系统,财务成本通常能节约90%以上 专注业务逻辑的开发,能极大提高开发效率,比如 十分钟上线弹性高可用的图片处理服务 稳定高可用,毫秒级别弹性伸缩,快速实现底层扩容以应对峰值压力 提供日志查询、性能监控、报警等功能快速排查故障

阿里云ECS服务器CentOS6.5vnc连接时报错Failed to connect to socket /tmp/dbus-xxxxxxx: Connection refused

蹲街弑〆低调 提交于 2019-12-06 07:56:54
问题: 通过tightvnc远程连接阿里云服务器CentOS6.5,一直都可以正常连接,突然开始报错: Failed to connect to socket /tmp/dbus-xxxxxxx: Connection refused 注意: 以下命令都是以root执行的(不好意思,这不是好的做法),如果以其他用户执行某命令遇到没有管理员权限问题,可以给该用户设置sudo权限,同时该命令前加sudo (sudo加一个空格) 排查: 搜了一堆文章,改来改去,这种情况依然存在,包括但不限于: 卸载重装所有图形界面模块 卸载重装dbus 重启messagebus 重启haldaemon 重启vncserver 由于修改太多太混乱,一度导致ECS服务器网卡异常,彻底断网,无法从公网连接,也无法连接公网,ping公网ip和内网ip全都失败,只能在网页控制台登录,此时登录后直接是Gnome图形界面。 无奈只好提交工单请阿里工程师处理,工程师快速处理之后,网的问题解决了,十分感激,但是控制台登录时,已经不再是图形界面,而是只有文字界面,dbus的问题还是存在 vim ~/.vnc/<机器名>:1.log 里面有关的报错行类似如下: (拷贝自 https://superuser.com/questions/259943/vnc-error-could-not-connect-to-session

NAT网关之SNAT进阶使用(一)SNAT POOL

流过昼夜 提交于 2019-12-06 05:40:23
摘要: NAT网关是云上VPC ECS访问Internet的出入口。SNAT可实现指定的VPC ECS使用指定的公网IP访问互联网。阿里云NAT网关控制台创建SNAT条目时,默认是为指定的交换机配置1个公网IP地址。 (一)前言 为什么使用SNAT POOL NAT网关是云上VPC ECS访问Internet的出入口。SNAT可实现指定的VPC ECS使用指定的公网IP访问互联网。阿里云NAT网关控制台创建SNAT条目时,默认是为指定的交换机配置1个公网IP地址。但SNAT的连接数受限于单一公网IP端口数量,当访问量急速增大时,单一公网IP作为VPC ECS访问互联网的出口会显得有些力不从心。对于这种场景,则可以考虑使用NAT网关的SNAT POOL功能。 什么是SNAT POOL功能 创建SNAT条目时,可将多个公网IP加入到一个地址池。当VPC ECS主动发起对外的访问连接时,VPC ECS会随机通过SNAT地址池中的公网IP地址访问互联网。 如何使用SNAT POOL功能 调用阿里云NAT网关API接口: CreateSnatEntry 。下图给出了CreatSnatEntry的请求参数。 说明:本文将使用阿里云提供的工具OpenAPI_Explorer做使用示例。 (二)准备工作 创建VPC,规划子网,按需购买VPC ECS。 创建NAT网关。

阿里云ECS无法通过SSL远程链接问题。

血红的双手。 提交于 2019-12-05 09:19:14
自己配置的SSL,通过密码,公司的是通过密钥,结果也是一样, 环境:centos7.x 网络: 家里宽带 公司网络 省图书馆wifi 家里宽带,公司网络均可以链接上去, 但唯独省图书馆wifi链接失败; FAQ售后。 按照售后反馈,安全组是放行了22端口的,我方这边云盾基础防护有一个扫描拦截的功能,会将疑似扫描攻击行为的ip临时屏蔽 ping通,telnelt端口不通,加白名单,测试,然后还是链接不上, 最后杀招: https://help.aliyun.com/knowledge_detail/40572.html?spm=5176.11065259.1996646101.searchclickresult.c82d5299KHDxd5&aly_as=cEI-_IhA 接口测试,没有测试,直接看推测结果 反馈要么是运营商问题,要么是网络问题,阿里不接锅?? 结论省图书馆网络不支持... 回头设置一下密钥看看。如果还是这样那么可以说明密钥,跟密码,这两者可靠性在这点上是没有差别的 来源: https://www.cnblogs.com/liuruoqian/p/11918770.html

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

限于喜欢 提交于 2019-12-05 08:44:43
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper ) 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建 阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装 的基础上搭建。 1 环境介绍 一台阿里云ECS服务器:master 操作系统: CentOS 7.3 Hadoop: hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz HBase: hbase-1.2.6-bin.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz Hive: apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J: mysql-connector-java-5.1.47.tar.gz Sqoop: sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2 Sqoop 下载 下载 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

笑着哭i 提交于 2019-12-05 08:43:42
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 的基础上搭建。 1 环境介绍 一台阿里云ECS服务器:master 操作系统: CentOS 7.3 Hadoop: hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Pig: pig-0.17.0.tar.gz 2 Pig 下载 下载 pig-0.17.0.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local 将解压得到的目录改名为 hbase 1 cd /usr/local 2 mv pig-0.17.0/ pig/ 3 添加 Pig 环境变量 在"/etc/profile"中添加内容: 1 export PIG_HOME=/usr/local/pig 2 export PATH=$PATH:$PIG_HOME/bin 重新加载环境: source /etc/profile 4 启动 Pig 4.1 验证是否安装成功 pig -help 4.2 本地模式执行 若操作的是 Linux 系统下的文件,则运行下面的命令。 pig -x local 4.3 MapReduce 模式执行(Pig 默认模式) 需要确保已启动 HDFS 和 YARN, 再运行下面的命令。 pig 5 安装完成 来源: https:/

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

好久不见. 提交于 2019-12-05 08:43:38
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 的基础上搭建。 本地模式需要采用MySQL数据库存储数据。 1 环境介绍 一台阿里云ECS服务器:master 操作系统: CentOS 7.3 Hadoop: hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz Hive: apache-hive-2.3.6-bin.tar.gz Mysql: Mysql 5.7 MySQL Connector-J: mysql-connector-java-5.1.47.tar.gz 2 安装 Mysql CentOS参照: Linux下安装mysql完整教程 Ubuntu参照: Ubuntu安装MySQL 3 Hive 下载 下载 apache-hive-2.3.6-bin.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local 将解压得到的目录改名为 hive 1 cd /usr/local 2 mv apache-hive-2.3.6-bin/ hive/ 4 添加 Hive 环境变量 在"/etc/profile"中添加内容: 1 export HIVE_HOME=/usr/local/hive 2 export PATH=$PATH:$HIVE_HOME/bin

阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

本秂侑毒 提交于 2019-12-05 08:43:31
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 的基础上搭建,多添加了一个 datanode 节点 。 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统: CentOS 7.3 Hadoop: hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz 1.2 各节点角色分配 master: NameNode、SecondaryNameNode、QuorumPeerMain slave1: DataNode、QuorumPeerMain slave2: DataNode、QuorumPeerMain 2 ZooKeeper 下载 下载 zookeeper-3.4.14.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local/ 将解压得到的目录改名为 zookeeper 。 cd /usr/local mv zookeeper-3.4.14 zookeeper 3 添加 ZooKeeper 环境变量 在"/etc/profile"中添加内容: 1 export ZOOKEEPER_HOME=/usr/local

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

徘徊边缘 提交于 2019-12-05 08:43:23
本篇将在 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建 的基础上搭建,多添加了一个 datanode 节点 。 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统: CentOS 7.3 Hadoop: hadoop-2.7.3.tar.gz Java: jdk-8u77-linux-x64.tar.gz HBase: hbase-1.2.6-bin.tar.gz ZooKeeper: zookeeper-3.4.14.tar.gz 1.2 各节点角色分配 master: NameNode、SecondaryNameNode、HMaster、QuorumPeerMain slave1: DataNode、HMaster(候补节点)、HRegionServer、QuorumPeerMain slave2: DataNode、HRegionServer、QuorumPeerMain 2 HBase 下载 下载 hbase-1.2.6-bin.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为: /usr/local 将解压得到的目录改名为 hbase 1 cd /usr/local 2 mv hbase-1.2.6/ hbase/ 3 添加 HBase 环境变量 在"