场景应用

如何打造一个高逼格的云运维平台?

北城以北 提交于 2019-12-06 15:10:27
前言 大家做运维普遍经历这样的过程: 首先我们会把操作做一个标准化,这个阶段是运维质量的提升的阶段。 在标准化实施完以后,由于数目的增加,或者是一些运维场景的增多,我们会逐步的进行一些工具化和自动化,这个阶段我们的运维的效率得到提升。 但是众多的工具以及自动化脚本,会让我们的管理过程中比较困难,随着人员的变动或者是一些工具维护过程中的差错,我们的自动化运维工具的受众群体不太稳定。 这个时候我们就需要一个平台将我们的运维工具以及运维过程中的一些经验进行沉淀,借助这个平台实现我们的智能化运维,于是我们从运维人员的需求和体验出发出发进行了一个运维平台产品化的构建。 银行卡组织云运维平台的概况 我给大家介绍一下我们IT体系建设的情况,差不多十年前我们以ITIL为基础构建了流程平台,变更、事件、问题、服务等流程通过这个平台进行流转。 在五年前我们从开放平台转化为云运维平台,在这个过程中,我也建立了IaaS虚拟化资源平台,同时我们也跟业界一样构建了CMDB,用于同意管理运维数据。 但是在运转下来以后,我们发现还有很多需求需要实现,主要三个方面: 软硬件节点数目不断增加,日常运维迫切需要一个适应各种运维场景的高效自动化平台,减少重复劳动。 需求是将运维人员的经验需要在一个平台沉淀,形成一个智能化场景库,将运维服务或能力的复用,从而提高整体运维质量和运维效率。

如何打造一个高逼格的云运维平台?

|▌冷眼眸甩不掉的悲伤 提交于 2019-12-06 15:10:18
前言 大家做运维普遍经历这样的过程: 首先我们会把操作做一个标准化,这个阶段是运维质量的提升的阶段。 在标准化实施完以后,由于数目的增加,或者是一些运维场景的增多,我们会逐步的进行一些工具化和自动化,这个阶段我们的运维的效率得到提升。 但是众多的工具以及自动化脚本,会让我们的管理过程中比较困难,随着人员的变动或者是一些工具维护过程中的差错,我们的自动化运维工具的受众群体不太稳定。 这个时候我们就需要一个平台将我们的运维工具以及运维过程中的一些经验进行沉淀,借助这个平台实现我们的智能化运维,于是我们从运维人员的需求和体验出发出发进行了一个运维平台产品化的构建。 银行卡组织云运维平台的概况 我给大家介绍一下我们IT体系建设的情况,差不多十年前我们以ITIL为基础构建了流程平台,变更、事件、问题、服务等流程通过这个平台进行流转。 在五年前我们从开放平台转化为云运维平台,在这个过程中,我也建立了IaaS虚拟化资源平台,同时我们也跟业界一样构建了CMDB,用于同意管理运维数据。 但是在运转下来以后,我们发现还有很多需求需要实现,主要三个方面: 软硬件节点数目不断增加,日常运维迫切需要一个适应各种运维场景的高效自动化平台,减少重复劳动。 需求是将运维人员的经验需要在一个平台沉淀,形成一个智能化场景库,将运维服务或能力的复用,从而提高整体运维质量和运维效率。

Netty 介绍和应用场景(一)

别来无恙 提交于 2019-12-06 12:31:03
1.为什么选择Netty 上一篇文章我们已经了解了Socket通信(IO/NIO/AIO)编程,对于通信模型已经有了一个基本的认识。,果想把这些真正的用于实际工作中,那么还需要不断的完善、扩展和优化。比如经典的TCP读包写包问题,或者是数据接收的大小,实际的通信处理与应答的处理逻辑等等一些细节问题需要认真的去思考,而这些都需要大量的时间和经历,以及丰富的经验。所以想学好Socket通信不是件容易事,那么接下来就来学习一下新的技术Netty,为什么会选择Netty?因为它简单!使用Netty不必编写复杂的逻辑代码去实现通信,再也不需要去考虑性能问题,不需要考虑编码问题,半包读写等问题。强大的Netty已经帮我们实现好了,我们只需要使用即可。 Netty是最流行的NIO框架,它的健壮性、功能、性能、可定制性和可扩展性在同类框架都是首屈一指的。它已经得到成百上千的商业/商用项目验证,如Hadoop的RPC框架Avro、RocketMQ以及主流的分布式通信框架Dubbox等等。 2.Netty简介 Netty是基于Java NIO client-server的网络应用框架,使用Netty可以快速开发网络应用,例如服务器和客户端协议。Netty提供了一种新的方式来开发网络应用程序,这种新的方式使它很容易使用和具有很强的扩展性。Netty的内部实现是很复杂的

机器学习概述

一笑奈何 提交于 2019-12-06 10:55:47
一、人工智能概述 1.机器学习与人工智能、深度学习 之间的关系:机器学习是人工智能的一个实现途径, 深度学习是机器学习的一个方法发展而来 一些历史:1956年是人工智能元年。最初提出的概念是:用机器来模仿人类学习以及其他方面的智能。 二、机器学习、深度学习 目前:掌握一些机器学习算法等技巧,从某个业务领域切入解决问题。 目前常见的领域: ·图像领域的应用场景:街道交通标志检测、人脸识别等 ·挖掘、预测领域的应用场景:店铺销售预测、量化投资等 ·自然语言处理领域的应用场景:文本分析、情感分析、自动聊天、文本检测等 机器学习的定义:机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。 来源: https://www.cnblogs.com/181118ljh123/p/11979453.html

DevOps元数据管理

北慕城南 提交于 2019-12-06 07:51:46
元数据是自动化运维的基础,对元数据的管理和查询贯穿整个运维的生命周期。我们从一个元数据的使用场景开始: 双十一抢购火热进行中,某电商后端实例的日志中出现了502错误码,运维平台监测到该异常并发送告警给相关运维。 在这个过程中,运维元数据发挥了什么作用?回答这个问题前,我们先回顾下元数据是什么。 一、元数据的管理 运维系统中的元数据包括服务、机器及其关联关系。服务元数据有服务名称、所属节点、运维人员以及域名等;机器元数据包含序列号、内存等资产信息,IP、机房等网络信息、自定义标签信息以及运行实例等部署信息。这些数据由资源管理模块维护。 资源管理模块对业务以树的形态划分层级,形成服务树,从上到下依次为产品线、系统和应用三类节点。 每个层级都可以关联机器,且上层节点包含下层节点的机器。 通过添加节点的运维及研发角色,可以实现对服务和机器的权限控制。 这种层级结构将服务与服务,服务与机器关联起来,可以直观的表达服务和机器的归属关系,便于实现权限和配置的继承。 二、元数据的应用场景 智能监控 回到上面的问题,报警流程中,服务所在机器的监控客户端查询自己所属的应用,然后从配置管理模块拉取相应监控配置,实现对日志的监控;监控业务端收到监控数据后,查找该机器对应的节点信息,将报警发送给节点的运维等人员。 此外,在DevOps落地实践中,还存在多种其他应用场景 拓扑视图

DevOps元数据管理

回眸只為那壹抹淺笑 提交于 2019-12-06 07:51:07
元数据是自动化运维的基础,对元数据的管理和查询贯穿整个运维的生命周期。我们从一个元数据的使用场景开始: 双十一抢购火热进行中,某电商后端实例的日志中出现了502错误码,运维平台监测到该异常并发送告警给相关运维。 在这个过程中,运维元数据发挥了什么作用?回答这个问题前,我们先回顾下元数据是什么。 一、元数据的管理 运维系统中的元数据包括服务、机器及其关联关系。服务元数据有服务名称、所属节点、运维人员以及域名等;机器元数据包含序列号、内存等资产信息,IP、机房等网络信息、自定义标签信息以及运行实例等部署信息。这些数据由资源管理模块维护。 资源管理模块对业务以树的形态划分层级,形成服务树,从上到下依次为产品线、系统和应用三类节点。 每个层级都可以关联机器,且上层节点包含下层节点的机器。 通过添加节点的运维及研发角色,可以实现对服务和机器的权限控制。 这种层级结构将服务与服务,服务与机器关联起来,可以直观的表达服务和机器的归属关系,便于实现权限和配置的继承。 二、元数据的应用场景 智能监控 回到上面的问题,报警流程中,服务所在机器的监控客户端查询自己所属的应用,然后从配置管理模块拉取相应监控配置,实现对日志的监控;监控业务端收到监控数据后,查找该机器对应的节点信息,将报警发送给节点的运维等人员。 此外,在DevOps落地实践中,还存在多种其他应用场景 拓扑视图

Python使用场景和应用领域

若如初见. 提交于 2019-12-06 04:43:49
Python特点   1、Python使用C语言开发,但是Python不再有C语言中的指针等复杂的数据类型。   2、Python具有很强的面向对象特性,而且简化了面向对象的实现。它消除了保护类型、抽象类、接口等面向对象的元素。   3、Python代码块使用空格或制表符缩进的方式分隔代码。   4、Python仅有31个保留字,而且没有分号、begin、end等标记。   5、Python是强类型语言,变量创建后会对应一种数据类型,出现在统一表达式中的不同类型的变量需要做类型转换。 Python搭建开发环境   1、可以到www.python.org下载安装包,然后通过configure、make、makeinstall进行安装。   2、也可以到www.activestate.com去下载ActivePython组件包。(ActivePython是对Python核心和常用模块的二进制包装,它是ActiveState公司发布的Python开发环境。ActivePython使得Python的安装更加容易,并且可以应用在各种操作系统上。ActivePython包含了一些常用的Python扩展,以及Windows环境的编程接口)。对ActivePython来说,如果你是windows用户,下载msi包安装即可;如果你是Unix用户,下载tar.gz包直接解压即可。   3

关于区块链应用方向与前景的一些思考

允我心安 提交于 2019-12-06 03:21:10
关于区块链应用方向与前景的一些思考 https://www.cnblogs.com/zhang-qc/p/9664742.html # 转载请注明 监管与创新,技术与应用 ( 下面写的主要偏向金融行业区块链应用 ) 金融行业中所用的系统基本都是 中心化的 ,多年来这么运行都没什么问题,效率高,也比较可靠,数据的存储和使用权都在自己手中。 中心化主要带来的问题有两个: (1) 中心化的架构下跨系统跨平台的流程很难去优化 。因为跨系统其实就是跨信任域,首先不同系统的接口、格式和规范这些都不同,对接起来麻烦;其次执行信用认证、合约规定,还有监管需要的资源多,成本大; (2) 安全风险 ,针对于可靠性。中心化架构存在单点失效的可能,另外集中存储可能带来数据安全问题(丢失、泄露)。 国内现在区块链的主流(针对于大众企业来说)还是在多中心有中介的联盟链。应用主要包括两种模式: (1) 利用区块链技术建立多维度直接交互架构 ,就是将业务场景中的系统分布式化。现在有很多支持构建的底层平台,例如微众fisco,平安壹帐通,这些都是联盟链平台,大多是基于以太坊或fabric改的。那么可以在其上构建联通各方的应用。比如有 小微企业商贷:区块链中分阶段记录小微企业全流程的信贷信息,用户可以安全选择共享贷款信息。解决信息的不对称问题,提高小微企业贷款效率。(贷款不光只有用户,还有企业,贷款的种类也很多

ZooKeeper典型应用场景一览

隐身守侯 提交于 2019-12-06 03:03:55
原文链接: https://www.cnblogs.com/tommyli/p/3766189.html ZooKeeper 典型应用场景一览 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候会主动来获取一次配置,同时,在节点上注册一个Watcher,这样一来,以后每次配置有更新的时候,都会实时通知到订阅的客户端,从来达到获取最新配置信息的目的。 分布式搜索服务中,索引的元信息和服务器集群机器的节点状态存放在ZK的一些指定节点,供各个客户端订阅使用。 分布式日志收集系统。这个系统的核心工作是收集分布在不同机器的日志。收集器通常是按照应用来分配收集任务单元,因此需要在ZK上创建一个以应用名作为path的节点P,并将这个应用的所有机器ip,以子节点的形式注册到节点P上,这样一来就能够实现机器变动的时候,能够实时通知到收集器调整任务分配。 系统中有些信息需要动态获取,并且还会存在人工手动去修改这个信息的发问。通常是暴露出接口,例如JMX接口,来获取一些运行时的信息。引入ZK之后,就不用自己实现一套方案了

redis简介

心已入冬 提交于 2019-12-06 00:51:04
1.什么是redis   redis是用c语言开发的一个开源的高性能键值对(key-value)数据库,它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止redis支持的键值数据类型如下:   a.字符串类型   b.散列类型   c.列表类型   d.集合类型   e.有序集合类型 2.redis的应用场景   缓存(数据查询、短连接、新闻内存、商品内容等等)(最多使用)   聊天室的在线好友列表   任务队列(秒杀、抢购、12306等等)   应用排行榜   网站访问统计   数据过期处理(可以精确到毫秒)   分布式集群架构中的session分离 3.redis建议安装在Linux服务器上运行 来源: https://www.cnblogs.com/Life-is-Demo/p/11954243.html