devops

Azure Monitor(一)Application Insights

允我心安 提交于 2020-10-05 00:37:19
一,引言   Azure Monitor 是 Azure 中的一项完整堆栈监视服务,是一种收集和分析遥测数据的服务。它提供了一组完整的功能来监视 Azure 资源以及其他云中和本地的资源。Azure Monitor 该服务有助于实现云应用程序以及本地资源和应用程序的最大性能和可用性。 它显示了应用程序的执行方式,并可识别应用程序存在的任何问题。 Azure Monitor 会收集两种基本类型的数据 - 指标和日志。 指标表明资源的执行方式,以及使用的其他资源。 日志包含显示资源创建/修改时间的记录。 Azure Monitor 从一系列组件中自动收集数据。 例如:   1,应用程序数据:与自定义应用程序代码相关的数据。   2,操作系统数据:来自托管应用程序的 Windows 或 Linux 虚拟机的数据。   3,Azure 资源数据:与 Azure 资源(如 Web 应用或负载均衡器)的操作相关的数据。   4,Azure 订阅数据:与订阅相关的数据。 它包括有关 Azure 运行状况和可用性的数据。   5,Azure 租户数据:有关 Azure 组织级别服务的数据,例如 Azure Active Directory。 由于 Azure Monitor 是自动系统,因此在创建 Azure 资源(如虚拟机和 Web 应用)后,它会立即从这些源中收集数据。 可通过以下方式扩展

consul集群部署-01

你说的曾经没有我的故事 提交于 2020-10-04 04:12:02
#####参考文章( https://blog.51cto.com/412166174/1975822 ) consul介绍 Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性: 服务发现 Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应用程序可用很容易的找到他所依赖的服务. 健康检查 Consul客户端可用提供任意数量的健康检查,指定一个服务(比如:webserver是否返回了200 OK 状态码)或者使用本地节点(比如:内存使用是否大于90%). 这个信息可由operator用来监视集群的健康.被服务发现组件用来避免将流量发送到不健康的主机. Key/Value存储 应用程序可用根据自己的需要使用Consul的层级的Key/Value存储.比如动态配置,功能标记,协调,领袖选举等等,简单的HTTP API让他更易于使用. 多数据中心 Consul支持开箱即用的多数据中心.这意味着用户不需要担心需要建立额外的抽象层让业务扩展到多个区域. Consul面向DevOps和应用开发者友好.是他适合现代的弹性的基础设施. 基础架构 Consul是一个分布式高可用的系统. 这节将包含一些基础

你可能不知道的六个Kubernetes事实

久未见 提交于 2020-10-04 02:02:26
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 【编者的话】6月7日是Kubernetes的6岁生日。 编排平台是容器化应用程序的最好朋友,让我们来看一下编排平台你可能不知道的6个事实。 Kubernetes于6月7日庆祝其第六个生日:Kubernetes是有史以来发展最快的开源项目之一,它正在推动企业IT领域的重大变革,帮助开发人员管理大规模容器。 在更快地开发应用程序并以自动化方式管理资源方面,kubernetes更显价值。 这不仅在DevOps和敏捷环境中很重要,在任何要求加快软件开发和更多实验速度的企业IT环境中也同样重要。任何CIO或IT领导都会告诉你,CEO现在最大的愿望就是对客户需求和外部变化做出更快的响应。最近,Kubernetes更是风靡全球。 Kubernetes增长势头如何? 根据CNCF 2019年的Cloud Native调查,有78%的受访者在生产中使用Kubernetes,高于去年的58%。 在IT企业中促使人们对Kubernetes感兴趣的根本原因可能是容器化应用程序的数量开始增加。 根据2020年Red Hat企业开源报告,有56%的企业表示将在未来12个月内增加对容器化应用程序的使用。 Gartner预测,到2023年,超过70%的全球组织将在生产环境中运行两个以上的容器化应用程序

CRD实现自动化容器安全方法

喜你入骨 提交于 2020-10-04 02:00:57
长久以来,安全一直是困扰着许多DevOps团队(包括我自己供职的加拿大保险和金融服务合作社)的症结所在。尽管在各种工具的帮助下,我们的CI/CD管道的绝大部分都已经实现了自动化,而且基于容器的自动化应用部署也是我们的常态,但是在安全方面的自动化程度仍然比较落后。与大多数DevOps团队一样,我们实施了自动化的漏洞扫描,但是在手动构建安全策略,以保护生产环境中的应用程序、及其工作负载方面仍存在着一定的问题。 可喜的是,如今Kubernetes的自定义资源类型(custom resource definitions,CRDs),却能够使我们的团队通过自己的管道,尽早地将应用程序的安全策略声明融入代码,并将此类安全策略自动化地部署到生产环境中。 目前,我们通过CRD引入了各种全局安全策略。这些策略预定义了应用程序的允许行为,并在多个Kubernetes集群之间实施了不同的防护措施。通过使用CRD来自动化且集中化地管理安全策略即代码(security policy as code),我们既可以加强与简化策略的执行,又能够以高效、容错且安全的方式部署和更新各种应用程序。 下面,我们将分享本企业是如何实现应用安全策略的自动化: CRD的优势 为了利用容器工具所提供的各项优势,我们的团队使用了NeuVector CRD,并在NeuVector容器安全平台内定义了各种安全策略。 首先通过CRD

为什么有SRE可靠性工程师,云原生时代的SRE

爷,独闯天下 提交于 2020-10-03 07:08:15
为什么要进行站点可靠性工程 在技术世界中,风险从未像现在这样高。迁移到云和微服务以最大程度地提高灵活性已被数字破坏者和前所未有的竞争威胁所取代。随着分布式系统变得越来越复杂,“未知未知数”的规模不断增加。最重要的是,客户的期望很高。 停机造成的损失是灾难性的,如果客户不能及时满足他们的需求,他们就会大跌眼镜。根据Gartner的数据,平均停机时间为每小时300,000美元。对于某些公司来说,这个数字要高得多。例如,亚马逊在2018年Prime Day停运期间损失了大约9000万美元,并且停运仅持续了75分钟。 组织需要优先考虑可靠性,以便在不损害客户体验的强大基础之上尽快进行创新。随着越来越多的企业转向具有高可靠性要求的分布式系统,这将变得更加关键。那就是站点可靠性工程(SRE)出现的地方。 SRE功能正在快速增长(职位列表同比增长30-70%),但是市场上没有足够的熟练人才来弥补。换句话说,重要的是要了解如何不仅可以雇用SRE,还可以发展现有组织以采用卓越生产所需的实践和思维方式。由于要租用的SRE短缺,您该怎么做才能确保服务的可靠性?要回答这个问题,您需要对SRE是什么有更深入的了解。 什么是SRE? SRE是Google于2003年首次提出的一种做法,旨在创建足够可靠的系统和服务以满足客户的期望。从那以后,许多大型组织(如LinkedIn和Netflix

我终于搞懂了微服务,太不容易了...

我是研究僧i 提交于 2020-10-02 13:43:28
微服务是什么?抛去教条性质的解释,从巨石应用到微服务应用,耦合度是其中最大的变化。 图片来自 Pexels 或是将多个模块中重复的部分进行拆分,或是纯粹为了拆分膨胀的单体应用,这些拆分出来的部分独立成一个服务单独部署与维护,便是微服务了。 拆分后自然而然会催生出一些必要的需求: 从本地方法调用的关系衍变成远程过程调用的关系,那么可靠的通信功能是首要的。 随着拆分工作的推进,资源调度关系会变得错综复杂,这时候需要完善的服务治理。 调用关系网的整体复杂化还会给我们带来更大的风险,即链式反应导致服务雪崩的可能性,所以如何保障服务稳定性也是微服务架构中需要考虑的。 这点就不是内需而算是自我演进了,服务化后,如果能结合容器化、Devops 技术实现服务运维一体化,将大大降低微服务维护的成本,不管是现在还是将来。 微服务是什么样的 从目前常见网站架构的宏观角度看,微服务处在中间的层次。红框圈出的部分都属于微服务的范畴。 包括最基础的 RPC 框架、注册中心、配置中心,以及更广义角度的监控追踪、治理中心、调度中心等。 从微服务自身角度来看,则大致会包含以下这些模块: 服务注册与发现 RPC 远程调用 路由与负载均衡 服务监控 服务治理 服务化的前提 是不是只要套上微服务框架就算是一个微服务了呢?虽然这样有了微服务的表,但却没有微服务的实质,即“微”。 微服务化的前提是服务拆分到足够”微“

学了这么久,你知道Python机器学习全流程是怎样的么?

こ雲淡風輕ζ 提交于 2020-10-02 11:23:27
万事开头难,首先Python机器学习整个流程的第一步就是学习Python这门编程语言的相关基础知识。 第一步:基本 Python 技能 如果要使用 Python 进行机器学习,拥有对 Python 有基础的理解非常关键。幸运的是,Python 是当前普遍使用的流行语言,并纳入了科学计算和机器学习的内容,所以找到入门教程并不困难。在选择起点时,很大程度上要取决于你之前的 Python 经验和编程经验。 这里推荐几本python入门必读书籍: 别再说你不知道怎么学习Python了,13本书给你安排的明明白白! 对于想要速成课程的人,这里有 全网最全Python学习路线图+14张思维导图,让你不走弯路! 第二步:机器学习基础技能 KDnuggets 的 Zachary Lipton 指出,人们对数据的认识千差万别,这实际上是对机器学习领域的反映。数据科学家在不同程度上使用计算学习算法。要建立和使用支持向量机模型,熟知核函数方法是否是必需的?答案当然不是。就像现实生活中的许多事情一样,所需要的理论深入程度与具体的实际应用有关。获取对机器学习算法的深入理解不是本文的讨论范围, 而且这通常需要在学术领域投入大量时间,或者至少要通过密集的自学才能达到。 好消息是,你不必拥有博士级别的机器学习理论能力才能进行实践,就如同不是所有程序员都必须接受计算机理论教育才能写好代码。 关于机器学习基础技能

我在广州面试的那些事

两盒软妹~` 提交于 2020-10-02 10:02:05
背景   这次的疫情让原本看似有序的但是浮躁的社会彻底打乱了,不少劳动者在多年稳定的节奏也随之而变,而我在于其中放慢了步调,从5月份放弃了一份工作同时拒绝了两份offer后回家休息加造人。休息期间接了些技术顾问的工作,看了几本书增加自己的知识量,写了几篇博客做了些之前工作的总结,也打了王者荣耀尝试冲荣耀王者。   那么从2019年12月开始至今,我在广州面试了不少公司,基本都是应聘系统架构师和部门负责人的岗位,中间有不少的故事,有体验极好的也有体验极差的,我都将在下文分享给大家,体验极差的我就不直接点名了。 PS:此文非引战,如有评论,请理性沟通 壹物壹码   先说一个体验及其好的,这也是我遇到为数不多非常尊重人的,黄埔区区的安居宝科技园里的 壹物壹码公司,从面试官的交谈得知公司做的范围比较的广,主要以前期接项目后期看潜力转产品的这样的一个模式,业务比较稳定,以上市为目标,主要在BOSS直聘发布招聘消息。   我当时是投了高级软件工程师的,但是薪资范围挺高的所以我当时心里觉得没那么简单,HR联系我的时候说CEO想直接面我,我人在老家因此邀请了做一个视频面试,面试官也爽快的答应了。一面是产品总监面,说实话很给面子,完全不问我技术,他说看了我的博客、开源项目和简历,理念跟他的很像很会从软件工程的角度给团队提高生产力,所以不担心我的技术。另外,他们这次想招的是技术总监或者系统架构师

 Linux云计算面试常见问题三

巧了我就是萌 提交于 2020-10-02 04:02:12
 Linux云计算面试常见问题三,今天将在前两篇的基础上,继续为大家带来Linux云计算面试题。  ** 1、虚拟化平台在实施云时有何要求? **    虚拟化平台在实施云时的要求包括:   a)管理服务级别策略   b)云操作系统   c)虚拟化平台有助于让后端级别概念和用户级别概念彼此不同。  ** 2、在使用云计算平台前,用户需要考虑哪些必要的方面? **    a)合规   b)数据丢失   c)数据存储   d)业务连续性   e)正常运行时间   f)云计算的数据完整性 **  3、可否列举几个开源云计算平台数据库?**   开源云计算平台数据库有:   a)MongoDB   b)CouchDB   c)LucidDB **  4、落实了哪些安全法规来保护云端数据的安全?**   为保护云端数据安全而落实的安全法规包括:   a)处理:控制在应用程序中正确、完整处理的数据。   b)文件:它管理和控制任何文件中处理的数据。   c)输出调和:它控制输入和输出之间需要调和的数据。   d)输入验证:控制输入数据。   e)安全和备份:它提供安全和备份,还控制安全泄密日志。 **  5、可否列举几个大型云提供商的数据库名称?**   a)Googlebigtable   b)AmazonsimpleDB   c)基于云的SQL **  6