场景应用

服务端高并发分布式架构演进之路

孤人 提交于 2019-12-01 11:41:13
https://segmentfault.com/a/1190000018626163#articleHeader18 1. 概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍: 分布式 系统中的多个模块在不同服务器上部署,即可称为分布式系统,如Tomcat和数据库分别部署在不同的服务器上,或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时,其他节点能够接替它继续提供服务,则可认为系统具有高可用性 集群 一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务,这个整体称为集群。如Zookeeper中的Master和Slave分别部署在多台服务器上,共同组成一个整体提供集中配置服务。在常见的集群中,客户端往往能够连接任意一个节点获得服务,并且当集群中一个节点掉线时,其他节点往往能够自动的接替它继续提供服务,这时候说明集群具有高可用性 负载均衡 请求发送到系统时,通过某些方式把请求均匀分发到多个节点上,使系统中每个节点能够均匀的处理请求负载,则可认为系统是负载均衡的 正向代理和反向代理

模型训练竞品收集-华为

旧街凉风 提交于 2019-12-01 08:33:25
华为Model Arts 一、产品介绍 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 二、应用场景 ModelArts是一个一站式的开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、部署等操作,并且提供AI市场功能,能够在市场内与其他开发者分享模型、API和数据集。 ModelArts支持应用到图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。 面向不同经验的AI开发者,提供便捷易用的使用流程: 1.面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用; 2.面向AI初学者,不需关注模型开发,使用预置算法构建AI应用; 3.面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用。 三、产品特色 1.数据治理 支持数据筛选、标注等数据处理,提供数据集版本管理,特别是深度学习的大数据集,让训练结果可重现。 ModelArts数据处理框架包含数据采集、数据筛选、数据标注、数据集版本管理功能,支持自动化和半自动化的数据筛选功能,自动化的数据预标注及辅助自动化标注工具。 2.极“快”致“简”模型训练

对Serverless的研究

坚强是说给别人听的谎言 提交于 2019-12-01 07:58:07
1. 引言 Serverless 是一种 “无服务器架构”,让用户无需关心程序运行环境、资源及数量,只要将精力 Focus 到业务逻辑上的技术。 现在公司已经实现 DevOps 化,正在向 Serverless 迈进,而为什么前端要关注 Serverless? 对业务前端同学: 会改变前后端接口定义规范。 一定会改变前后端联调方式,让前端参与服务器逻辑开发,甚至 Node Java 混部。 大大降低 Nodejs 服务器维护门槛,只要会写 JS 代码就可以维护 Node 服务,而无需学习 DevOps 相关知识。 对一个自由开发者: 未来服务器部署更弹性,更省钱。 部署速度更快,更不易出错。 前端框架总是带入后端思维,而 Serverless 则是把前端思维带入了后端运维。 前端开发者其实是最早享受到 “Serverless” 好处的群体。他们不需要拥有自己的服务,甚至不需要自己的浏览器,就可以让自己的 JS 代码均匀、负载均衡的运行在每一个用户的电脑中。 而每个用户的浏览器,就像现在最时髦,最成熟的 Serverless 集群,从远程加载 JS 代码开始冷启动,甚至在冷启动上也是卓越领先的:利用 JIT 加速让代码实现毫秒级别的冷启动。不仅如此,浏览器还是实现了 BAAS 服务的完美环境,我们可以调用任何函数获取用户的 Cookie、环境信息、本地数据库服务

WCF技术的不同应用场景及其实现分析

谁都会走 提交于 2019-12-01 06:29:05
历史背景: WCF,全称是Windows Communication Founcation,它作为微软新一代的通讯技术,首先正式出现在.NET Framework 3.0中,伴随着Windows Vista的发布而名噪一时。在此之前,曾经作为Winfx的一部分为人所知,其代号为indigo。 外语屋 作为Foundation(基础模块),WCF是定位在微软.NET平台上实现统一的消息服务通讯机制。它很好地吸收了之前的多种分布式开发技术的优点,并且提供了统一的编程和访问的模型,逐渐成为SOA解决方案中的主流技术,受到了广泛的关注和使用。 核心要素: 从技术层面理解WCF,可以分为三个要素(俗称WCF的ABC) 1. A ddress(where):地址,是指访问服务的URI(可以是一个http地址,也可以是tcp的地址) 2. B inding(how):绑定,是指通讯所使用的协议,例如http,net.tcp,msmq等等 3. C ontract(what):合约,是指通讯的规范,例如服务的合约,数据的合约等等。 从系统层面理解WCF,可以分为四个要素 1.Contract:合约,定义一套合约,通常是WCF开发的起点。这也是唯一需要在宿主和客户端之间共享的信息,通常是一些接口(interface)定义。 2.Service:服务,基于合约实现的一个具体服务。通常是一些类型

Android 4.2蓝牙介绍

眉间皱痕 提交于 2019-12-01 03:59:40
Tieto公司某蓝牙大牛写得《程序员》投稿文章 Android 4.2 蓝牙介绍 蓝牙一词源于公元十世纪丹麦国王 HaraldBlatand 名字中的 Blatand 。 Blatand 的英文之意就是 Blue tooth 。这是因为这位让丹麦人引以为傲的国王酷爱吃蓝莓以至于牙龈都被染成蓝色。由于 Blatand 统一了丹麦和挪威,所以,作为无线通信技术的一种,蓝牙技术之所以取名 Bluetooth 可谓志向远大。不过,在以 Android 为代表的智能机出现以前,蓝牙在早期智能机甚至功能机中一直扮演着 “ 鸡肋 ” 的角色。那么,随着无线通信技术的快速发展以及 Android 的普及,蓝牙能给我们带来哪些新的变化呢? 本文将从蓝牙核心规范的发展历史、最具应用前景的几个蓝牙 Profile 以及 Android 4.2 中蓝牙实现情况等几个方面向读者介绍蓝牙技术。 一 蓝牙规范介绍 作为一种通用的无线通信技术,规范自然是蓝牙技术的核心。蓝牙规范可分为两个层次,如图 1 所示: 图 1 蓝牙规范的层次结构 由图 1 可知蓝牙规范包括: Core Specification(核心规范),用于规定蓝牙设备必须实现的通用功能和协议层次。它由软件和硬件模块组成,两个模块之间的信息和数据通过主机控制接口(HCI)的解释才能进行传递。 Profiles(蓝牙应用规范)

Android 4.2蓝牙介绍

巧了我就是萌 提交于 2019-12-01 03:59:28
Tieto公司某蓝牙大牛写得《程序员》投稿文章 Android 4.2 蓝牙介绍 蓝牙一词源于公元十世纪丹麦国王 HaraldBlatand 名字中的 Blatand 。 Blatand 的英文之意就是 Blue tooth 。这是因为这位让丹麦人引以为傲的国王酷爱吃蓝莓以至于牙龈都被染成蓝色。由于 Blatand 统一了丹麦和挪威,所以,作为无线通信技术的一种,蓝牙技术之所以取名 Bluetooth 可谓志向远大。不过,在以 Android 为代表的智能机出现以前,蓝牙在早期智能机甚至功能机中一直扮演着 “ 鸡肋 ” 的角色。那么,随着无线通信技术的快速发展以及 Android 的普及,蓝牙能给我们带来哪些新的变化呢? 本文将从蓝牙核心规范的发展历史、最具应用前景的几个蓝牙 Profile 以及 Android 4.2 中蓝牙实现情况等几个方面向读者介绍蓝牙技术。 一 蓝牙规范介绍 作为一种通用的无线通信技术,规范自然是蓝牙技术的核心。蓝牙规范可分为两个层次,如图 1 所示: 图 1 蓝牙规范的层次结构 由图 1 可知蓝牙规范包括: Core Specification(核心规范),用于规定蓝牙设备必须实现的通用功能和协议层次。它由软件和硬件模块组成,两个模块之间的信息和数据通过主机控制接口(HCI)的解释才能进行传递。 Profiles(蓝牙应用规范)

爱分析访谈阿博茨CEO杨永智:从感知到认知,阿博茨用AI解放金融民工

*爱你&永不变心* 提交于 2019-12-01 00:45:31
金融领域的知识处理,是当前金融行业面临的最大挑战之一。以资管机构为例,市场信息和数据以碎片化方式存在于各式研究报告和电子邮件中,信息的收集消耗了企业大量人力资源。其次,数据文件类型大多以PDF为主,研究员只能通过机械重复的工作去逐条记录并处理。在分析过程中,研究员必须在大量的数据中去选择和甄别,这导致信息的正确性和准确性都存在不确定因素。 金融作为一个劳动密集型产业,工作效率和员工体验是企业亟待解决的问题。金融从业者自嘲为“表哥、表妹、金融民工”,是因为重复机械的数据处理工作占据了大部分时间,不仅使得从业者本身工作体验极差,也让金融公司面对了人力资源的浪费和高离职率的双重困扰。 由于工作内容的机械性以及准确性的问题,人工智能技术在金融领域的应用变得越来越多。同期国内外经济形势的变化,也让金融机构更加重视科技的作用和价值。 阿博茨成立于2016年7月,其创始人杨永智曾是中国最早的移动互联网产品海豚浏览器创始人。作为一家金融科技公司,阿博茨专注于推动人工智能在金融领域应用落地,主要向银行、交易所、资管机构等提供人工智能解决方案。 基于成熟的产品销售团队和人工智能、大数据、金融量化领域的专业人才,阿博茨具备了较强的技术产品化和产品商业化能力。通过与国内外数十家金融机构合作,阿博茨打磨了一套成熟的AI+金融解决方案体系,目前客户已覆盖交易所、保险资管、券商、公募基金、主权基金、FOF

ansible自动化部署之场景应用

旧城冷巷雨未停 提交于 2019-11-30 22:53:53
ansible自动化配置管理 一、安装 配置 启动 (ansible由红帽收购) (1)什么是ansible ansible是IT自动化配置管理工具,模块丰富,组件丰富,可以通过一个命令完成一系列的操作。减少了维护成本和复杂性的工作,提高工作效率。 假设完成100台nginx服务的安装: ssh-->登录-->输入密码-->安装nginx-->启动nginx-->退出登录(重复10次) 引入-->ansible一键部署 (2)ansible可以完成哪些功能 1、批量执行远程命令:可以对n多台主机同时进行命令的执行 2、批量配置软件服务:可以进行自动化的配置和管理服务 3、实现软件开发功能:jumpserver 4、编排高级IT任务:ansible的playbook是一门编程语言,可以用来描绘一整套IT架构。 (3)ansible的特点: 容易学习,无代理模式、操作灵活、简单易用、安全可靠、移植性高。 (4) 来源: https://www.cnblogs.com/wangyongqiang/p/11643800.html

闭包的应用场景

安稳与你 提交于 2019-11-30 22:43:43
123456789 var scope = "global scope";function () { var scope = "local scope"; function f() { return scope; } return f();}checkScope(); 代码执行过程分析 checkScope被invoke(调用)时,return f(),运行内部嵌套函数f,f沿着作用域链从内向外寻找变量scope,找到“local scope”,停止寻找,因此,函数返回 “local scope”; 代码稍作修改: 123456789 var scope = "global scope";function () { var scope = "local scope"; function f() { return scope; } return f;}checkScope()(); //=> "这次返回什么?" 代码执行过程分析 checkScope被invoke时,将内部嵌套的函数f返回,因此checkScope()()这句执行时,其实运行的是f(), f函数返回scope变量,在这种情况下,f会从哪个作用域里去寻找变量scope呢? 词法作用域的基础规则: 函数被执行时(executed)使用的作用域链(scope chain)是被定义时的scope chain

php单例模式的常见应用场景

笑着哭i 提交于 2019-11-30 10:29:50
单例模式(Singleton)也叫单态模式,是设计模式中最为简单的一种模式,甚至有些模式大师都不称其为模式,称其为一种实现技巧,因为设计模式讲究对象之间的关系的抽象,而单例模式只有自己一个对象,也因此有些设计大师并把把其称为设计模式之一。 这里又不具体讲如何实现单例模式和介绍其原理(因为这方便的已经有太多的好文章介绍了),如果对单例模式不了解的可以先看下:http://terrylee.cnblogs.com/archive/2005/12/09/293509.html 。当然也可以自己搜索。 好多没怎么使用过的人可能会想,单例模式感觉不怎么用到,实际的应用场景有哪些呢?以下,我将列出一些就在咱们周边和很有意义的单例应用场景。 1. Windows的Task Manager(任务管理器)就是很典型的单例模式(这个很熟悉吧),想想看,是不是呢,你能打开两个windows task manager吗? 不信你自己试试看哦~ 2. windows的Recycle Bin(回收站)也是典型的单例应用。在整个系统运行过程中,回收站一直维护着仅有的一个实例。 3. 网站的计数器,一般也是采用单例模式实现,否则难以同步。 4. 应用程序的日志应用,一般都何用单例模式实现,这一般是由于共享的日志文件一直处于打开状态,因为只能有一个实例去操作,否则内容不好追加。 5. Web应用的配置对象的读取