业务支持

Mysql常见的引擎

家住魔仙堡 提交于 2019-12-03 22:44:47
Mysql常见的引擎 常用的引擎是:Innodb和Myiasm这两种引擎: innodb: 提供了对事务的ACID操作,还提供了行级锁和外键约束,,他的优势就是处理大量数据,在msql启动的时候,首先会建立一个缓存池,主要是缓存数据和索引,但是操作大规模的数据查找时很慢,所以建议当需要数据库的事务操作时,使用这个,还有就是在写的时候不会锁定全表,所以在大规模并发操作的时候会提高效率; Myiasm: 这个是默认的引擎,不提供事务和行级锁和外键约束,当在insert和update时会锁定全表,所以在执行写操作对的时候效率会很慢, 和innodb不同的是,myiasm保留了行数,所以在执行select count(*) from 的时候会很快,不需要扫描全表,当我们执行的读操作多于写操作的时候,并且不需要事务的支持,我们可以使用myisam这个引擎。 这两种引擎的数据结构都是B+树 存储的不同: mysisam树节点存储得是数据的地址,指向实际的数据; innodb树节点存储得是实际的数据;这种索引也被称为聚集索引 常见的引擎 InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive MyISAM:Mysql 5.0之前的默认数据库引擎,最为常用。拥有较高的插入,查询速度,但不支持事务 InnoDB:事务型速记的首选引擎

经典必会款!服务端高并发分布式架构演进之路

☆樱花仙子☆ 提交于 2019-12-03 14:38:29
1. 概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍: 分布式 系统中的多个模块在不同服务器上部署,即可称为分布式系统,如 Tomcat和数据库分别部署在不同的服务器上,或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时,其他节点能够接替它继续提供服务,则可认为系统具有高可用性 集群 一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务,这个整体称为集群。如 Zookeeper中的Master和Slave分别部署在多台服务器上,共同组成一个整体提供集中配置服务。在常见的集群中,客户端往往能够连接任意一个节点获得服务,并且当集群中一个节点掉线时,其他节点往往能够自动的接替它继续提供服务,这时候说明集群具有高可用性 负载均衡 请求发送到系统时,通过某些方式把请求均匀分发到多个节点上,使系统中每个节点能够均匀的处理请求负载,则可认为系统是负载均衡的 正向代理和反向代理 系统内部要访问外部网络时,统一通过一个代理服务器把请求转发出去,在外部网络看来就是代理服务器发起的访问

k8s工作机制和组件

元气小坏坏 提交于 2019-12-03 01:40:45
Master节点: kuber-apiserver->资源增删改查等操作的唯一出口,也是集群控制的入口进程 Kube-controller-manager->k8s所有资源对象的自动化控制中心 Kube-scheduler->负责资源调度 Replication controller->通过模板来创建和复制pod,提供滚动伸缩和升级 node节点: kubelet->与master节点协作,是主节点的代理,负责pod容器的创建,启动,停止服务 默认情况下kubelet会向master注册自己,kubelet定期向主机节点汇报加入集群的Node的各类信息 Kube-proxy->kubernets services使用其将链路路由到Pod,作为外部负载均衡器使用,在一定数量的Pod之间均衡流量 Docker->kubernets使用容器技术来创建容器 Kubernetes主要由以下几个核心组件组成: etcd保存了整个集群的状态; apiserver提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制; controller manager负责维护集群的状态,比如故障检测、自动扩展、滚动更新等; scheduler负责资源的调度,按照预定的调度策略将Pod调度到相应的机器上; kubelet负责维护容器的生命周期,同时也负责Volume(CVI)和网络(CNI

.netcore+vue+elementUI 前后端分离---支持前端、后台业务代码扩展的快速开发框架

匿名 (未验证) 提交于 2019-12-03 00:13:02
框架采用.NetCore + Vue前后端分离,并且支持前端、后台代码业务动态扩展,框架内置了一套有着20多种属性配置的代码生成器,可灵活配置生成的代码,代码生成器界面配置完成即可生成单表(主表)的增、删、改、查、导入、导出、上传、审核基础功能。只需要简单了解即可上手开发 框架基础功能已构建完成,可直接上手开发功能 Vol.WebApi类库可独立用于restful api服务单独部署,用于其他系统单独提供接口,直接上手编写业务代码即可。 Vue+Vol.WebApi 可用于现有框架前后端分离进行开发 Vol.Web类库可用于传统MVC+Razor方式进行项目开发 Vol.Builder类库可作为一个独立的代码生成器,可生成cshtml页面、Vue页面、Model文件、Service与Repository.cs业务处理代码类 可作为一个独立站点来发布静态html网页. 可直接用于H5移动App开发 框架特点 支持前端、后台基础业务代码动态扩展,可在现有框架增、删、改、查、导入、导出、审核基础业务上扩展复杂的业务代码 基本业务全部由框架完成,上手即可对基础业务以外的代码进行扩展 上手简单,需要.net core2.1、VsCode mysql/sqlservcer 2012、redis(可选) 及以上版本的开发环境 学习成本低,封装了常用可扩展组件及Demo(前端基于Iview

模型训练竞品收集-腾讯

余生颓废 提交于 2019-12-02 23:49:31
腾讯TI-ML 一、产品介绍 智能钛机器学习(TI Machine Learning,TI-ML)是基于腾讯云强大计算能力的一站式机器学习生态服务平台。它能够对各种数据源、组件、算法、模型和评估模块进行组合,使得算法工程师和数据科学家在其之上能够方便地进行模型训练、评估和预测。智能钛机器学习平台为用户提供训练的机器学习模型及深度学习模型所需的全部工具服务。 TI-ONE 使用图形化操作,使用方便,兼顾专业用户、AI 初学者和希望借助 AI 解决业务问题的非专业用户; TI-EMS 提供模型一键部署,自动调整弹性计算资源,在保障线上业务稳定运行的同时节约成本; TI-Insight 是基于智能钛基础功能打造的一站式工业 AI 平台方案,包含 AI 训练系统和 AI 推理系统两个功能组件。 二、应用场景 智能钛机器学习完善的框架与内置算法支持,能轻松应对各种机器学习和深度学习的定制建模的场景。以下为本产品协助各企业机构完成的一些应用场景。 1.金融风控 随着不法分子的作业手段日益更新、滞后的风险识别与居高不下的坏账率损失一直是各大金融机构的痛点。智能钛机器学习可以基于金融机构大量与风险有关的高质量数据搭建风险监控模型,提高风控的时效性、准确率和覆盖率。从贷前的额度审批、贷中的交易反欺诈到贷后的催收,覆盖各个环节,大幅减小金融机构的风险损失和管理成本。 2.营销推荐

高德引擎构建及持续集成技术演进之路

匿名 (未验证) 提交于 2019-12-02 20:32:16
01 背景 由于导航应用中的地图渲染、导航等核心功能对性能要求很高,所以高德地图客户端中大量功能采用 C++ 实现。随着业务的飞速发展,仅地图引擎库就有40多个模块,工程配置极其复杂,原有的构建及持续集成技术已无法满足日益增长的需求变化。 除了以百万计的代码行数带来的复杂度外,高德地图客户端中的 C++ 引擎库工程(以下简称引擎库)的构建和持续集成还面临以下几个挑战: 支持多团队协作:多团队意味着多操作系统多 IDE ,降低不同操作系统和不同 IDE 下的工程配置的难度是重点要解决的难题之一; 支持多业务线定制:引擎库为手机、车机、开放平台等业务线提供支持,而各个业务线的诉求不同,所以需要具备按功能构建的能力; 支持车机环境:在诸多业务线中,高德地图有一个非常特殊的业务线,即车机(AMAP AUTO)。车机直接面对各大车厂和众多设备商,环境多为定制化,构建工具链各式各样。如果针对每个车机环境都定制一套构建配置文件,那么其维护成本将非常高,所以如何用一套构建配置满足车机的多样化构建需求成为亟需解决的问题; 此外,由于历史原因,引擎库中源码和依赖库混杂,都存放于 Git 仓库中,这样会带来两个问题: 随着构建次数不断增加,Git 仓库越来越大,代码与依赖库检出越来越慢,极大影响本地开发以及打包效率; 缺乏统一管理,依赖关系混乱,经常出现因为依赖问题而导致的构建失败

开放架构,无限价值——漫谈SuperMap GIS的开放式体系架构

╄→гoц情女王★ 提交于 2019-12-02 02:33:55
开放架构,无限价值——漫谈SuperMap GIS的开放式体系架构 这是一篇2012年的老文章,今天看来还有价值。 开放平台已经成为一个大趋势。本文将探讨开放平台概念的内涵,SuperMap GIS的体系架构组成和为开发者提供的开放平台价值,介绍SuperMap平台扩展应用的多种技术方式以及GIS应用系统随着架构发展升级的技术路线图。 开放体系架构简介 致力于建设一个支撑性和兼容性高、稳定性和适应性强、灵活性和扩展性好的架构,是GIS基础平台厂商一致追求的最高目标。因为,只有稳定的架构,才能很好 地支撑业务系统的不断发展,保护二次开放商和最终用户的投资,让其IT资产不断增值,带来足够的回报,从而形成良性的循环,并进一步支持软件平台的持续发展。 1. 开放平台基本概念 开放平台将系统的API通过标准化的方式来实现,让更多的人可以直接调用系统平台的功能,从而可以实现更好的融合和个性化定制,更好地满足最终用户独特的业务需求。 开放平台不是简单地开放系统的函数或者直接开放源代码就可以实现的,而是需要付出更多的努力,才能完全实现方便的数据集成、功能融合和流程整合的用户体验,达到真正开放的效果。成为一个开放平台,需要满足下面的五点基本要求: 首先,开放平台要有存在的核心价值。有不少的系统采用了开源的形式,但是没有什么应用价值,就很难作为一个平台长期发展下去。一个成功的开放平台

计算机应用实习报告

早过忘川 提交于 2019-12-02 01:54:09
计算机应用实习报告 前言 我于 2005 年 8 月 29 日 至 9 月 8 日 在进行了为期两个星期的实习。通过此次实习,我对自己的专业有了更全面、更深入的认识,看到了自己专业知识上的不足,同时也提高了自己的观察分析、交流沟通、组织协调等能力。 在实习中,我们参观了云南英茂通信股份有限公司、云南经济信息中心。通过参观这两家单位,使我了解到了单前计算机应用技术在卫星、数据库、网络通讯方面的应用。尤其是计算机在无线通讯、远程通讯的应用。计算机已经成为现代社会多元化的潮流,它已经深入到日常工作和生活的方方面面,象文字处理、信息管理、辅助设计、图形图像处理、教育培训以及游戏娱乐等。 本次实习,通过听讲座、听报告,我还了解到了数据仓库在企业的应用,同时加上对云南经济信息中心的参观,对数据仓库有了一定的了解。我是学计算机软件工程的,而且我给自己的发展定了目标,就是向数据库方向发展,因此数据仓库的应用对我尤其重要,通过本次实习,我了解到了首次了解、认识了数据仓库。 网络也是本次实习中的一个组成部分,在本次实习中,我们听了关于 IP V4~IP V6 的讲座,同时动手组装了局域网。 在实习的最后,我们还听了一个关于计算机综合的讲座,一个有关于项目开发与管理的讲座。 在当今软件开发中,决定项目成败的一个重要因素就是项目管理者的管理能力。“软件工程项目的管理是一项复杂而要求严格的活动”

服务端高并发分布式架构演进之路

孤人 提交于 2019-12-01 11:41:13
https://segmentfault.com/a/1190000018626163#articleHeader18 1. 概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。 2. 基本概念 在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍: 分布式 系统中的多个模块在不同服务器上部署,即可称为分布式系统,如Tomcat和数据库分别部署在不同的服务器上,或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时,其他节点能够接替它继续提供服务,则可认为系统具有高可用性 集群 一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务,这个整体称为集群。如Zookeeper中的Master和Slave分别部署在多台服务器上,共同组成一个整体提供集中配置服务。在常见的集群中,客户端往往能够连接任意一个节点获得服务,并且当集群中一个节点掉线时,其他节点往往能够自动的接替它继续提供服务,这时候说明集群具有高可用性 负载均衡 请求发送到系统时,通过某些方式把请求均匀分发到多个节点上,使系统中每个节点能够均匀的处理请求负载,则可认为系统是负载均衡的 正向代理和反向代理

mysql存储引擎

…衆ロ難τιáo~ 提交于 2019-12-01 10:15:29
存储引擎概念。 MySQL数据库中使用各种不同的技术存储数据到文件系统中,每一种技术都使用不同的存储机制、 索引技巧,锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为 存储引擎。 存储引擎就是MySQL将数据存储在文件系统中的存储方式或者存储格式。 目前MySQL常用的两种存储引擎:MylSAM、InnoDB MySQL存储引擎是MySQL数据库服务器中 的组件,负责为数据库执行实际的数据l/O操作,使用特殊存储引擎的主要优点之一在于仅需提供特殊应 用所需的特性,数据库中的系统开销较小,具有更有效和更高的数据库性能。 MySQL系统中,存储引擎处于文件系统之上,在数据保存到数据文件之前会传输到存储引擎,之后 按照各个存储引擎的存储格式进行文件的物理存储。 MySQL日志种类: >错误日志:程序运行,启动类的故障。 >二进制日志:保存数据库变更语句>中继日志:缓存二进制日志数据。 >查询日志:记录查询语句的。 >慢查询日志:记录超时的查询语句。 >事务日志: 一、MyISAM存储引擎。 1、MyISAM概述。 MyISAM存储引擎是MySQl关系数据库系统5.5版本之前默认的存储引擎,前身是ISAM。 ISAM是一个定义明确且经历时间考验的数据表格管理方法,在设计之时就考虑到数据库被查询的次数 要远大于更新的次数。 I5AM的特点