ots

OLAP on TableStore:基于Data Lake Analytics的Serverless SQL大数据分析

∥☆過路亽.° 提交于 2021-02-10 10:05:04
背景介绍 TableStore(简称OTS)是阿里云的一款分布式表格系统,为用户提供schema-free的分布式表格服务。随着越来越多用户对OLAP有强烈的需求,我们提供在表格存储上接入Data Lake Analytics(简称DLA)服务的方式,提供一种快速的OLAP解决方案。DLA是阿里云上的一款的通用SQL查询引擎,通过在OTS连通DLA服务,使用通用的SQL语言(兼容mysql5.7绝大部分查询语法),在表格存储上做灵活的数据分析任务。 架构视图 如上图所示,整体OLAP查询架构涉及3款阿里云产品:DLA,OTS,OSS。其中DLA负责分布式SQL查询计算,在实际运行过程中,会将用户sql查询请求进行任务拆解,产生若干可并行化的子任务,提升数据计算和查询能力。OTS为数据存储层,用于接收DLA的各类子查询任务。如果用户已经有存量的数据在OTS上,可以直接在DLA上建立映射视图,实现快速体验SQL计算带来的便捷。OSS为分布式对象存储系统,主要用于用户查询结果数据的保存。 因此用户要想快速体验SQL on OTS,必须在开通OTS的前提下,完成DLA和OSS服务的开通。通过上述3个云产品的配合,用户就能在OTS上快速执行SQL计算。目前开通OSS服务的主要原因是DLA默认回查询结果集数据写回到OSS存储,因此需要引入一个额外的存储依赖,但仅依赖用户开通OSS服务

SDN 与 NFV 到底是什么关系?

大兔子大兔子 提交于 2020-12-23 00:30:00
阅读本文大概需要 6.5 分钟。 转自:https://www.sdnlab.com/11368.html 作者:SDNLAB 君 什么叫网络虚拟化? 为了解释这个问题,先上两张简单粗暴的图。 所有的通信应用无非就是两部分组成: 计算和网络 。这两者关系密不可分,但两者关系 严重缺乏对称性,网络一直拖累着计算 。 4G 网络 RAN 将会不断进化,据说,未来的 4G 网络空口速率将是现在的 10 倍。随着智能硬件的爆发,大量的应用接入 4G 网络,人们的流量需求如同海啸般汹涌而至,我们似乎赶上了好时代。不过, 传统的通信网络里,每一类服务对应基于专用集成电路的带有专用处理器的专用服务器 。网络里的设备很多,但是,这些家伙就像霸道总裁的办公室,仅供总裁专用,不管他在与不在,位置都占在那里,谁也不敢冒然挪用。 这样下去,网络会严重拖计算的后腿。 于是,有人想到了虚拟化 。 或者,可以这么理解, 服务器觉得老这样拖着网络跑不是办法,迟早会被累死 ,就开始向网络扔砖头了! 专用的硬件对应专用的服务,这样的花费是昂贵的 ,为了节省成本,我们得想想物尽其用。 想想你有一栋超级大的空置的公寓,你想出租, 但是每一位租客的需求是不一样的 。这个时候,你想到了 “虚拟化” 。根据租客的需求,把这栋公寓虚拟化成不同的建筑风格。于是,你对租客1说,“我有两栋公寓要出租,你喜欢红色那一栋还是蓝色那一栋?”

阿里云产品介绍

懵懂的女人 提交于 2020-08-19 19:50:22
http://t.cn/Aie7C6KD 最近正好对这些产品做过总结,我来介绍一下阿里云主要的产品及功能: ECS (Elastic Compute Service):以虚拟机的方式将一台物理机分成多台云服务器,提供可伸缩的计算服务。 SLB (Server Load Balance):基于LVS和Tengine实现的4层和7层负载均衡,有动态扩容,session保持等特点。 RDS (Relational Database Service);:通过云服务的方式让关系型数据库管理、操作和扩展变得更加简单。 OCS (Open Cache Service):基于内部Tair,增加一层Proxy,支持海量小数据的高速访问。 OTS(Open Table Service):海量(结构化)数据存储和实时查询服务。 OSS(Open Store Service):对任意大小数据对象提供高可用,高可靠的海量存储服务。 CDN(Content Delevery Network):通过覆盖全网的缓存服务以及负载均衡等技术将用户请求定向到最合适的区域,提高用户服务的响应速度及网站服务能力。 OAS (Open Archive Service):离线归档,冷数据备份,类似Amazon Glacier。 ODPS(Open Data Processing Service):海量数据处理和分析平台。

L2CAP的基本模式(basic mode)数据格式

只愿长相守 提交于 2020-08-18 06:23:43
一. 声明 本专栏文章我们会以连载的方式持续更新,本专栏计划更新内容如下: 第一篇:蓝牙综合介绍 ,主要介绍蓝牙的一些概念,产生背景,发展轨迹,市面蓝牙介绍,以及蓝牙开发板介绍。 第二篇:Transport层介绍,主要介绍蓝牙协议栈跟蓝牙芯片之前的硬件传输协议,比如基于UART的H4,H5,BCSP,基于USB的H2等 第三篇:传统蓝牙controller介绍,主要介绍传统蓝牙芯片的介绍,包括射频层(RF),基带层(baseband),链路管理层(LMP)等 第四篇:传统蓝牙host介绍,主要介绍传统蓝牙的协议栈,比如HCI,L2CAP,SDP,RFCOMM,HFP,SPP,HID,AVDTP,AVCTP,A2DP,AVRCP,OBEX,PBAP,MAP等等一系列的协议吧。 第五篇:低功耗蓝牙controller介绍,主要介绍低功耗蓝牙芯片,包括物理层(PHY),链路层(LL) 第六篇:低功耗蓝牙host介绍,低功耗蓝牙协议栈的介绍,包括HCI,L2CAP,ATT,GATT,SM等 第七篇:蓝牙芯片介绍,主要介绍一些蓝牙芯片的初始化流程,基于HCI vendor command的扩展 第八篇:附录,主要介绍以上常用名词的介绍以及一些特殊流程的介绍等。 另外,开发板如下所示,对于想学习蓝牙协议栈的最好人手一套。以便更好的学习蓝牙协议栈,相信我

真·撼于心——三星重磅发布2020款QLED 8K电视Q950TS

这一生的挚爱 提交于 2020-08-14 10:25:02
从“硬件时代”到“体验时代”,硬件和软件将深度结合。在电视产品形态、应用场景不断变化的过程中,三星始终扮演着创新者角色。5月18日,“真·撼于心”三星2020年QLED 8K电视新品线上发布会成功举办,三星QLED 8K旗舰新品Q950TS、QLED 4K电视Q80T、全新晶彩UHD系列电视TU8000、Lifestyle系列电视等新品悉数亮相。通过美观且具有突破性的软硬件融合,三星电视重新定义消费者体验,并将持续开拓8K超高清时代,为下一个十年拉开序幕。 “消费电子科技已进入了‘体验时代’,通过科技创新满足消费者高品质、多样化生活体验,赋予生活更多意义。”三星电子大中华区消费电子本部总裁郑文鹤表示,“三星给消费者提供的不仅仅是一台电视,更是基于创新显示技术的全新生活体验。” 三星电子大中华区消费电子本部总裁郑文鹤讲述“体验时代”来临 三星电子大中华区彩电产品运营部高级总监赖可信表示,“创新是三星的DNA。作为显示行业佼佼者,三星从未停止对显示技术与视觉体验的追求。三星2020 QLED 8K旗舰新品Q950TS在画质、声音、设计和家居体验等方面进行了面向未来的创新,为视听世界注入新的灵感。” 三星电子大中华区彩电产品运营部高级总监赖可信分享三星电视2020年新品 三星电子大中华区彩电营销部销售总经理袁永军面向国内消费者正式介绍三星电视2020全系新品上市政策,推动新品更快

环境篇:数据同步工具DataX

£可爱£侵袭症+ 提交于 2020-08-13 09:12:16
环境篇:数据同步工具DataX 1 概述 https://github.com/alibaba/DataX DataX是什么? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 当前使用现状 DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。目前每天完成同步8w多道作业,每日传输数据量超过300TB。 2 支持数据 类型 数据源 Reader(读) Writer(写) 文档 RDBMS 关系型数据库 MySQL √ √ 读 、 写 Oracle √ √ 读 、 写 SQLServer √ √ 读 、 写 PostgreSQL √ √ 读 、 写 DRDS √ √ 读 、 写 达梦 √ √ 读 、 写 通用RDBMS(支持所有关系型数据库) √ √ 读 、 写 阿里云数仓数据存储 ODPS √ √ 读 、 写 ADS

纪客老白【每日答疑】没有项目经验,想找单片机编程的工作,老师有啥建议吗?

陌路散爱 提交于 2020-08-11 11:23:36
学生提问如下: 白老师你好!我上学时候没有认真上学,没有考上高中,但对电子技术比较感兴趣,现在主要工作是烙铁焊接,常见的芯片和阻容,都能焊接,自学了单片机,c语言,并且还学了基于ad软件的六层板的pcb设计,正在学基于阿里狗的仿真,还计划购买原理图这块的设计,想换个工作,但没有项目经验,想找单片机编程的工作,老师有啥建议吗? 白纪龙老师解答如下: (1)首先针对于大家最近共同的问题给大家分享下,然后可以作为你的问题的其中一个参考,很多人目前或者换工作或者刚刚拿到offer,而且有两份以上的offer但是不知道具体该如何抉择,其实从我的角度而言,不想当将军的士兵不是好士兵,我们在接受offer的时候,大家一定要看其长远,要为我们未来的职业规划做考量。 (2)所谓的长远考量指的是我们选择的工作最好是能够让我们看到全局的,即是能够参与到整个产品的生命周期过程中,即从市场–>研发 –>生产–>销售–>维护等等过程,然后基于这样一个前提再去纵向发展自己的个人能力,其实我们前边说的全局其实是一个有更多机会且更快算短时间发展自己的横向能力。 (3)然后基于你的情况从:其实你目前对于研发这一个大的过程中(从预研->OTS->EB1->EB2->EBX–>PP)所设计的技术你大部分都走了一遍,所以这是你的优势,当然从产品角度而言,你可能还比较欠缺的是产品的可靠性,EMC,成本,结构

阿里云开发校园合伙人七天打卡计划(五)

倾然丶 夕夏残阳落幕 提交于 2020-08-10 15:56:08
访问云数据库,并创建一个 TodoList 应用。 步骤 1.阿里云平台,创建应用实验室-web-Midway Serverless OTS数据库示例 2.进入云IDE,安装依赖,在终端输入 npm i 3.创建阿里云OTS表格存储 网站 https://www.aliyun.com/product/ots 点击立即开通 进入管控,台点击创建实例 实例创建后复制公网ip 创建数据表 数据表名称:list 表主键:id 字符串类型 创建Access,点击Access管理 保存AccessKey ID和AccessKey Secret 4.修改代码 选择src- api- config- config.default.ts文件,将刚刚复制的东西注释复制 5.启动开发服务 在终端输入 npm run dev 等待启动成功,按Ctrl+单击给出的地址 6.在网页中加入自己的标签,效果如图 来源: oschina 链接: https://my.oschina.net/u/4278795/blog/4482472

如何在 LibreOffice 中创建模板以实现省时高效 | Linux 中国

心不动则不痛 提交于 2020-04-17 10:14:04
【推荐阅读】微服务还能火多久?>>> 模板不仅可以为你节省时间,另一方面它可以保证在同一机构内参与统一项目的小组成员文档的一致性。 -- Dimitrios Savvopoulos(作者) 在 LibreOffice 中为你经常使用的文档创建模板可以为你节省一些时间。它可以是信件、财务表格抑或是简报。 模板不仅可以为你节省时间,另一方面它可以保证在同一机构内参与统一项目的小组成员文档的一致性。 举例而言,如果你是一家需要经常开具工作经验证明的企业,你可以创建一个模板,而不再需要从某个地方复制粘贴已保存的文档。当你需要开具一个新的经验证明时,你可以从模板中创建,稍微编辑一下就可以了。 LibreOffice 默认情况下提供了一些模板,但并不仅仅局限于使用这些,你可以根据自己的需求自由定制。 我认为模板是每个用户都应该了解的 LibreOffice 基础技巧之一 。下面我将为你演示如何使用。 如何在 LibreOffice 中创建一个模板 首先,创建你希望通过最少的编辑就可以重复使用的文档。它可以是文档、电子表格或演示文稿。我在示例中使用的是 word 文档,但是所有步骤都是相同的。 然后转到“文件”选项卡并选择“存储为模板”。你将被提示输入“名称”及选择“类别”,再单击“保存”。 Creating a new template in LibreOffice 此文件将以 .ots

如何在 LibreOffice 中创建模板以实现省时高效

自作多情 提交于 2020-04-17 08:16:32
【推荐阅读】微服务还能火多久?>>> 在 LibreOffice 中为你经常使用的文档创建模板可以为你节省一些时间。它可以是信件、财务表格抑或是简报。 模板不仅可以为你节省时间,另一方面它可以保证在同一机构内参与统一项目的小组成员文档的一致性。 举例而言,如果你是一家需要经常开具工作经验证明的企业,你可以创建一个模板,而不再需要从某个地方复制粘贴已保存的文档。当你需要开具一个新的经验证明时,你可以从模板中创建,稍微编辑一下就可以了。 LibreOffice 默认情况下提供了一些模板,但并不仅仅局限于使用这些,你可以根据自己的需求自由定制。 我认为模板是每个用户都应该了解的 LibreOffice 基础技巧之一 。下面我将为你演示如何使用。 如何在 LibreOffice 中创建一个模板 首先,创建你希望通过最少的编辑就可以重复使用的文档。它可以是文档、电子表格或演示文稿。我在示例中使用的是 word 文档,但是所有步骤都是相同的。 然后转到“文件”选项卡并选择“存储为模板”。你将被提示输入“名称”及选择“类别”,再单击“保存”。 此文件将以 .ots 格式保存在 LibreOffice 的模板文件夹中。你可以在其他安装了 LibreOffice 的系统上使用这些 .ots 文件,并在这些系统上使用相同的模板。 如何在 LibreOffice 中使用模板 要使用模板,请选择