ots

塑云科技基于 KafKa+OTS+MaxCompute 完成物联网系统技术重构

时间秒杀一切 提交于 2020-03-12 10:34:12
塑云科技:性能突破,基于 KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构 背景:创业团队,专注于氢能燃料电池生态链的运营支撑,当前主要的业务组成为新能源车整车实时运营监控分析,加氢站实时运营监控分析,车辆安全运营支撑。 系统面临的主要挑战:高频数据的实时解析、存储、分析。拿整车实时运营监控分析来讲,每辆车以每秒1K的原始报文上报,要求做到秒级延迟的解析应答以及入库。同时需要针对解析后的每车每秒33K的报文进行快速查询以及后继的分析。考虑到未来车辆接入的量,需要在考虑性能的基础上以最经济的方式进行系统设计。按照每车每秒33K的解析后报文,每车每月预计生成30G的报文数据(车辆按照每天运行10小时计算)。 原有系统存在的问题如下(罗列部分): 1. 系统架构中未对OLAP和OLTP系统的范围进行清晰界定,使用JAVA程序对OTS的表定时进行任务统计,代码复杂并且性能极差并且影响到服务器上其他OLTP系统的正常运行。 2. 存储的解析后的报文数据,未针对OTS的计价规则进行针对性优化,一个大JSON串中冗余的KEY过多,KEY的长度超长(平均30个字符串)。 3. OTS(阿里云tablestore)按照公司进行分表设计,存在单个实例下表数量超过OTS限制(64表)的风险。 4. OTS以车月作为分区键,单个分区(30G)过大,超过OTS建议的1G推荐大小。 5.

揭秘高德地图如何利用MaxCompute管理海量数据

你离开我真会死。 提交于 2020-03-06 10:41:57
摘要 :随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能。通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台,媒体行业数据特征,批流处理数据架构,以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。 演讲嘉宾简介: 李金波,新华智云首席数据官。负责阿里巴巴大数据通用计算平台MaxCompute(原ODPS)框架架构。对高可用分布式系统设计开发有多年经验。先后研发过阿里巴巴机器学习平台在线预测系统和通用大数据计算平台框架系统。 本次直播视频精彩回顾,戳这里! https://yq.aliyun.com/live/796 以下内容根据演讲嘉宾视频分享整理而成。 本次的分享主要围绕以下五个方面: 一、关于新华智云 二、数芯-媒体大数据开放平台 三、媒体大数据平台能力 四、Project依赖 五、几点小提示 一、关于新华智云 新华智云是新华社与阿里巴巴合资成立的一家公司,主要面向运用大数据和人工智能技术,致力于为媒体行业赋能。随着自媒体的发展,自媒体公司非常的火热,如今日头条,抖音等。对传统媒体来说,面临着巨大的压力和挑战。传统媒体急切的希望互联网的技术帮助他们赋能。 媒体大脑-数芯

OTS新手小白学Python,从入门到实践——列表超详细操作(建议收藏)

被刻印的时光 ゝ 提交于 2020-01-11 07:23:04
OTS新手小白学Python,从入门到实践——列表超详细操作(建议收藏) 列表(list) 访问列表元素 简单的索引方式访问列表中元素 修改、添加和删除元素 修改列表元素 添加列表元素 1、末尾添加元素 2、空白列表添加元素 3、列表中插入元素 4、使用del删除列表的元素 5、使用pop()方法 删除元素 使用remove根据值删除元素 del、pop、remove的区别 组织列表 1、使用方法sort()对列表进行永久排序 默认排序(升序) 反向排序(降序) 2、使用函数sorted() 对列表进行临时排序 默认排序(升序) 反向排序(降序) 3、使用函数len()获取列表长度 关于列表的介绍大家可以查看这篇文章: 从入门到实践——列表基础介绍 列表(list) 序列是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置,或索引,第一个索引是0,第二个索引是1,依此类推。 Python有6个序列的内置类型,但最常见的是列表和元组。 序列都可以进行的操作包括索引,切片,加,乘,检查成员。 列表 由一系列按特定顺序排列的元素组成。可以包含 字母、数字0~9 ,也可以将 任何东西 加入列表中,其中的元素之间可以没有任何关系。 在Python中,用方括号([] )来表示列表,只要把逗号分隔的不同的数据项使用方括号括起来即可。如下所示: 列表实例 list_1 =

Failed to decode downloaded font, OTS parsing error: invalid version tag + rails 4

匿名 (未验证) 提交于 2019-12-03 01:49:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I am doing assets pre-compile, and running the application in production mode. After compilation when I load the my index page I got followings warnings in the chrome console: Failed to decode downloaded font: http://localhost:3000/fonts/ionicons.ttf?v=2.0.0 prospects:1 OTS parsing error: invalid version tag Failed to decode downloaded font: http://localhost:3000/fonts/ionicons.woff?v=2.0.0 prospects:1 OTS parsing error: invalid version tag The issue is its not loading icons instead of that its showing squares . we used the custom fonts and

Failed to decode downloaded font, OTS parsing error: invalid version tag + rails 4

匿名 (未验证) 提交于 2019-12-03 01:49:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 由 翻译 强力驱动 问题: I am doing assets pre-compile, and running the application in production mode. After compilation when I load the my index page I got followings warnings in the chrome console: Failed to decode downloaded font : http : //localhost:3000/fonts/ionicons.ttf?v=2.0.0 prospects : 1 OTS parsing error : invalid version tag Failed to decode downloaded font : http : //localhost:3000/fonts/ionicons.woff?v=2.0.0 prospects : 1 OTS parsing error : invalid version tag The issue is its not loading icons instead of that its showing squares . we used

Knative 实战:三步走!基于 Knative Serverless 技术实现一个短网址服务

試著忘記壹切 提交于 2019-11-30 04:14:19
短网址顾名思义就是使用比较短的网址代替很长的网址。维基百科上面的解释是这样的: 短网址又称网址缩短、缩短网址、URL 缩短等,指的是一种互联网上的技术与服务,此服务可以提供一个非常短小的 URL 以代替原来的可能较长的URL,将长的 URL 位址缩短。用户访问缩短后的 URL 时通常将会重定向到原来的长 URL <a name="f19742d4"></a> 起源 虽然现在互联网已经非常发达了,但还是有很多场景会对用户输入的内容有长度限制。比如 : 微薄、Twitter 长度不能超过 140 个字 一些早期的 BBS 文章单行的长度不能超过 78 字符等场景 运营商短信的长度不能超过 70 个字 而现在很多媒体、电商平台的内容大多都是多人协作通过比较复杂的系统、框架生成的,链接长度几十个甚至上百字符都是很平常的事情,所以如果在上述的几个场景中传播链接使用短网址服务就是一个必然的结果。比如下面这些短信截图你应该不会陌生:<br /> <a name="3dbf0c11"></a> 应用场景 短网址服务的最初本意就是缩短长 url,方便传播。但其实短网址服务还能做很多其他的事情。比如下面这些: 访问次数的限制,比如只能访问 1 次,第二次访问的时候就拒绝服务 时间的限制,比如只能在一周内提供访问服务,超过一周就拒绝服务 根据访问者的地域的限制 通过密码访问 访问量统计

处理springboot OTS parsing error: Failed to convert WOFF 2.0 font to SFNT

好久不见. 提交于 2019-11-28 19:21:34
springboot项目中添加了字体等文件后,页面无法识别,浏览器调试窗口报错如下: Failed to decode downloaded font: http://localhost:8080/fonts/fontawesome-webfont.woff?v=4.4.0 OTS parsing error: incorrect file size in WOFF header Failed to decode downloaded font: http://localhost:8080/fonts/fontawesome-webfont.ttf?v=4.4.0 OTS parsing error: incorrect entrySelector for table directory  解决方式,pom文件中增加如下内容,不对字体文件进行过滤即可: <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <configuration> <nonFilteredFileExtensions> <nonFilteredFileExtension>ttf</nonFilteredFileExtension