mpp

MPP模块及sample_venc分析

寵の児 提交于 2019-11-29 06:49:46
sample的整体架构 1.sample的整体架构: sample中有很多个例程,所以有很多个main函数,common是通用性的主题函数,我们分析的是sample_venc 2.基本的架构是:venc中的main调用venc中的功能函数,再调用common中的功能函数,再调用mpp中的API,再调用HI3518E内部的硬件单元 3.先理解几个基本概念: H.264 H.265 MJPEG 视频编码规范标准 1080P、720P、VGA(640 480) D1(720 576) 视频分辨率(清晰度) fps(frame per second) 帧率 计算机中图像像素格式 RGB: 1.RGB方式表示颜色 (1)RGB有RGB565和RGB888,ARGB等多种子分类 (2)RGB的本质:将色度分解为R、G、B三部分,然后记录下亮度数据 (3)RGB的优势:方便数字化表达,广泛用于数字化彩色显示器,计算机编程等领域。 (4)RGB的劣势:和传统的灰度图兼容不好,表达颜色的效率不高 2.rawRGB和图像采集过程 (1)图像采集的过程:光照在成像物体被反射->镜头汇聚->Sensor光电转换->ADC为rawRGB (2)sensor上每个像素只采集特定颜色的光的强度,因此sensor每个像素只能为R或G或B (3)rawRGB和RGB都是用来描述图像的

使用MPP数据库解决农行海量数据复杂运算处理

回眸只為那壹抹淺笑 提交于 2019-11-27 19:13:40
农业银行以国产数据库GBase 8a为基础的国内最大的金融大数据平台采用混搭融合架构、双活数据仓库、超大规模数据库集群这些先进技术全部应用其中。56是生产环境,现在实现了56环境的双活!5.2PB数据量、236个节点、每天6000多个复杂的分析任务。 项目背景 随着互联网+时代的到来,金融大数据呈指数增长。结构化数据增长基本可控,它随着业务的增长是一个线性关系;而对非结构化数据,尤其语音、图像,优酷上的视频,增长巨大。现在精准营销、风险控制、运营等对大数据的应用提出更高的要求。随着大数据时代到来,处理大数据的技术手段和成本的下降都提供了对大数据的可能,在技术上它也是成长最快的一部分。 中国农业银行数据仓库项目最初是基于Sybase IQ建设的,主要应用于统计报表。随着数据量的不断增大、接入的系统越来越多,Sybase IQ由于性能的限制,已经很难在指定的时间窗口中完成统计,也无法继续接入其它的业务系统数据,无法满足银行内部数据分析和监管机构的监管数据要求。系统架构的障碍影响了客户从宝贵的数据资源中挖掘价值,寻找新的、更先进的产品成为客户不得不考虑的问题。 着眼未来,为更好地利用大数据领域新兴技术构造大数据平台,应对市场变幻、带动业务模式创新,寻求新的技术方向已成为必然选择。同时近年来信息安全问题越来越受中国政府和企业的关注,关键领域信息系统的国产化逐步开展。基于信息安全

想要读懂大数据,你得先了解这些技术

别说谁变了你拦得住时间么 提交于 2019-11-27 03:56:59
说起大数据,很多人都能聊上一会,但要是问大数据核心技术有哪些,估计很多人就说不上一二来了。 从机器学习到数据可视化,大数据发展至今已经拥有了一套相当成熟的技术树,不同的技术层面有着不同的技术架构,而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构,很多第一次接触大数据的小白几乎都是望而生畏的。 其实想要知道大数据有哪些核心技术很简单,无非三个过程:取数据、算数据、用数据。这么说可能还是有人觉得太空泛,简单来说从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说: 一、大数据采集 大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。 数据库采集:流行的有Sqoop和ETL,传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。当然了,目前对于开源的Kettle和Talend本身,也集成了大数据集成内容,可实现hdfs,hbase和主流Nosq数据库之间的数据同步和集成。 网络数据采集:一种借助网络爬虫或网站公开API,从网页获取非结构化或半结构化数据,并将其统一结构化为本地数据的数据采集方式。 文件采集:包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等等。 推荐大数据学习交流裙 606八五九705每天晚上20