数据单位

/*--> */ /*--> */ 协议 ---- 乃是数据传输时要遵守的格式要求 两种常见的程序架构是 C/S 和 B/S 架构 C/S ：优点，性能稳定，协议选用灵活，适用于大量数据缓存，尤以游戏较为常见 安装在用户电脑上，可能会对用户安全造成影响 开发效率方面，开发团队需编写服务端和客户端两端代码，联合调试是一场噩梦 B/S ： 减少了厂商植入恶意插件的可能，相比 C/S 减少 1/3 工作量 ; 跨平台 必须支持 HTTP 协议，须不折不扣的支持 不支持庞大数据缓存 OSI 七层模型（物数网传会表应），除了 TCP 协议工作在传输层， /IP 协议工作在网络层，基本上说的出来的协议都工作在应用层 × 额外的知识模拟电路信号向数字信号的转换 物理层，这一层数据单位是比特（物理传输层） 数据链路层：定义 格式化数据，以帧为单位传输数据 网络层：不同位置，不同主机之间的链接 传输层 : 端口号和进程，对下层接收的数据进行分段和传输，到达目的地之后重组，这一层数据称之为段。 会话层：通过传输层建立，不同系统间的通信（通过 IP 或 MAC ） 表示层：确保不同系统应用层数据能相互理解，读取，如有可能，这层会有个通用格式来完成不同格式数据的转换 应用层：为用户程序提供网络服务 数据包的封装 由于协议的存在，实际发送的数据层层封装，原始数据上套上应用层…然后逐一套上传输，网络

1.1 cpu性能查看 1、查看物理cpu个数： cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l 2、查看每个物理cpu中的core个数： cat /proc/cpuinfo |grep "cpu cores"|wc -l 3、逻辑cpu的个数： cat /proc/cpuinfo |grep "processor"|wc -l 物理cpu个数*核数=逻辑cpu个数（不支持超线程技术的情况下） 1.2 内存查看 1、查看内存使用情况： #free -m total used free shared buffers cachedMem: 3949 2519 1430 0 189 1619-/+ buffers/cache: 710 3239Swap: 3576 0 3576total：内存总数 used：已经使用的内存数 free：空闲内存数 shared：多个进程共享的内存总额 - buffers/cache：(已用)的内存数，即used-buffers-cached + buffers/cache：(可用)的内存数，即free+buffers+cached Buffer Cache用于针对磁盘块的读写； Page Cache用于针对文件inode的读写，这些Cache能有效地缩短I/O系统调用的时间。

一、进程简介 1.1 进程概念的引入 计算机中，CPU是最宝贵的资源，为了提高CPU的利用率，引入了多道程序设计的概念。当内存中多个程序存在时，如果不对人们熟悉的“程序”的概念加以扩充，就无法刻画多个程序共同运行时系统呈现出的特征。 多道程序设计：是指允许多个作业（程序）同时进入计算机系统的内存并启动交替计算的方法。 也就是说，内存中多个相互独立的程序均处于开始和结束之间。 从宏观上看是并行的，多道程序都处于运行过程中，但尚未运行结束； 从微观角度上看是串行的，各道程序轮流的占用CPU交替的执行。 引入多道程序设计技术可以提高CPU的利用率，充分发挥计算机硬部件的并行性。 多道程序系统中，程序具有：并行、制约以及动态的特征。程序概念难以便是和反映系统中的情况，所以引入了进程这一概念。 1.2 程序是什么 说起进程，就不得不说下程序。先看定义：程序是指令和数据的有序集合，其本身没有任何运行的含义，是一个 静态 的概念。系统实际上是出于不断变化的状态中，程序不能反映这种动态性。 而进程则是在处理机上的一次执行过程，它是一个 动态 的概念。这个不难理解，其实进程是包含程序的，进程的执行离不开程序，进程中的文本区域就是代码区，也就是程序。 1.3 进程是什么 1.3.1 进程的概念 进程的定义： 进程是据有独立功能的程序在某个数据集合上的一次运行活动

系统软件开发文档编写指南 为帮助大家编写文档，这里列出了十三种文档的内容要求及其简要说明。这些文档包括：可行性研究报告，项目开发计划，需求规格说明书，概要设计说明书，详细设计说明书，用户操作手册，测试计划，测试报告，开发进度月报，项目开发总结报告，程序维护手册，软件问题报告和软件修改报告。各文档内容大纲由带编号的标题构成，标题后方括号内为其说明。这里给出一个统一的封面格式： ______________________________________________________________________________ 文档编号版本号______________ 文档名称____________________ 项目名称：______________________________________________ 项目负责人：____________________________________________ 开发单位：______________________________________________ 编写_____________ 校对_____________ 审核_____________ _________年________月__________日 ， _________________________________________________

每一个Oracle数据库都是由三种类型的文件组成：数据文件（Data File）、日志文件（Log File）和控制文件（Control File）。数据库的文件为数据库信息提供真正的物理存储。 每个数据库有一个或多个物理的数据文件。逻辑数据库结构（如表、索引等）的数据物理地存储在数据库的数据文件中，数据文件通常为*.dbf格式。 数据文件有下列特征： 1、一个数据文件仅与一个数据库联系； 2、一旦建立，数据文件只增不减； 3、一个表空间（数据库存储的逻辑单位）由一个或多个数据文件组成。 其次，我们再来叙述一下Oracle的逻辑结构：Oracle的逻辑结构包括表空间（tablespace），段（segment），区（extent），数据块（data block），可以从下图清楚的看出。 Oracle数据库在逻辑上是由多个表空间组成的，表空间在物理上包含一个或多个数据文件。而数据文件大小是块大小的整数倍；表空间中存储的对象叫段，比如数据段，索引段和回退段。段由区组成，区是磁盘分配的最小单位。段的增大是通过增加区的个数来实现的。每个区的大小是数据块大小的整数倍，区的大小可以不相同；数据块是数据库中的最小的I/O单位，同时也是内存数据缓冲区的单位，及数据文件存储空间单位。块的大小由参数DB_BLOCK_SIZE设置，其值应设置为操作系统块大小的整数倍。 1、表空间

每一个Oracle数据库都是由三种类型的文件组成：数据文件（Data File）、日志文件（Log File）和控制文件（Control File）。数据库的文件为数据库信息提供真正的物理存储。 每个数据库有一个或多个物理的数据文件。逻辑数据库结构（如表、索引等）的数据物理地存储在数据库的数据文件中，数据文件通常为*.dbf格式。 数据文件有下列特征： 1、一个数据文件仅与一个数据库联系； 2、一旦建立，数据文件只增不减； 3、一个表空间（数据库存储的逻辑单位）由一个或多个数据文件组成。 其次，我们再来叙述一下Oracle的逻辑结构：Oracle的逻辑结构包括表空间（tablespace），段（segment），区（extent），数据块（data block），可以从下图清楚的看出。 Oracle数据库在逻辑上是由多个表空间组成的，表空间在物理上包含一个或多个数据文件。而数据文件大小是块大小的整数倍；表空间中存储的对象叫段，比如数据段，索引段和回退段。段由区组成，区是磁盘分配的最小单位。段的增大是通过增加区的个数来实现的。每个区的大小是数据块大小的整数倍，区的大小可以不相同；数据块是数据库中的最小的I/O单位，同时也是内存数据缓冲区的单位，及数据文件存储空间单位。块的大小由参数DB_BLOCK_SIZE设置，其值应设置为操作系统块大小的整数倍。 1、表空间

数据产生：数据的产生主要体现在单位时间内有新发生记录、变化，且后发生的数据不会影响前面的数据保留。 那么数据产生一般可从不同的角度可分为：从数据的完整度可分为：全量数据、半全量数据、非全量数据；从数据的时效性可分为：实时动态数据、历史静态数据；从数据的价值可分为：有效数据，垃圾数据，可清洗数据；从数据的关联关系上分：可分为关系型数据、非关系型数据、中间型数据。 以目前数据产生的行为来看，某一个数据都无法独立拥有单独或者存在独立的数据特性，数据特性之间至少存在两种以上的共存。这个稍后再说。我们先看看数据产生的过程。 以上是第一种数据产生的方式，下图是第二种处理的方式： 以上就是数据处理的两周方式。而处理的结果就是数据。 可能有人会问在两种方式中一个处理的逻辑怎么会产生多个处理的结果呢？是这样的数据在处理中有不同的处理方式和办法，可能产生各种各样的数据，甚至这些数据都是在某一个时刻同时产生的或者发生的，我们只需要根据自己的业务需求获取对应的数据即可。 在数据产生的过程前中后要注意： 数据产生之前要对数据产生进行规范，划定数据产生的范围和必须字段。 数据产生之中要对数据产生过程规范，划定数据产生的连续性和可用性。 数据产生之后要对数据最终结果进行规范，划定数据的可用结果和存储方式。 至于说数据特性的共存，主要体现在数据对多个数据的兼备性。比如：一个用户乘坐地铁的行为数据

码流 / 码率 / 比特率 / 帧速率 / 分辨率 / 高清 GOP/ 码流 /码率 / 比特率 / 帧速率 / 分辨率 GOP（Group of picture） 关键帧的周期，也就是两个IDR帧之间的距离，一个帧组的最大帧数，一般而言，每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。 需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。 同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。 CABAC/CAVLC H.264/AVC标准中两种熵编码方法，CABAC叫自适应二进制算数编码，CAVLC叫前后自适应可变长度编码， CABAC：是一种无损编码方式，画质好

比较惭愧，博客很久（半年）没更新了。最近也自己搭了个博客，wordpress玩的还不是很熟，感兴趣的朋友可以多多交流哈！地址是：http://www.leocook.org/ 另外，我建了个QQ群：305994766，希望对大数据、算法研发、系统架构感兴趣的朋友能够加入进来，大家一起学习，共同进步（进群请说明自己的公司-职业-昵称）。 1.应用程序角度进行优化 1.1.减少不必要的reduce任务 若对于同一份数据需要多次处理，可以尝试先排序、分区，然后自定义InputSplit将某一个分区作为一个Map的输入，在Map中处理数据，将Reduce的个数设置为空。 1.2.外部文件引用 如字典、配置文件等需要在Task之间共享的数据，可使用分布式缓存DistributedCache或者使用-files 1.3.使用Combiner combiner是发生在map端的，作用是归并Map端输出的文件，这样Map端输出的数据量就小了，减少了Map端和reduce端间的数据传输。需要注意的是，Combiner不能影响作业的结果;不是每个MR都可以使用Combiner的，需要根据具体业务来定;Combiner是发生在Map端的，不能垮Map来执行（只有Reduce可以接收多个Map任务的输出数据） 1.4.使用合适的Writable类型 尽可能使用二进制的Writable类型，例如

因为项目需要，需要用到SRAM进行内存扩展，在学习这个之前，我们先回忆一下FLASH的的存储特性： （1）.在写入数据之前必须先擦 （2）擦除时会把数据位全部重置为1 （3）写入数据时只能把1的数据改为0，（4）擦除时必须按最小的单位进行来擦除（一般改为扇区） 注：norflash 可以一个字节写入，nandflash必须以块或者扇区为单位进行读写 1.SRAM 介绍 SRAM的 内部框架 异步通信 2.FSMC 来源： CSDN 作者： 一禅的师兄 链接： https://blog.csdn.net/weixin_42145502/article/details/103890420