数据通信

“计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。” 来源： 51CTO 作者： mb5e65a48c8b8e8 链接： https://blog.51cto.com/14748540/2476532

在数据传输时，总是存在丢包、分包、误包的情况。针对这一问题，则必须引进一套数据通信协议，来保证数据的完整性与准确性。 通常，针对 丢包、误包问题 都会采用 数据长度 和 校验码 比对的方式来判断一包数据的准确性。针对 分包问题 ，则采用 报文头、报文尾 的方式（即采用某两个特定的值作为一包的数据开始和结尾的标志），但采用这种方法来标记要保证数据中不会有与报文头、尾相同的字符，这便又涉及到了 数据转义 。 如下为自己总结的一个简单的数据通信协议，可用于串口、网络等通信，供大家参考。 一、数据传输格式 位置 长度(Byte) 定义 说明 0 1 报文头 报文头，固定值0x5B，即字符’[’ 1 2 数据长度 数据体的长度（ 传输的数据实际长度 ） 3 X 数据体 传输的数据 3+X 1 校验位 XOR从数据长度到数据体的异或值 4+X 1 报文尾 报文结束，固定值0x5D，即字符’]’ 二、报文转义 除报文头和报文尾外，其它数据域出现 0x5B 、 0x5C 或 0x5D 时，进行如下报文转义 (0x5C 后面只能跟 0x00 、 0x01 、 0x02 ，其它值为非法 ) 转义前 转义后 0x5B 0x5C + 0x01 0x5C 0x5C + 0x00 0x5D 0x5C + 0x02 三、数据处理流程 发送数据前处理流程：数据体->计算数据体长度->计算校验位->数据转义-

计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。 计算机网络分为：局域网、城域网、广域网 来源： 51CTO 作者： qq5e676bd089976 链接： https://blog.51cto.com/14750372/2477097

数据通信基础 数据通信基础知识 1、通信系统的作用是将信息从信源发送到一或多个信宿，其一般模型如下： 信源：将各种信息转化成原始电信号； 发送设备：生成适合在信道中传输的信号 信道：将信号传送到信宿的物理传输媒体 接收设备：从受到减损的接收信号中正确恢复出原始电信号 信宿：传送信息的目的地，将电信号还原 注意： 可以用交换技术降低网络成本，如下图，终端i复合了发送方(信源)和接收方(信宿)的功能： 2、网络传输中的两个重要公式 在此之前，我们需要解释一些术语： （1）波特率：也称信息传送速率、码元速率、符号速率、或传码率，其定义为每秒钟传送码元的数目，码元速率的单位为“波特”，常用符号“Baud”表示，简写为“B”。 （2）比特率：也称数据传输速率，其定义是单位时间内可以传输的比特数，单位为bps。 比特率的计算公式为：比特率=波特率*每符号含的比特数。 （3）信道带宽：最高的信号频率和最低的信号频率的差值就叫做这个信道的带宽，单位是Hz。 （4）信道容量：指的是数据在信道中最高传输速度，即最高的比特率，单位是bps。 （5）信噪比：信号和噪声的功率比就叫做信噪比，用S/N表示，单位没有量纲。 奈奎斯特(Nyquist)公式 公式注解：M为信号状态数量，W为信道带宽 任何实际的信道所能传输的最大数据传输速率受到奈奎斯特(Nyquist)公式限制

数据通信基础知识 计算机的物理底层是电路，他存储信息的方式是电路的通断，一般将通路定为1，断路定为0所有信息所有信息都是通过二进制01来表示的，这也就是为什么会有各类编码，编码通过二进制来定义一个字符，例如a的ASCII码是97，97是在计算机中用二进制表示，关于计算机乱码的情况就是编码的解析不一样例如有下面的编码，当文字是以一种编码写的，而读取文字的软件用另一种编码的时候就会出现乱码的情况 ASCII 总共有 128 个，用一个字节的低 7 位表示，0~31 是控制字符如换行回车删除等；32~126 是打印字符，可以通过键盘输入并且能够显示出来。 UTF-16 UTF-16 具体定义了 Unicode 字符在计算机中存取方法。UTF-16 用两个字节来表示 Unicode 转化格式，这个是定长的表示方法，不论什么字符都可以用两个字节表示，两个字节是 16 个 bit，所以叫 UTF-16。UTF-16 表示字符非常方便，每两个字节表示一个字符，这个在字符串操作时就大大简化了操作，这也是 Java 以 UTF-16 作为内存的字符存储格式的一个很重要的原因。 UTF-8 UTF-16 统一采用两个字节表示一个字符，虽然在表示上非常简单方便，但是也有其缺点，有很大一部分字符用一个字节就可以表示的现在要两个字节表示，存储空间放大了一倍，在现在的网络带宽还非常有限的今天

Greenplum 架构和核心引擎 Greenplum 架构和核心引擎 1 学习地址 2 1 Greenplum 架构概述 2 1.1 概述简介 2 1.2 MPP无共享静态拓扑 3 1.3 集群内数据分两类 3 1.4 对用户透明 4 1.5 用户数据表 4 1.6 系统表/数据字典 5 1.7 数据分布:并行化处理的根基 5 1.8 多态储存:根据数据温度选择最佳的储存方式 6 1.8.1 行储存 6 1.8.2 列储存 6 1.8.3 外部表 6 2 Greenplum SQL的执行过程 7 2.1 系统空闲状态 7 2.2 客户端建立会话链接 7 2.3 Master fork一个进程处理客户端请求 8 2.4 QD建立和Segment的链接 8 2.5 segment fork 一个子进程处理QD的链接请求 9 2.6 客户端发送查询请求给QD 10 2.7 QD发送任务给QE 10 2.8 QD与QEs建立数据通信通道 11 2.9 QE各司其职 11 2.10 QE状态管理 12 2.11 QD返回查询结果给客户端 12 3 Greenplum 主要设计思考 13 3.1 继承自 PostgreSQL 的设计 13 3.2 主从架构 13 3.3 数据储存 14 3.4 数据通信 14 3.5 三级并行计算 15 3.6 流水线执行 15 3.7 网络 16 3.8

1、物理层基本概念 一、总览 二、物理层接口特性 2、数据通信基础知识 一、典型的数据通信模型 二、数据通信相关术语 三、设计数据通信系统要考虑的三个问题 四、三种通信方式 五、串行传输&并行传输 六、同步传输&异步传输 七、脑图梳理 3、码元、速率、波特、带宽 一、码元 二、数字通信系统数据传输速率的两种表示方法 三、思考题1 四、思考题2 五、带宽 4、奈氏准则和香农定律 一、失真 二、失真的一种现象——码间串扰 三、奈氏准则 四、奈氏准则练习 五、香农定理 六、香农定理练习 七、奈氏和香农对比 5、编码与调制 一、基带信号与宽带信号 二、编码与调制 三、数字数据编码为数字信号 一、数字信号调制为模拟信号 二、模拟数据编码为数字信号 三、模拟数据调制为模拟信号 四、脑图梳理 6、物理层传输介质 一、传输介质及分类 二、导向性传输介质——1.双绞线 三、导向性传输介质——2.同轴电缆 四、导向性传输介质——3.光纤 五、非导向性传输介质 六、脑图梳理 7、物理层设备 一、中继器 二、集线器（多口中继器） 三、脑图梳理 参考链接 https://www.bilibili.com/video/av70228743 来源： oschina 链接： https://my.oschina.net/u/4451096/blog/3165463

第二章 数据通信基础 作者：张子默 一、数据通信基本概念 1、信源 通信中产生和发送信息的一端叫做信源。 2、信宿 接受信息的一端叫做信宿。 3、信道 信源和信宿之间的通信线路称为信道。 4、噪声 信息在传输过程中可能受到外界的干扰，把这种干扰称为噪声。 5、数字信号 数字信号只取有限个离散值，而且数字信号之间的转换几乎是瞬时的，数字信号以某一瞬间的状态表示他们传送的信息。 6、模拟信号 模拟信号是随时间连续变化的信号，这种信号的某种参量(如幅度、相位和频率等)可以表示要传送的信息。电话机送话器输出的话音信号、电视摄像机产生的图像信号等都是模拟信号。 7、模拟通信 如果信源产生的是模拟数据并以模拟信道传输，则叫做模拟通信。 8、数字通信 如果信源发出的是模拟数据且以数字信号的形式传输，那么这种通信方式叫数字通信。 9、数据通信 如果信源发出的是数字数据，当然也可以有两种传输方式，这时无论是用模拟信号传输或是用数字信号传输都叫做数据通信。 二、数据通信计算 1、模拟信道带宽 计算公式 ： W=f 2 -f 1 上述公式中，f 1 是信道能通过的最低频率(低频)，f 2 是信道能通过的最高频率(高频)，两者都是由信道的物理特性决定的。当组成信道的电路制成了，信道的带宽就决定了。为了使信号传输中的失真小一些，信道要有足够的带宽。 2、数字信道带宽 数字信道是一种离散信道

一、物理层的基本概念 1、物理层解决：如何在连接各种计算机的传输媒体上传输数据比特流，而不指具体的传输媒体。 2、功能：确定传输媒体的接口的一些特性：机械特性，电气特性，功能特性，过程特性。 二、数据通信的基础知识。 典型的数据通信模型 相关的属于：模拟信号，数字信号，码元。 3、 关于信道（其实就是信号进行传输经过的通道） ：单向通信，半双工通信（比如对讲机），全双工通信，可以同时进行接收和发送信号。 4、 基带信号和带通信号。基带信号： 来自信源的信号，就是发出的直接表达了要传输信息的信号。 带通信号： 把基带信号经过载波调制后，成为较高频率。调制的方法的：调幅，调频。调相。 较近时就是基带信号，较远的时候就用带通信号。 5、 常用编码： 不归零码（单/双），归零码（单/双），曼彻斯特编码（可以表示不传输信号）。差分曼彻斯特编码抗干扰能力强。 6、信道极限容量：数据通信的时候有干扰（带宽受限，）。 7、奈氏准则：理想情况下（没有信号干扰时），码元传输速率有上限。太快的时候，数据接收的时候就不能识别出来。 8、信噪比(s /n)：香农公式。信道的带宽或者信号的新造越大，信息的传输速率越高。 实际上香农公式如果有信号干扰的情况下。 三、物理层下面的传输媒体。 导向 网络设备：网线：直通线（通过交换机连接两个计算机的时候），交叉电缆（主机到主机，交换机到交换机，集线器到交换机

通信线路的通信方式 点-点方式 多点方式 通信方式 从信息传送方向和时间的关系角度研究 单工通信方式：信息只能单项传输，监视信号可回送 半双工通信方式：信息可以双向传输，但在某一时刻只能单向传输 全双工通信方式：信息可以同时双向传输，一般采用四线式结构 全双工性能最好 单双工用的最多，因为全双工成本高（收发双方、线路） 传输介质 有线介质 如：同轴电缆、双绞线、光纤等 特点：需要布线、抗干扰性强 无线介质 通过大气进行传播，如：微波、红外线、卫星等。 特点：无需布线、抗干扰差 有线网络协议更简单，误码率低 无线网络协议复杂，误码率高，需要恢复。 双绞线 可以传输模拟信号（电话网络）和数字信号（以太网络） 分类： 无屏蔽双绞线 屏蔽双绞线 网卡接口也需要屏蔽措施（成本相对高） 带宽取决于铜线粗细，传输距离、采用技术影响 多采用点到点连接方式 抗干扰性取决于适当的屏蔽和线对的扭曲程度，低频传输接近同轴电缆，高频传输劣于其他有线介质 优点：组网方便、价格便宜（不仅仅是线的价格，还有连接器价格，维护，安装，使用期限） 同轴电缆 有线电视 多点连接使用总线型拓扑结构 只适合传输模拟信号 10 base 2/5 （10M 、基带传输、 使用50欧姆同轴电缆细缆点到点无中继器传输距离200米 / 50欧姆同轴电粗缆点到点无中继器传输距离500米 ） 10 broad 36 （10M 、 频带传输