校验和

这是我的最后一门博客了，主要总结了网络协议栈的部分内容（内容实在太庞大，只抽取一小部分来理解）。 此外作为最后的总结，我结合老师每个课件相关内容，找了相对应的题目。 一、网络协议栈总结 首先上图，此图是客户端发到服务器消息所经过的完整路径(图片源自：https://www.cnblogs.com/sammyliu/p/5225623.html) 1. linux内核ipv4网络部分分层结构： BSD socket层： 这一部分处理BSD socket相关操作，每个socket在内核中以struct socket结构体现。这一部分的文件主要有：/net/socket.c /net/protocols.c etc INET socket层：BSD socket是个可以用于各种网络协议的接口，而当用于tcp/ip，即建立了AF_INET形式的socket时，还需要保留些额外的参数，于是就有了struct sock结构。文件主要 有：/net/ipv4/protocol.c /net/ipv4/af_inet.c /net/core/sock.c etc TCP/UDP层：处理传输层的操作，传输层用struct inet_protocol和struct proto两个结构表示。文件主要有： /net/ipv4/udp.c /net/ipv4/datagram.c /net/ipv4/tcp

一、软件工程师必备的能力素质 一、具有良好的编程能力和算法基础。编程能力直接决定了项目开发的效率，软件工程师至少精通一门编程语言，熟悉基本语法、技术特点和API。 二、运用数据库和正则表达式的能力。正则表达式和数据库语言犹如两把利刃，两者结合、灵活运用可以减少代码编写量。 三、具有软件工程的概念。从项目需求分析开始到安装调试完毕，软件工程师必须清楚地理解和把握这些过程，并能胜任各种环节的具体工作。 四、培养对行业的认知。软件工程师要就市场论技术，强调面向对象的分析与设计能力。 五、软实力。除去专业技能，还要有一定的沟通交流能力、团队合作能力、学习能力，尤其是需要较强的英语阅读和写作能力。程序世界的主导语言是英文，编写程序开发文档和开发工具帮助文件离不开英文，了解业界的最新动向、阅读技术文章离不开英文，与编程高手交流、发布帮助请求同样离不开英文。 二、Linux下网络协议栈分析 应用层 应用层的各种网络应用程序基本上都是通过 Linux Socket 编程接口来和内核空间的网络协议栈通信的。Linux Socket 是从 BSD Socket 发展而来的，它是 Linux 操作系统的重要组成部分之一，它是网络应用程序的基础。从层次上来说，它位于应用层，是操作系统为应用程序员提供的 API，通过它，应用程序可以访问传输层协议。 socket 位于传输层协议之上

计算机网络的测试题目题目非常多，408就是非常好的资料，其次我觉的软件工程师应聘，别人面试经验的一些题目也很能够体现计算机网络水平。所以主要选取这两方面 第一部分：选择题 1 .（408 2011年）33．TCP/IP参考模型的网络层提供的是 A．无连接不可靠的数据报服务 C．有连接不可靠的虚电路服务 B．无连接可靠的数据报服务 D．有连接可靠的虚电路服务 解答：A。TCP/IP的网络层向上只提供简单灵活的、无连接的、尽最大努力交付的数据 报服务。此外考察IP首部，如果是面向连接的，则应有用于建立连接的字段，但是没有；如 果提供可靠的服务，则至少应有序号和校验和两个字段，但是IP分组头中也没有（IP首部中 只是首部校验和）。因此网络层提供的无连接不可靠的数据服务。有连接可靠的服务由传输 层的TCP提供。 2 .（408 2011年）某网络拓扑如下图所示，路由器R1只有到达子网192.168.1.0/24的路由。为使R1可以将 IP分组正确地路由到图中所有子网，则在R1中需要增加的一条路由（目的网络，子网掩 码，下一跳）是 A．192.168.2.0 255.255.255.128 192.168.1.1 B．192.168.2.0 255.255.255.0 192.168.1.1 C．192.168.2.0 255.255.255.128 192.168.1.2 D．192

发送ICMP报文时，必须程序自己计算校验和，将它填入ICMP头部对应的域中。 校验和的计算方法: 　　将数据以字为单位累加到一个双字中，如果数据长度为奇数，最后一个字节将被扩展到字，累加的结果是一个双字，最后将这个双字的高16位，低16位相加后取反，便得到了校验和。 下面是checksum的计算校验和的代码： USHORT checksum(USHORT* buff, int size) { unsigned long cksum = 0; while(size>1) { cksum += *buff++; size -= sizeof(USHORT); } // 是奇数 if(size) { cksum += *(UCHAR*)buff; } // 将32位的chsum高16位和低16位相加，然后取反 cksum = (cksum >> 16) + (cksum & 0xffff); cksum += (cksum >> 16); return (USHORT)(~cksum); } Ping程序实例： Ping用来检查主机是否存在，是否可达。 下面是Ping的执行步骤： 1 创建协议类型为IPPROTO_ICMP的原始套接字 2 创建并初始化ICMP封包 3 调用sendto函数向远程主机发送ICMP请求 4 调用recvfrom函数接收ICMP响应 完整代码如下： /////

UDP User Datagram Protocol 用户数据报协议 TCP Transmission Control Protocol 传输控制协议 UDP ：向应用层提供无连接的、不可靠的数据通信服务。端系统使用UDP协议相互通信时，UDP协议只负责将应用程序传输人传输层的数据发送出去，但是并不保证它们能到达。如果传输中数据出错，UDP协议不负责重传，而由更高层负责。当数据正确到达后，接收端不负责确认，交由更高层负责。 1. UDP具有以下几个特性： <1>. UDP信息包的头标很小，只有8字节，相对于TCP的最小20字节的头标而言，传输开销更小。 <2>. UDP是一个无连接协议，传输数据前发送端和接收端之间不建立连接，也就不需要维护连接状态，因此一台服务器可同时向多个客户机传输相同的消息。 <3>. UDP不能确保接收方有序地接收数据包，也不会验证接收方是否收到数据包。 <4>. UDP的吞吐量不受拥塞控制算法的调节。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机处理能力和网络传输带宽的限制。网络出现拥塞不会使发送速率降低。虽然UDP可靠性欠佳，但由于通信开销较小，对于一些对可靠性要求不高的应用还是很划算的。另外，如视频点播等一些应用软件对实时性要求较高、而对可靠性要求不高，UDP是理想的通信协议。 2. UDP的报文结构。

目录： （一）MD5介绍 （二）md5sum命令 （三）实战演练 （一）MD5介绍 (1.1)MD5即Message-Digest Algorithm 5（信息-摘要算法 第5版），用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一（又名：摘要算法、哈希算法），主流编程语言普遍已由MD5实现。将数据运算为另一固定长度值（十六进制的为32位），是杂凑算法的基础原理，MD5的前身有MD2、MD3和MD4。MD5的作用是大容量信息在用数字签名软件签署私人密钥前被“压缩”成一种保密的格式（就是把一个任意长度的字节串变换成一定长的十六进制数字串）。除了MD5以外，其中比较有名的还有sha-1、RIPEMD以及Haval等。 (1.2)在网络传输、设备之间转存、复制大文件等时，可能出现传输前后数据不一致的情况。这种情况在网络这种相对更不稳定的环境中，容易出现，那么校验文件的完整性，也是势在必行的。 （二）md5sum命令 (2.1)md5sum命令用于生成和校验文件的md5值，它会逐位对文件的内容进行校验，校验的是文件的内容，与文件名无关，即文件内容相同，其md5值相同。md5值是一个128位的二进制数据，转换成16进制则是32位（128/4）的进制值。md5校验，有很小的概率不同的文件生成的md5可能相同，比md5更安全的校验算法还有SHA系列的。在网络传输时

PDU（位，帧，数据包。段）MTU最大传输单元。以太网和IEEE802.3对数据帧的长度都有限制，其最大值分别为1500和1492字节。 假设IP层有一个数据报要传。并且数据的长度比链路层的MTU还大。那么IP层就要进行分片（Fragmentation），把数据报分成若干片，这样每一片都小于MTU。 q 当网络上的两台主机互相进行通信时。两台主机之间要经过多个网络，每一个网络的链路层可能有不同的MTU，当中两台通信主机路径中的最小MTU被称作路径MTU。 尽可能避免分片，分片会减少网络传输效率。 以太网帧格式头部有14个字节 6位目的地址 6为源地址 2位类型 用来区分是传给ARP RARP还是IP网络层进行处理 链路层仅仅识别物理地址或MAC地址 不识别逻辑地址 须要解析 IP->MAC地址 ARP解析 MAC->IP地址 反向地址解析RARP ICMP协议用于传递差错信息、时间、回显、网络信息等控制数据。ping程序就是将数据封装成ICMP程序来实现。 ARP协议 地址解析协议 将IP地址转换为MAC地址 上层地址传给下层的时候须要封装 ARP快速缓存中能存放IP地址与MAC地址之间的映射 RARP用于没有硬盘的主机中 想要获取无盘工作站的IP地址 RARPserver存有MAC地址与IP地址的映射 会响应回去。 IP数据报的格式：TTL表示数据报的生存期

Golang语言可以说现在炙手可热，大家熟悉的Kubernates 就是使用Golang开发的。 我们在最近于伦敦和圣地亚哥举行的GopherCon大会上调查了1000多名开发者，以更好地了解Go 开发社区和对Go Module的总体看法。随着最近发布的Go 1.13版本，现在是向社区分享一些有趣数据的好时机。 BTW, 在JFrog，我们也是Go开发者（JFrog CLI和Xray都是用Go编写的）。 同时也是GoLang社区的贡献者, 并为社区维护贡献了公共注册中心 Gocenter(goproxy) https://gocenter.io/ . 加速Golang语言开发人员构建速度。 以下是我们学到的一些关键的东西: Go开发人员是高度投入的 绝大多数的Go开发者都在使用最新版本的GoLang。超过70%的受访者表示使用的是最新版本的Go 1.12。 同样值得注意的是，超过82%的Golang开发者使用的是1.11或更新的版本，因此能够使用Go Module。只有一小部分报告使用了Go的早期版本。 几乎同样多的使用最新版本的Go开发人员也报告在他们的组织中采用了Go Module。也有相当多的人希望尽快使用Go Module，这样到2020年中期，其使用率将上升到至少80%，并可能接近100%。 GoLang被广泛应用于各个行业 虽然Go开发应用于广泛的计算领域

网络编程中最基本的概念就是面向连接（connection-oriented）和无连接（connectionless）协议。尽管本质上来说，两者之间的区别并不难理解，但对那些刚刚开始进行网络编程的人来说，却是个很容易混淆的问题。这个问题与上下文有些关联：很显然， 如果两台计算机要进行通信，就必须以某种形式“连接”起来，那“无连接通信”又是什么意思呢？ 答案是： 面向连接和无连接指的都是协议。 也就是说，这些术语指的并不是物理介质本身，而是用来说明如何在物理介质上传输数据的。面向连接和无连接协议可以，而且通常也确实会共享同一条物理介质。 如果两者的区别与承载数据的物理介质无关，又和什么有关呢？它们的本质区别在于， 对无连接协议来说，每个分组的处理都独立于所有其他分组，而对面向连接的协议来说，协议实现则维护了与后继分组有关的状态信息。 无连接协议 中的分组被称为数据报（datagram），每个分组都是独立寻址，并由应用程序发送的。 从协议的角度来看，每个数据报都是一个独立的实体，与在两个相同的对等实体之间传送的任何其他数据报都没有关系， 这就意味着协议很可能是不可靠的。 也就是说，网络会尽最大努力传送每一个数据报，但并不保证数据报不丢失、不延迟或者不错序传输。 另一方面， 面向连接的协议 则维护了分组之间的状态，使用这种协议的应用程序通常都会进行长期的对话。记住这些状态

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> https://blog.csdn.net/limanjihe/article/details/85270291 https://blog.csdn.net/qiuchangyong/article/details/79945630 UDP数据报 一、UDP的概述（User Datagram Protocol，用户数据报协议） UDP是传输层的协议，功能即为在IP的数据报服务之上增加了最基本的服务：复用和分用以及差错检测。 UDP提供不可靠服务，具有TCP所没有的优势： UDP无连接，时间上不存在建立连接需要的时延。空间上，TCP需要在端系统中维护连接状态，需要一定的开销。此连接装入包括接收和发送缓存，拥塞控制参数和序号与确认号的参数。UCP不维护连接状态，也不跟踪这些参数，开销小。空间和时间上都具有优势。 举个例子： DNS如果运行在TCP之上而不是UDP，那么DNS的速度将会慢很多。 HTTP使用TCP而不是UDP，是因为对于基于文本数据的Web网页来说，可靠性很重要。 同一种专用应用服务器在支持UDP时，一定能支持更多的活动客户机。 分组首部开销小**，TCP首部20字节，UDP首部8字节。 UDP没有拥塞控制，应用层能够更好的控制要发送的数据和发送时间，网络中的拥塞控制也不会影响主机的发送速率