http代理

一、给CentOS的yum和wget配置代理 在公司中为了网络安全，通常需要用代理才能连接外网。这种情况下安装的Linux机器无法也无法直接连上yum服务器，导致安装软件很不方便。 解决方法就是，也给yum配置代理。 方法如下： 修改/etc/yum.conf，加入下面的内容 #Proxy Setting proxy=代理的IP地址 proxy_username=代理的用户名 proxy_password=代理的密码 测试yum源代理配置成功，输入命令"yum list"，如正确获取yum数据即配置yum源成功。 [root@host etc]# yum list （2） 给wget下载工具配置代理 方法一：配置文件中设置(推荐) 在当前用户的目录下创建一个.wgetrc文件，然后在~/.wgetrc中设置代理服务器： http_proxy = http://ip_or_domainname:80/ ftp_proxy = http://ip_or_domainname:80/ use_proxy = on 分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用： –proxy-user=USER设置代理用户 –proxy-passwd=PASS设置代理密码 这两个参数。 使用参数–proxy=on/off 使用或者关闭代理。 方法二

HTTP代理服务器可以比作客户端与Web服务器网站之间的一个信息中转站，客户端发送的HTTP请求和Web服务器返回的HTTP响应通过代理服务器转发给对方， 爬虫程序在爬取某些网站的时候也需要使用代理，例如 由于网络环境因素，直接爬取的速度太慢了，使用代理提高爬取的速度 某些网站读用户的访问速度进行限制，爬取过快会被封禁IP，使用代理防止被封禁 由于地方法律或者政治的原因，某些网站是无法直接进行访问的，使用代理可以绕过访问的限制 在scrapy中专门提供了HttpProxyMiddleware来给scrapy爬虫设置代理 　　 HttpProxyMiddleware默认就是开启的，它会在系统环境变量中搜索当前系统代理，作为scrapy爬虫使用的代理 源码解析： 　　__init__方法： 　　　 在HttpProxyMiddleware的构造器中，使用python标准库urllib中的getproxies函数在系统环境变量中搜索系统代理的相关配置（变量名格式为[格式]_proxy的变量），调用self._get_proxy方法解析代理配置信息，并将其返回结果保存到self.proxies字典中，如果没有找到任何代理配置的话，就抛出NotConfigured异常，HttpProxyMiddleware就会被放弃使用 　　_get_proxy方法： 　　　　解析代理配置信息

原作者： 留七七， 地址：http://www.jianshu.com/p/6e86903d74f7一、常用标准请求头字段 　　　　Accept 　　　　　　　　　　　　设置接受的内容类型 　　　　Accept-Charset 　　　　　　 设置接受的字符编码 　　　　Accept-Encoding 　　　　　　 设置接受的编码格式 　　　　Accept-Datetime 　　　　　　 设置接受的版本时间 　　　　Accept-Language 　　　　　　 设置接受的语言 　　　　Authorization 　　　　　　 设置HTTP身份验证的凭证 　　　　Cache-Control 　　　　　　 设置请求响应链上所有的缓存机制必须遵守的指令 　　　　Connection 　　　　　　　　　 设置当前连接和hop-by-hop协议请求字段列表的控制选项 　　　　Content-Length　　　　　　 设置请求体的字节长度 　　　　Content-MD5 　　　　　　　　　设置基于MD5算法对请求体内容进行Base64二进制编码 　　　　Content-Type 　　　　　　 设置请求体的MIME类型（适用POST和PUT请求） 　　　　Cookie 　　　　　　　　　　　　设置服务器使用Set-Cookie发送的http cookie 　　　　Date 　　　　　　　　　　　　

在nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。 假设下面四种情况分别用 http://192.168.1.1/proxy/test.html 进行访问。 第一种： location /proxy/ { proxy_pass http://127.0.0.1/; } 代理到URL：http://127.0.0.1/test.html 第二种（相对于第一种，最后少一个 / ） location /proxy/ { proxy_pass http://127.0.0.1; } 代理到URL：http://127.0.0.1/proxy/test.html 第三种： location /proxy/ { proxy_pass http://127.0.0.1/aaa/; } 代理到URL：http://127.0.0.1/aaa/test.html 第四种（相对于第三种，最后少一个 / ） location /proxy/ { proxy_pass http://127.0.0.1/aaa; } 代理到URL：http://127.0.0.1/aaatest.html 来源： https://www.cnblogs.com/cnblog-long/p/11690329

需求背景 做一些爬虫或者模拟请求的时候，使用python的requests是比较方便的，但是有时候想看看自己构造的请求包是什么样的，就需要为requests设置代理了。 代码案例 import requests proxies = {'http': 'http://localhost:8080', 'https': 'http://localhost:8080'} r = requests.get('https://www.douban.com/', proxies=proxies, verify=False) print(r.status_code) burp设置 拦截到了数据了。 来源： https://www.cnblogs.com/mysticbinary/p/11688633.html

目录 爬虫 1. 什么是爬虫 : 2. 爬虫的分类 : 3. 爬虫安全性的探究 4. http & https 头部信息 1、通用头部 2、请求头部 3、响应头部 https的加密方式 5. request模块 1. 爬取搜狗首页的页面源码数据 2. 实现一个简易的网页采集器 请求参数的动态化 3. 动态加载的数据 通过另一个网络请求 (ajax) 请求到的数据 4. 爬取肯德基的餐厅位置信息 5. 面试题 6. 数据解析 1. 如何爬取图片数据？ 2. 数据解析 数据解析 正则解析 bs4解析 xpath解析 7. 代理 8. cookie 9. 验证码的识别 模拟登陆 10. 使用线程池提升爬取数据的效率 11. 单线程+多任务的异步协程 1. 解释说明 2. 协程对象 - 特殊的函数 3. 基于协程对象创建任务对象 4. 事件循环对象 5. 多任务异步协程 6. 给任务对象绑定回调 7. 多任务异爬虫 12. selenium selenium的基本使用 捕获动态加载的数据 动作链的使用 无头浏览器 - 无可视化界面 规避网站对selenium的监测 13. 12306模拟登陆 14. 空气质量数据爬取 爬虫分析 1. 获取ajax请求的动态变化且加密的请求参数（d：xxx） 2. 携带捕获到请求参数进行请求 : 3. 对捕获到的加密的响应数据进行解密 4. 完整代码 15.

设置系统网络代理 命令：vi /etc/profile 在末尾添加 http_proxy=http://代理地址:端口 ssl_proxy=http://代理地址:端口 proxy_username=’代理名称’ proxy_password=’代理密码’ export http_proxy 保存退出 重启系统 设置yum源代理 命令：vi /etc/yum.conf 在末尾添加 proxy=http://代理地址:端口 proxy_username=代理名称 proxy_password=代理密码 保存退出 生成缓存 命令：yum clean all 命令：yum makecache 出现Metadata Cache Created配置成功 来源： CSDN 作者： guduershi 链接： https://blog.csdn.net/guduershi/article/details/77744292

端口 说明 0 无效端口,通常用于分析操作系统 1 传输控制协议端口服务多路开关选择器 2 管理实用程序 3 压缩进程 5 远程作业登录 7 回显 9 丢弃 11 在线用户 13 时间 17 每日引用 18 消息发送协议 19 字符发生器 20 FTP文件传输协议(默认数据口) 21 FTP文件传输协议(控制) 22 SSH远程登录协议 23 telnet(终端仿真协议),木马Tiny Telnet Server开放此端口 24 预留给个人用邮件系统 25 SMTP服务器所开放的端口，用于发送邮件 27 NSW 用户系统 FE 29 MSG ICP 31 MSG验证,木马Master Paradise、HackersParadise开放此端口 33 显示支持协议 35 预留给个人打印机服务 37 时间 38 路由访问协议 39 资源定位协议 41 图形 42 主机名服务 43 who is服务 44 MPM(消息处理模块)标志协议 45 消息处理模块 46 消息处理模块(默认发送口) 47 NI FTP 48 数码音频后台服务 49 TACACS登录主机协议 50 远程邮件检查协议 51 IMP(接口信息处理机)逻辑地址维护 52 施乐网络服务系统时间协议 53 dns域名服务器 54 施乐网络服务系统票据交换 55 ISI图形语言 56 施乐网络服务系统验证 57

1. IDEA配置代理： 2. maven配置代理： 在maven中配置代理，主要配置编辑~/.m2/settings.xml文件的<proxies> socks5类型： <id>socks5</id> <active>true</active> <protocol>socks5</protocol> <host>10.98.88.88</host> <port>8081</port> 隔离内网的nexus <nonProxyHosts>10.98.88.89*|32.*</nonProxyHosts> </proxy> http类型： <id>http</id> <active>true</active> <protocol>http</protocol> <host>10.98.88.88</host> <port>8081</port> <nonProxyHosts>10.98.88.89*|32.*</nonProxyHosts> </proxy> 来源： https://www.cnblogs.com/mediocreWorld/p/11678204.html

vi /etc/profile http_proxy=http://name:password@192.168.10.100:1080/ ftp_proxy=http://name:password@192.168.10.100:1080/ no_proxy="localhost,127.0.0.0/8,172.16.0.0/12,192.168.0.0/16" export http_proxy export ftp_proxy export no_proxy source /etc/profile curl ip.gs https://blog.csdn.net/u013063153/article/details/78120945 设置docker代理 mkdir -p /etc/systemd/system/docker.service.d touch /etc/systemd/system/docker.service.d/http-proxy.conf echo -e '[Service]\nEnvironment="HTTP_PROXY=http://yaoyao:yaoyao@192.168.10.4:1080"' > /etc/systemd/system/docker.service.d/http-proxy.conf touch /etc/systemd