urllib3

【推荐阅读】微服务还能火多久？>>> 问题1： 爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool（host:XX）Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXXX>: Failed to establish a new connection: [Errno 99] Cannot assign requested address' 原因： 是因为在每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次，然而在多次访问后不能结束并回到连接池中，导致不能产生新的连接 解决： headers中的Connection默认为keep-alive，将header中的Connection一项置为close headers = { 'Connection': 'close', } r = requests.get(url, data=formdata, headers=headers) 参考： https://blog.csdn.net/ZTCooper/article/details/80220063 问题2： 爬虫多次访问同一个网站一段时间后会出现错误

3 月，跳不动了？>>> 作者：才能我浪费99 1. 简介： 1.1. 什么是EasyDL专业版 EasyDL专业版是EasyDL在2019年10月下旬全新推出的针对AI初学者或者AI专业工程师的企业用户及开发者推出的AI模型训练与服务平台，目前支持视觉及自然语言处理两大技术方向，内置百度海量数据训练的预训练模型，可灵活脚本调参，只需少量数据可达到优模型效果。 适用人群： 专业AI工程师且追求灵活、深度调参的企业或个人开发者 支持定制模型类型。 1.2. 支持视觉及自然语言处理两大技术方向: 视觉：支持图像分类及物体检测两类模型训练。 任务类型: 预置算法 图像分类： Resnet(50,101)、Se_Resnext(50,101)、Mobilenet Nasnet 物体检测： FasterRCNN、YoloV3、mobilenetSSD 自然语言处理：支持文本分类及短文本匹配两类模型训练，内置百度百亿级数据所训练出的预训练模型ENNIE. ERNIE(艾尼）是百度自研持续学习语义理解框架，该框架可持续学习海量数据中的知识。基于该框架的ERNIE2.0预训练模型，已累计学习10亿多知识，中英文效果全面领先，适用于各类NLP应用场景。 任务类型 ：预置网络 文本分类： BOW、CNN、GRU、TextCNN、LSTM、BiLSTM 短文本匹配：SimNet(BOW、CNN、GRU

问题： 在浏览器中访问该网站时会弹出证书不受信任，但是忽略仍可继续访问 但当使用Python登录时就会抛出_ssl.c:645错误，不能读取页面。 之前在做Android开发用Jsoup访问该站时也会有问题，当时的解决办法是写一个方法直接信任所有Https的安全证书，就在想python是不是也是可以这样做。 1、修改_create_default_https_context变量 import ssl ssl._create_default_https_context = ssl._create_unverified_context 这样就可以解决了！ 2、 使用requests库发送请求的时候直接设置verify=False取消验证即可，会有下面问题 问题到此为止还没结束，取消SSL验证又带来一个新问题。出现了警告信息，这个锅是urllib3的。 InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. 虽然不是错误，但是在捕捉异常时，默认会出问题，为了不影响原有流程，应该去掉这些警告信息。 或者直接取消所有urllib3的警告 requests.packages.urllib3.disable