url

requsts库: 学习视频 小规模 爬取网页（request库）-->中规模 爬取系列网站（Scrapy库）-->爬取全网（定制、搜索引擎） #HTTP协议： url时通过http协议存取资源的Internet路径，一个url对应一个数据资源 # patch:节约网络带宽 # head：获取概要信息 # post: post（字典） 形成表单 // post（字符串） 形成data # put： # 参数：params #http://www.qq.com/robots.txt import requests r = requests.get("http://www.baidu.com") print(r.status_code) # 检测请求状态码 200为正常 r.encoding = 'utf-8' print(r.text) # 通用代码： import requests def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200 引发异常 r.encoding = r.apparent_encoding return r.text except: return "erro" #下面测试代码 if __name__ =="__main__": url

平时安卓项目编译较慢，其中一个原因就是要下载依赖资源包比较慢。为了解决这个问题，可以配置阿里云镜像，加速下载。 配置方法： 1. 对特定项目生效，在项目中的 build.gradle修改内容 1 buildscript { 2 repositories { 3 maven { url 'http://maven.aliyun.com/nexus/content/groups/public/' } 4 maven { url 'http://maven.aliyun.com/nexus/content/repositories/jcenter' } 5 maven { url 'http://maven.aliyun.com/nexus/content/repositories/google' } 6 maven { url 'http://maven.aliyun.com/nexus/content/repositories/gradle-plugin' } 7 } 8 dependencies { 9 classpath 'com.android.tools.build:gradle:3.2.1' 10 } 11 } 12 13 allprojects { 14 repositories { 15 maven { url 'http://maven.aliyun.com

这是我要获取url中一个code的参数值所以用了如下的方法GetQueryString(name) { let reg = new RegExp('(^|&)' + name + '=([^&]*)(&|$)') let r = window.location.search.substr(1).match(reg) // search,查询？后面的参数，并匹配正则 console.log("这是r:"+r[2]) return r[2]//这里返回的就是cude值}用到的知识点是下面的这些window.location获取url window.location.search 　　查询(参数)部分。得到的是url中？部分。除了给动态语言赋值以外，我们同样可以给静态页面,并使用javascript来获得相信应的参数值。 substr() 返回一个从指定位置开始的指定长度的子字符串 这里设置为1，是为了把url中的?号去掉 reg是一个正则表达式子，是你获得的参数 　　 var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)"); 　　(^| )代表开始 　　( |$)代表结束 　　以&或者$结尾的字符串 　　这个正则是寻找&+url参数名字=值+& 　　&可以不存在。 window.location.search.substr(1)

在我的表单中，我想使用新的HTML5表单类型，例如 <input type="url" /> （ 有关此处的类型的更多信息 ）。 问题在于Chrome希望对我有帮助，并为我验证这些元素，除了它会吸引人。 如果未通过内置验证，则该元素不会成为焦点，否则不会显示任何消息或指示。 我用 "http://" 预填充URL元素，因此我自己的自定义验证只是将这些值视为空字符串，但是Chrome拒绝了。 如果我可以更改其验证规则，那也可以。 我知道我可以恢复使用 type="text" 但我希望使用这些新类型提供的增强功能（例如：它会自动切换到移动设备上的自定义键盘布局）： 因此， 有没有办法关闭或自定义自动验证？ #1楼 我在下面的选择器中找到了一个使用CSS的Chrome解决方案，而没有绕过可能非常有用的本机验证表单。 form input::-webkit-validation-bubble-message, form select::-webkit-validation-bubble-message, form textarea::-webkit-validation-bubble-message { display:none; } 通过这种方式，您还可以自定义消息... 我在此页面上找到解决方案： http : //trac.webkit.org/wiki/Styling%20Form

1. 前言 Pytorch 目前是炙手可热的深度学习框架。和 TensorFlow 比较起来学习曲线更加平滑，不用写大量的样板代码就可以对网络进行训练和使用。在最新版本的 Pytorch 中开始支持 Java 。但是安装 Pytorch 并不是很容易的事。今天就来说一下如何利用 Conda 安装 Pytorch 。 2. Conda 这里简单提一下 Conda ， Conda 是一个开源的、跨平台的软件包管理系统和环境管理系统，用于安装多个 Python 版本的软件包及其依赖关系，并在它们之间轻松切换。你可以把 Conda 看作 Python 领域的 Maven ，当然有些功能可能比 Maven 更加强大。通常我会安装 anaconda 来集成 Conda 和 Python 环境， anacoda 额外还有 numpy 、pandas 等有用的科学计算包。如果你有洁癖也可以使用 MiniConda ，它只包含 Conda 和 Python 。如果你还不会 Conda 建议你花十分钟快速入门一下。 3. 在线安装Pytorch 以 Mac 为例， Conda 安装最新版 Pytorch 的命令如下： conda install pytorch torchvision -c pytorch 根据该命令的提示很容易就能安装好 Pytorch 。如果安装失败

# urllib简介: 1.urllib模块是Python的一个请求模块 2.Python2中是urllib和urllib2相结合实现请求的发送. Python3中统一为urllib库 3.urllib是Python内置的请求库, 其包含4个模块: (1).request模块: 模拟发送请求 (2).error模块: 异常处理模块 (3).parse模块: 工具模块, 提供关于URL的处理方法, 如拆分, 解析, 合并等 (4).robotparser模块: 识别robots协议 # 部分方法使用介绍: # urlopen方法实现get请求: from urllib import request url = 'https://www.python.org' res = request.urlopen(url) print(res.read()) with open('python.html', 'w') as f: f.write(res.read().decode('utf-8')) # post请求: import urllib.request import urllib.parse url='https://fanyi.baidu.com/sug' postdata=urllib.parse.urlencode({'kw':'boy'}).encode('utf-8')

https://www.cnblogs.com/laoqing/p/9350214.html Selenium出来已经有很多年了，从最初的Selenium1到后来的Selenium2，也变得越来越成熟，而且也已经被很多公司广泛使用。Selenium发展的过程中，分了很多模块，这里我们主要介绍Webdriver，Webdriver已经被很多浏览器所兼容。WebDriver在自动化脚本和浏览器之间充当的角色和之前介绍的Appium很像。 由于现在很多的浏览器都已经主动支持和兼容了WebDriver，所以Webdriver在启动后，会确认浏览器的native component是否存在可用而且版本匹配，接着就在目标浏览器里启动使用Selenium自己设计定义的协议（WebDriver Wire Protocol），WebDriver Wire协议是通用的，也就是说不管是FirefoxDriver还是ChromeDriver等，启动之后都会在某一个端口启动基于这套协议的Web 服务，WebDriver Wire协议是一套基于RESTful的web服务。 在调用WebDriver的时候，实际上是给在浏览器上启动的RESTful服务监听端口上发送http请求，请求会以WebDriver Wire协议规定的JSON格式的字符串来告诉Selenium希望浏览器执行什么样的操作。

window.URL对象的使用方式 window对象的URL对象是专门用来将blob或者file读取成一个url。 一、URL构造函数将普通url转换成URL对象 var url = new URL('https://my.oschina.net/u/4291402?name=test'); console.log('url' , url, url.searchParams.get("name")); //输出 test 二、URL.createObjectURL(object) URL.createObjectURL(object)是URL对象的静态方法，其实就是返回了一个在内存中指向传入参数object的引用路径url字符串。生成的这个url字符串会在当前页面的document被销毁的时候失效。 三、URL.revokeObjectURL(objectURL) 用于销毁之前通过URL.createObjectURL(object)方法创建的url。 四、案例 文件下载 let content = new Blob(); const saveLink = document.createElement('a'); document.body.appendChild(saveLink); const url = window.URL.createObjectURL(content);

在CSS文件中定义诸如背景图片URL之类的内容时，使用相对URL时，它相对于哪里？ 例如： 假设文件 /stylesheets/base-styles.css 包含： div#header { background-image: url('images/header-background.jpg'); } 如果我通过 <link ... /> 将此样式表包含在不同的文档中，那么CSS文件中的相对URL是 相对于 /stylesheets/ 的样式表文档 还是 相对 于其包含 的当前文档 ？ 可能的路径如下： /item/details.html /about/index.html /about/extra/other.html /index.html #1楼 使用css的自动最小化时，可能会发生的一个问题，并且似乎打破了这一问题。 缩小捆绑包的请求路径可以具有与原始CSS不同的路径。 这可能会自动发生，因此可能引起混乱。 缩小包的映射请求路径应为“ / originalcssfolder / minifiedbundlename”，而不仅仅是“ minifiedbundlename”。 换句话说，将包命名为与原始文件夹结构具有相同的路径（带有/），这样，任何外部资源（如字体，图像）都将被浏览器映射为正确的URI。 另一种方法是在CSS中使用绝对url（refs，但这通常是不希望的。

Nginx高级技术：地址重写 一、 概念： （1） 什么是地址重写：获得一个来访的 URL请求，然后改成服务器可以处理的另一个URL的过程。 （2） 地址重写的好处： 1.缩短URL，隐藏实际路径提高安全性 2.易于用户记忆和键入 3.易于被搜索引擎收录 （3） rewrite语法： rewrite基本语句： -rewrite regex replacement flag -if （条件）{...} （4） rewrite选项 -rewrite regex replacement flag -flag：baeak、last、redirect、permanent -last:：停止执行其他重写规则，根据URL继续搜索其他的location，地址栏不改变 -break：停止执行其他的重写规则，完成本次请求 -redirect：302临时重定向，地址栏改变，爬虫不更新URL -permanent：301永久重定向，地址栏改变，爬虫更新URL 二、 案例 所有访问 a.html的请求，重定向到b.html; 所有访问 192.168.4.5的请求重定向至www.baidu.cn； 所有访问 192.168.4.5/下面子页面，重定向至www.baidu.cn/下相同的页面； 实现 firefox与curl访问相同页面文件，返回不同的内容。 （一） 步骤： 1.首先安装安装好nginx服务：