Chrome

Python下载网络图片方法汇总与实现

懵懂的女人 提交于 2021-01-06 15:31:03
> 本文介绍下载python下载网络图片的方法,包括通过图片url直接下载、通过re/beautifulSoup解析html下载以及对动态网页的处理等。 >​本期小编推送2021初学者一定会用到的Python资料,含有小编自己呕心沥血整理的免费书籍/视频/在线文档和编辑器/源代码,关于`Python`的安装qun:850973621 ### 通过pic_url单个/批量下载 已知图片url,例如http://xyz.com/series-*(1,2..N).jpg,共N张图片,其链接形式较为固定,这样经简单循环,直接通过`f.write(requests.get(url).content)'即可以二进制形式将图片写入。 ``` import os import requests def download(file_path, picture_url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE", } r = requests.get(picture_url, headers=headers) with open(file_path

调试

ⅰ亾dé卋堺 提交于 2021-01-06 11:57:19
调试 - Chrome调试 打开开发人员工具 Ctrl+Shift+i可以打开开发人员工具。 功能面板 NetWork功能面板 在当前页面打开调试工具,刷新页面后点击NetWork可以查看当前页面的Http信息,这个信息是从发起请求到获得响应后为止。 控制/录制 资源列表 点击资源名称(name),右侧会打开关于该资源详细信息的面板。 Header 描述了请求头和响应头信息 Preview 预览资源的数据,比如image、js、css、html等 Response 响应的数据 Cookie 写入客户端的cookie Timing 请求建立连接时的各项耗时 调试JS 控制台输出 请求失败或页面js代码错误都会自动输出到控制台。 可调用console对象的log、error、warn方法输出数据 断点 打完断点 - 刷新页面 - 进入断点,F8终止调试,F10逐过程,F11逐语句(会进入函数内部),Shift+F11(误入函数内部后可跳出到外部) 定位函数 如果想进入该函数,但是该函数可能在另外一个文件中,该文件已经将函数封装得很深,此时光标移入调用函数的表达式可以看到提示该函数在哪个文件被定义,点击链接即可马上定位到该函数,然后可以进去打断点。 输出页面变量 Call Stack(栈帧) Breakpoints (断点列表) 可随时取消某个断点 XHR/fetch

三款科研相关谷歌插件推荐

亡梦爱人 提交于 2021-01-06 09:45:25
点击蓝字 关注我们 在个人浏览器的使用上,一直在使用谷歌浏览器。主要原因还是在于很多开发者基于谷歌浏览器开发了很多辅助工作的插件,这些插件可以提高我们在科研检索的时候的效率。今天就来给大家推荐几个谷歌浏览器的插件吧! Scholarscope 这个相信很多人已经很熟悉了,并且也已经在用了。这个插件是可以让我们在pubmed检索的时候,在每个检索的文章下面显示影响因子的插件、文章分区、文章类型等等的信息。这类辅助显示影响因子的软件还是很多的,为什么选择这个呢?主要原因还是好看。。。检索完之后文章影响因子用不同的颜色标注出来的,看着就是颜值挺高的。 另外,点进每个文章之后,我们也可以在点击 Full-text Link 来通过sci-hub下载文章的全文。不过这个功能需要简单的设置,需要设置的时候,也是点击这个按钮就有很详细的教程了。 Scite 我们检索一篇文章的时候,经常需要查看他的被引次数来确定它的权威性,同时也想知道别的文章关于这篇文章的评论是什么样子的。 scite 这个插件就是让我们干这个事情的。我们在pubmed检索完文章点开具体文章之后,在页面的右边就会出现一个scite的小窗口。这个窗口会告诉我们这篇文章有多少篇引用了,同时通过文本学习的方式来判断引用的语言里面是支持的还是反对的语言。 如果我们再点击这个 scite 侧边栏的话,就可以跳到另外一个界面了

Vue-devtools 安装浏览器调试

南笙酒味 提交于 2021-01-06 04:34:22
工欲善其事,必先利其器。 本文主要讲解Vue-devtools的安装和使用 安装方法有两个: 方法一: (前提条件需要翻墙,省事省力省心方便快速)     翻墙 =》谷歌商店 =》搜索 =》Vue-devtools =》添加至Chrome 方法二:    1、克隆至本地:git clone(vue-devtools)    2、安装项目所需要的npm包:npm install    3、编印项目文件:npm run build    4、添加至chrome浏览器    进入扩展页面=》加载已解压的扩展程序=》选择vue-devtools>shells下的chrome文件夹    /* 如果看不见“加载已解压的扩展程序...”按钮,则需要勾选开发者模式。 */   具体步骤如图所示:      最后:Vue-devtools如何使用呢?   当我们在Chrome添加完扩展后,需要调试Vue应用时,Chrom开发者工具栏会有一个vue的一栏,点击之后就可以看到vue对象的一些信息。 温情提示: 1.vue必须引入开发版, 使用min压缩版是不能使用devtools进行调试的 2.安装后, 需要关闭浏览器, 再重新打开, 才能使用 如有问题欢迎扫码加群,大伙儿一起入群讨论问题! 希望能够帮助到大家!!!谢谢合作!!! 来源: oschina 链接: https://my.oschina

让selenium规避网站的检测

寵の児 提交于 2021-01-05 18:02:30
在使用selenium对某些网站模拟访问的时候会被检测出来,检测出来之后就有可能拿不到我们想要的数据,那么我们怎么可以规避掉呢? 在使用谷歌浏览器的时候我们右键-检查-console-输入window.navigator.webdriver假如返回的是True则是被检测出了了,返回的是undefined则没检测到。 from selenium import webdriver from selenium.webdriver import ChromeOptions option = ChromeOptions() option.add_experimental_option( ' excludeSwitches ' , [ ' enable-automation ' ]) # 实例化一个浏览器对象 bro = webdriver.Chrome(executable_path= ' your driver path ' ,options= option) bro.get( ' https://www.taobao.com/ ' ) 来源: oschina 链接: https://my.oschina.net/u/4335170/blog/3336201

js-数组

霸气de小男生 提交于 2021-01-05 07:37:39
前言   js中的数组是js对象的特殊形式,它有一些特殊行为需要注意。所有的数组都是构造于Array(),都从Array.prototype之上继承一套数组操作方法。 数组的定义   是值的有序列表。数组中的每个值都叫做一个元素,每个元素在数组中有一个位置,以数字来表示,称为索引。 js数组特性   这里简单列出需要注意的特性,之后详细说明重要的部分。   不限类型:数组中的元素可以是任意类型的,同一个数组中也可以拥有不同类型的元素。   动态:会根据需要增长或缩减,不需要在声明时指定数组元素中的个数。数组大小变化时不需要重新分配空间。(区别于真正意义上的数组,js中是使用对象实现的。)   是特殊的对象:第一门语言是java,刚学的时候经常搞出数组下标越界。js中的数本质是特殊对象,模拟的数组行为。访问不存在的下标时,只会单纯的返回undefined。   稀疏数组:数组中的索引不连续,存在空下标。 数组长度   每个数组都有一个length属性,就是这个属性让它区别于其他的js对象。   索引:js中的数组本质是对象,所有的索引其实都是属性名,但只有2~32的平方-2之间的整数才叫做索引0,区别于普通属性。    length的两个特殊行为:     为数组增加元素时(使用索引添加,使用索引之外的属性不会触发),length会自动加一。    

curl 的用法指南

南楼画角 提交于 2021-01-05 04:05:48
简介 curl 是常用的命令行工具,用来请求 Web 服务器。它的名字就是客户端(client)的 URL 工具的意思。 它的功能非常强大,命令行参数多达几十种。如果熟练的话,完全可以取代 Postman 这一类的图形界面工具。 本文介绍它的主要命令行参数,作为日常的参考,方便查阅。内容主要翻译自 《curl cookbook》 。为了节约篇幅,下面的例子不包括运行时的输出,初学者可以先看我以前写的 《curl 初学者教程》 。 不带有任何参数时,curl 就是发出 GET 请求。 $ curl https : / /www .example .com 上面命令向 www.example.com 发出 GET 请求,服务器返回的内容会在命令行输出。 -A -A 参数指定客户端的用户代理标头,即 User-Agent 。curl 的默认用户代理字符串是 curl/[version] 。 $ curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' https : / /google .com 上面命令将 User-Agent 改成 Chrome 浏览器。 $ curl -A '' https

Python网络爬虫之图片懒加载技术、selenium和PhantomJS

与世无争的帅哥 提交于 2021-01-05 04:02:12
引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree if __name__ == "__main__" : url = 'http://sc.chinaz.com/tupian/gudianmeinvtupian.html' headers = { 'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' , } #获取页面文本数据 response = requests.get(url=url,headers=headers) response.encoding = 'utf-8' page_text = response.text #解析页面数据(获取页面中的图片链接) #创建etree对象 tree

监听鼠标上下滚动事件

十年热恋 提交于 2021-01-05 02:55:57
js如何判断滚轮的上下滚动,我们应该都见到过这种效果,用鼠标滚轮实现某个表单内的数字向上滚动就增加,向下滚动就减少的操作,这种效果是通过 js对鼠标滚轮的事件监听来实现的。今天简单的研究了一下如何使用javascript来判断鼠标是向上滚动还是向下滚动,简要分享。 首先,不得不说一下,因为不同的浏览器有 不同的滚轮事件。主要是有两种,onmousewheel(firefox不支持)和DOMMouseScroll(只有firefox支持),关于这两 个事件这里不做详述,想要了解的朋友请移步:鼠标滚轮(mousewheel)和DOMMouseScroll事件,所以在这个过程中需要添加事件监听, 代码如下:兼容firefox采用addEventListener监听。 /*注册事件*/ if(document.addEventListener){ document.addEventListener('DOMMouseScroll',scrollFunc,false); }//W3C window.onmousewheel=document.onmousewheel=scrollFunc;//IE/Opera/Chrome   另外判断滚轮向上或向下滚动在浏览器中也要考虑兼容性,现在五大浏览器(IE、Opera、 Safari、Firefox、Chrome)中Firefox 使用detail