谷歌浏览器

chrome插件推荐

时间秒杀一切 提交于 2019-12-15 00:35:07
记录常用的Chrome插件,防丢失 名称 介绍 Stylish-为任意网站自定义主题 可以下载别人的样式,定义一个干净的网页,有微博,百度等 XPath Helper 使用xpath语法,方便调试 Tampermonkey 安装各类脚本, 大专栏 chrome插件推荐 8%84%9A%E6%9C%AC%E6%8E%A8%E8%8D%90/" target="_blank" rel="noopener noreferrer">个人使用 谷歌服务助手 可以FQ, 下载 后使用chrome登录谷歌账号即可同步插件 Anki 划词制卡助手 按住shift可在线查单词,且能够加入到anki中 档案娘助手 批量删除微博 来源: https://www.cnblogs.com/lijianming180/p/12041557.html

Python爬虫模仿浏览器爬取:Selenium模块的安装

那年仲夏 提交于 2019-12-14 18:54:24
Selenium模块 1.安装selenium python2:pip install selenium python3:pip install selenium 2.设置浏览器驱动 解压后必须与浏览器的exe放置于同一文件夹中 浏览器 驱动 Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads Edge: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/ Firefox: https://github.com/mozilla/geckodriver/releases Safari: https://webkit.org/blog/6900/webdriver-support-in-safari-10/ Google Chrome 稳定版 离线安装包 官方本地下载地址: Google Chrome v75.0.3770.90 无更新功能版 64位 推荐Python大牛在线分享技术 扣qun:855408893 领域:web开发,爬虫,数据分析,数据挖掘,人工智能 零基础到项目实战,7天学习上手做项目 SHA1:4BD8278A9D89D3790F201D4EDA02D31B2F9886FB SHA256

chrome扩展开发实战入门-hellocrx

﹥>﹥吖頭↗ 提交于 2019-12-14 15:39:28
环境:win7+chrome77 1、新建目录,名为hellocrx ;其中,新建文件manifest.json,内容为: { "manifest_version": 2, "name": "hellocrx", "version": "1.0.0", "description": "crx入门学习", "content_scripts": [ { "matches": ["<all_urls>"], "js": ["mycontent.js"], "run_at": "document_end", "all_frames": true } ], "permissions": [ "bookmarks", "http://*/*", "https://*/*" ] } 再新一建一个空的文件,名为:mycontent.js 好了,chrome扩展已经完成了。现在: (1)访问: chrome://extensions/ (2)打开“ 开发者模式 ”开关, 点击“加载已解压的扩展程序,选择您所建立的hellocrx目录。 hellocrx扩展已经出现在url地址栏右侧了,点击扩展图标会有弹出菜单。可以关闭开发者模式了。 2、为了实现交互,现在给chrome浏览器增加右键菜单 (1)修改manifest.json中permissions字段为: "permissions": [

Chrome如何禁用同源策略

倾然丶 夕夏残阳落幕 提交于 2019-12-12 20:51:11
我们可以通过使用chrome命令行启动参数来改变 chrome浏览器 的设置,具体的启动参数说明参考这篇介绍。 https://code.google.com/p/xiaody/wiki/ChromiumCommandLineSwitches 这里介绍的是--disable-web-security参数。这个参数可以降低chrome浏览器的安全性,禁用同源策略,利于开发人员本地调试。 使用步骤如下: 1.关闭所有的chrome浏览器。 2.新建一个chrome快捷方式,右键“属性”,“快捷方式”选项卡里选择“目标”,添加 --args --disable-web-security --user-data-dir 3.然后启动chrome 来源: CSDN 作者: 呜呼哀哉s 链接: https://blog.csdn.net/u010321349/article/details/103512560

关于在linux上部署scrapy的爬虫

守給你的承諾、 提交于 2019-12-12 18:53:51
1.在服务器中安装chrome 1 sudo apt-get install libxss1 libappindicator1 libindicator7 2 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 3 sudo dpkg -i google-chrome*.deb 4 sudo apt-get install -f 2.安装scrapy   sudo apt-get install python3-scrapy   可能pip会熟悉一些,但是还是推荐使用这种方法。因为服务器可能并没有内置pip3,而pip是给python2安装的操作 3.一些非常麻烦的操作 安装chromedriver      1 wget https://npm.taobao.org/mirrors/chromedriver/79.0.3945.36/chromedriver_linux64.zip 2 unzip chromedriver_linux64.zip 给予chromedriver软连接     ln -s chromedriver的目录 /usr/bin/chromedriver     这一步更多是将chromedriver与系统建立联系,类似于windows的添加path

python + selenium + chrome 爬取淘宝总结

喜你入骨 提交于 2019-12-12 12:03:39
1、打开浏览器 查看浏览器版本或者直接输入 chrome://version/ 2、下载浏览器版本对应的chromedriver.exe 下载链接 http://chromedriver.storage.googleapis.com/index.html 3、修改chromedriver.exe,使用Notepad++ 打开chromedriver.exe 查找$cdc,把红线框的这部分修改(随意修改什么,保持位数不变,这一步的目的是为了跳过淘宝对selenium的检测) 4、导入包和配置 from selenium import webdriver from selenium . webdriver . support . ui import WebDriverWait from selenium . webdriver . common . by import By from selenium . webdriver . support import expected_conditions as EC prefs = { 'credentials_enable_service' : False , 'profile.password_manager_enabled' : False , 'profile.managed_default_content_settings

chrome 调试面板

僤鯓⒐⒋嵵緔 提交于 2019-12-12 05:19:20
1. chrome开发者工具 Chrome 开发者工具是一套内置在Google Chrome中Web开发和调试工具。使用开发者工具来重演,调试和剖析您的网站。 其中常用的有Elements(元素面板)、Console(控制台面板)、Sources(源代码面板)、Network(网络面板)。 在Sources面板可以设置断点,遍历代码。 2. 设置断点 使用断点来暂停JavaScript代码,审查变量的值和在特定时刻所调用的堆栈。 设置断点的最基本的方法是在特定的代码行上手动添加一个断点。也可以将这些断点配置为仅在满足特定条件时触发。 在源代码的左侧,可以看到行号。这个区域称为line number gutter(行号槽)。单击行号槽中的行号,就会在该行代码上添加一个断点。 3. 设置监测DOM变化的断点 DOM断点分为三种: 1.Subtree Modifications(子树修改) - 当当前选定节点的子节点被删除,添加或子节点的内容发生更改时触发。当子节点属性改变时,或当前选择的节点发生任何改变,都不会触发该类型的断点。 2.Attributes modifications(属性修改) - 当在当前选定的节点上添加或删除属性时,或当属性值改变时触发。 3.Node Removal(节点删除) -当当前选定的节点被删除时触发。 设置方法:在HTML元素上右键单击

Web自动化环境搭建

社会主义新天地 提交于 2019-12-11 23:08:24
一.phthon 安装 1.准备工具 chromedriver下载地址:http://npm.taobao.org/mirrors/chromedriver/ python官网去下载最新版本:https://www.python.org/downloads/ 下载安装pycharm:http://www.jetbrains.com/pycharm/download/#section=windows 注意:若之前已安装,请注意版本,可卸载后安装最新版 python安装完成后:cmd验证: 2.CMD安装插件 在python 安装的Scripts 目录下进去 pip install ddt pip install -U selenium 安装完成后,Scripts会更新显示已安装的 3.chromedriver 安装 须注意所下载的chromedriver版本需要自己本地所安装的chrome浏览器版本一致 chromedriver放在python的安装根目录下面即可。 下载链接中,只提供了windows版本的chrome和chromedriver. # ---功能描述 :测试chromedriver 和selenium 是否安装成功 from selenium import webdriver import time driver_path = r "D:\Program Files

浏览器安全端口限制

给你一囗甜甜゛ 提交于 2019-12-11 23:05:33
浏览器安全端口限制 之前写爬虫时遇到一个问题,Chrome和Firefox都无法访问,运营的同事说ie和360浏览器可以访问,我用curl访问了下,确实可以访问,仔细看浏览器显示的提示信息,是ERR_UNSAFE_PORT,google了下发现是安全端口的问题。 chrome允许非安全端口访问 注意:退出浏览器,否则会重用已存在的会话,导致设置失效 MacOS: /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --explicitly-allowed-ports=6666 Linux: google-chrome --explicitly-allowed-ports=6666,8888 Firefox允许非安全端口访问 打开新标签页,地址栏输入about:config打开浏览器配置页面,搜索首选项network.security.ports.banned.override,如果没有则添加(首选项类型为字符串),将其值设为6666。再次尝试访问受限站点成功。 如果需要设置多个端口,则把首选项值设为6666,6667的格式即可。 gituhb https://github.com/liangpinglk/blog/blob/master/浏览器安全端口限制.md 来源: https://www.cnblogs

Python多页签自动化登录

断了今生、忘了曾经 提交于 2019-12-11 21:03:14
Python多页签自动化登录 ​ 自己管理了好几个系统,虽然实现自动监控报警,但是还还想要人工检查。为了提高效率,现在写了一个脚本实现多个系统的自动化登录。 脚本选择: 开始想用bat实现,发现走不通,账号和密码登录认证的方式无法解决。有方法的小伙伴可以推荐。 后面使用python实现,主要是方案成熟,可参考案例多啊。 浏览器选择 ​ chrome浏览器:因为习惯了。 事前准备 安装python: 机器已装python3.6.2 安装selenium: pip install selenium 安装webdriver插件:选择chrome版本对应的webdriver( http://chromedriver.chromium.org/downloads ),解压至相关目录下。 目的 自动输入账号和密码认证,实现自动登录。 同时打开多个系统,在一个chrome浏览器下打开多页签。 脚本实现: import os from selenium import webdriver from selenium.webdriver.common.keys import Keys chromedriver = "I:\webdriver\chromedriver.exe" os.environ["webdriver.chrome.driver"] = chromedriver driver =