谷歌浏览器

python 提取灌篮高手视频真实URL过程

末鹿安然 提交于 2019-12-11 10:36:29
背景: 这几天想看灌篮高手的动漫,但是发现爱奇艺,搜狐等视频网站只有灌篮高手标清的,2013年的重制高清版都下架不能看,好像因为版权问题无法播放了,于是百度上搜索,在m.dm530.net/show/4154.html 上还有灌篮高手的重制高清版在线观看,但是在线观看不知是浏览器问题还是什么,无法快进和后退,反正就各种问题,于是就想用Python把该网站的视频直接下载到本地,这样关键的问题就是要找到视频的真实URL。 思路: 首先是想办法先获取第一集视频的URL,于是使用谷歌浏览器打开第一集的播放地址m.dm530.net/v/4154-0-0.html ,按F12,打开Chrome DevTools,选择network选项,去查看网络请求的数据包,看视频链接会不会出现在那里,按文件大小进行排序后,发现有个60M的文件,如下图 这文件很有可能就是视频链接了,把链接复制下来 http://edge.ivideo.sina.com.cn/118657395.hlv?KID=sina,viask&Expires=1525104000&ssig=qqeUdXnlpO 发现是新浪的网址,然后去百度了hlv格式,查到了这也是新浪视频的文件格式。这应该就是所要找的视频链接,下载测试发现是能正常播放的,不过是要支持flv文件格式的播放器才行。而且下载的视频也只有6分钟,应该是新浪把视频分段了

selenium 浏览器无界面模式运行

浪子不回头ぞ 提交于 2019-12-10 18:48:45
以Chrome浏览器为例: 方法一: from selenium.webdriver import Chrome, ChromeOptions opt = ChromeOptions() # 创建Chrome参数对象 opt.headless = True # 把Chrome设置成可视化无界面模式,windows/Linux 皆可 driver = Chrome(options=opt) # 创建Chrome无界面对象 driver.get('http://www.baidu.com')print(driver.current_window_handle) print(driver.page_source) driver.close() 方法二: from selenium.webdriver import Chrome from selenium.webdriver.chrome.options import Options opt = Options() opt.add_argument('--no-sandbox') # 解决DevToolsActivePort文件不存在的报错 opt.add_argument('window-size=1920x3000') # 指定分辨率 opt.add_argument('--disable-gpu') #

Chrome开发者工具全面简介

时光毁灭记忆、已成空白 提交于 2019-12-10 17:28:37
本文转载自掘金小册的翻译,因为时间比较早,部分特性与新版本Chrome存在微小差异,读者自行斟酌 从 Chrome 说起 谷歌浏览器(通常简称为 Chrome )是由谷歌开发的网络浏览器。 它于 2008 年首次针对 Microsoft Windows 发布,后来移植到 Linux ,macOS ,iOS 和 Android 。 浏览器也是 Chrome OS 的主要组件,它可以作为 Web 应用的平台。Chrome-wikipedia 浏览器的市场天下三分,Chorme,Safari和FireFox,从 2008 年 Chrome 横空出世以来,如今已经一家独大占据了半壁江山 对于大部分人来说,Chrome 可能只是个浏览器,但是对于开发人员来说,它更是一个强大无比的工具,为了方便开发人员调试代码,主流的浏览器都内置了 DevTools, 所以无论你是前端还是后端,掌握 Chrome 的调试技巧意味着效率直接的提高。而这本小册要介绍的,就是 Chrome-DevTools 的使用技巧。 DevTools 简介 打开 Chrome 开发者工具 在 Chrome 菜单中选择 更多工具 > 开发者工具 在页面元素上右键点击,选择 “检查” 使用 快捷键 Ctrl + Shift + I (Windows) 或 Cmd + Opt + I (Mac) 了解面板 元素面板 控制台面板

Mac上配置xdebug + NetBeans + Chrome

狂风中的少年 提交于 2019-12-10 17:18:30
php.ini zend_extension = xdebug.so xdebug.remote_enable = 1 xdebug.remote_handler = dbgp xdebug.remote_host = localhost xdebug.remote_mode = req xdebug.remote_port = 9008 xdebug.idekey=netbeans-xdebug 请注意: 1)第一行不是使用extension=...,而是 zend_extension =...。 2)port端口可以自定义,最好是9000以上,9000往往被占用。但是!一定要和NetBeans设置的端口一致。 NetBeans设置 Chrome安装插件Xdebug Helper http://www.cnplugins.com/devtool/xdebug-helper/ 设置idekey为netbeans-xdebug 装不了插件? Chrome无法安装crx插件的解决办法 - (最简单) - CRX_HEADER_INVALID https://blog.csdn.net/qq285744011/article/details/103462493 来源: CSDN 作者: Rudon滨海渔村 链接: https://blog.csdn.net/qq285744011

centos7.4环境配置selenium+python3+chrome环境

本秂侑毒 提交于 2019-12-10 12:13:07
在基于selenium进行的UI自动化测试中,开发调试环境一般都是windows操作系统。完成后需要部署到专门的测试环境。 如要要部署到linux环境的服务器(阿里云、腾讯云)执行,那么测试脚本也需要对应的浏览器支持, 才能正常进行测试。 這篇博客,介绍下如何在如何在linux环境安装python、chrome、chromium、Xvfb的命令和方法。。。 1、安装python linux系统自带python,不过一般都是2.6或者2.7版本,可以通过命令 python -V 查看当前的python版本号 如果你用的python3.0+的版本,那么就需要升级为本地开发对应的python版本,可以输入下面的命令来升级: 从下载链接下载安装包: wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz linux安装python3及pip3参考这篇博客 https://www.cnblogs.com/fcc-123/p/11586707.html 然后可以将刚刚下载的解压包和解压出来的文件夹删掉。安装成功后,可以输入 whereis python3 查看安装路径 输入python3,可以进入python命令行,输入print测试,然后就是pip命令安装自己需要的python库。 2、关于chrome

关于selenium被检测问题

我是研究僧i 提交于 2019-12-10 10:55:00
大多数网站通过检测浏览器参数来进行判断是不是selenium启动的浏览器,我们在利用selenium执行某些方法的同时,可能会造成某些参数出现(navigator.webdriver、无头里UA出现webdriver),所以写下这篇随笔,来尽可能地不被网站检测到。 法一: 参考 https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver 内高赞答案。 网站会检测某个特殊参数$cdc_asdjflasutopfhvcZLmcfl,当然不止这一个,还有许多其余参数 网上有许多人是通过mitmproxy来拦截请求进行修改参数的 import re from mitmproxy import ctx def response(flow): if '/js/yoda.' in flow.request.url: for webdriver_key in ['webdriver', '__driver_evaluate', '__webdriver_evaluate', '__selenium_evaluate', '__fxdriver_evaluate', '__driver_unwrapped', '__webdriver

HTML5 a元素download属性

为君一笑 提交于 2019-12-10 09:32:58
HTML5中a元素新增加了download属性,可以指定链接不打开,而直接启动浏览器的下载功能,下载链接目标,浏览器支持: Chrome Firefox IE Opera Safari Edge 14+ 20+ 不支持 15+ 不支持 ? 虽然Firefox、Chrome都支持,但两者有区别,Firefox官方文档MDN标注: This attribute is only honored for links to resources with the same-origin. Same-Origin 同源策略,如果域名不一样,Firefox是不会生效的,而Chrome依然会生效。 来源: oschina 链接: https://my.oschina.net/u/170216/blog/479662

Google Chrome 66可以下载啦

邮差的信 提交于 2019-12-10 07:33:19
Google最近发布了适用于Windows,Linux和Mac的Chrome 66,这一次更新日志包含安全修复和性能改进以及内置功能。 Chrome 66.0.3359.117总共提供了62个安全修复程序,这强调了用户尽快安装新版本的重要性。 Google已经向在浏览器中发现安全漏洞的安全研究人员支付了数千美元的奖金,其中包括向WebAssembly报告用户免费漏洞的未命名个人的7500美元。 在Chrome 66中修复了两个严重的安全漏洞,这两个漏洞均由Ned Williamson报告,并描述了磁盘缓存中的免费使用漏洞。 针对Spectre漏洞的进一步缓解措施 此外,Chrome 66还针对英特尔,AMD和ARM处理器中发现并于1月初披露的Specter漏洞引入了新的缓解措施。谷歌表示,Chrome至今依靠网站隔离来保护用户,而且通过这次新的更新,浏览器将包含一小部分此功能的试用版,为更广泛的即将发布做好准备。 谷歌在官方公告中还有其他一些细微的变化,包括对浏览器处理证书方式的更多改进。 “搜索公司解释说:”Chrome 66不会信任赛门铁克传统PKI在2016年6月1日之前发布的网站证书,继续我们先前公告中概述的阶段性不信任。“ Google Chrome现在是全球头号桌面浏览器,市场份额超过60%。尽管微软在Windows 10上推出了自己的Edge浏览器

下载怎么办,试试Aria2

不羁岁月 提交于 2019-12-10 07:17:50
同步自我的个人博客 墨语的后花园 ,请多多指教。 刚使用Linux的时候,对于下载东西会有种无力感,没了迅雷,没了常见的下载工具,那怎么办呢? wine 环境下面搞一个,还是搞下其他的工具?后来在我几经尝试之下,我发现了 Aria2 这个下载工具,所以这篇博客就是来介绍这个下载工具的使用的。 那我们的目标是什么呢,那就是我们将其伪装成了一个BT客户端,还和百度云盘和Chrome进行了集成,还是做成了一个Systemd的服务,并且有个桌面客户端,想想是不是有点激动,那就开始吧。 安装 对于 Aria2 这个工具来说,绝大部分的发现版已经内置在官方维护的镜像中,最大的区别就是可能在不同发行版本之下的默认版本不同,但是一般情况下也没有什么影响,所以可以一行命令就搞定这个事情。 # 以ArchLinux作为示例 pacman -S aria2 配置 安装完成了,那我们就要说一下配置了,如果只是简单的使用,配置还是很简单的。但是我们的目标是伪装成一个BT客户端,能在Chrome中使用,还能使用百度云并且还能支持开机启动,这个在配置上来说就有点麻烦,所以我们得一步一步的来。 基本配置 对于基本的配置来说,最重要的几点就是下载的位置,下载任务进度的保存位置以及远程访问的密码等这些配置。 这里有个示例配置的 网站 ,我们可以在这个配置的基础上进行修改后得到我们的配置。