safari

Python爬虫学习之爬美女图片

大兔子大兔子 提交于 2020-08-06 14:21:57
学习python可能最先入手的就是爬虫了,闲来没事就找了找爬点什么内容比较好。突然发现最近很流行爬去美女图片啊!!!!二话不说,搞起来。 先来看看网站长啥样。 再看看网站的Html结构。 好了,知道了网站html结构,name就开干吧。先创建py文件,引入第三方包urllib.request、BeautifulSoup和os。 1、创建文件保存方法 2、定义请求头 3、网页分析 4、主函数 5、结果 6、程序源码 import urllib.request from bs4 import BeautifulSoup import os def Download(url, picAlt, name): path = ' D:\\tupian\\ ' + picAlt + ' \\ ' # 判断系统是否存在该路径,不存在则创建 if not os.path.exists(path): os.makedirs(path) # 下载图片并保存在本地 urllib.request.urlretrieve(url, ' {0}{1}.jpg ' .format(path, name)) #定义请求头 header = { " User-Agent " : ' Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like

WEB前端第十三课——浏览器内核、位置

别等时光非礼了梦想. 提交于 2020-08-06 09:20:02
1.浏览器内核及前缀   在CSS中新的属性标准尚未明确的情况下,各浏览器厂商对新属性的支持情况也不相同,这个阶段会对属性加厂商前缀进行区分。   根据不同的浏览器内核,CSS前缀有所不同,最基本的浏览器内核有四种,其他内核都是基于此四种进行再研发的。   ① Gecko内核,前缀为“-moz-”,火狐浏览器   ② Webkit内核,前缀是“-webkit-”,也叫谷歌内核,Chrome浏览器最先开发使用,Safari浏览器也使用该内核           目前,国内很多浏览器也使用了webkit内核,如360极速、世界之窗、猎豹等   ③ Trident内核,前缀为“-ms-”,也称 IE内核   ④ Presto内核,前缀是“-o-”,目前只有Opera使用   代码实例 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>CSS浏览器内核</title> <style> div { width: 500px; height: 500px; background-color:orange; border: 36px solid rgba(255,255,255,0.5); margin: 60px auto; padding: 50px; font-size: 200px; font

评估浏览器级别,提醒升级

ぐ巨炮叔叔 提交于 2020-08-06 08:56:06
是时候拒绝一些老旧的浏览器了,诱导你的用户升级浏览器吧 = =! 这张网页以IE 各本版本为参照粗略地评估访客的浏览器等级,提醒低于IE8 级别(没办法,XP不支持IE9)的浏览器用户更换浏览器。 <! DOCTYPE html > < html > < head > < meta http-equiv ="Content-Type" content ="text/html; charset=utf-8" /> < meta http-equiv ="X-UA-Compatible" content ="Edge" /> <!-- <meta http-equiv="X-UA-Compatible" content="IE6" /> --> <!-- 哆啦A梦 css, from internet --> < link rel ="stylesheet" href ="http://files.cnblogs.com/ecalf/duolaAmeng.css" /> </ head > < body > < style > .nomoreie { width : 550px ; display: none; clear : both ; position : relative ; left : -260px ; margin-left : 50% ; margin-top :

SyncBird pro for Mac(iOS内容管理软件)

你说的曾经没有我的故事 提交于 2020-08-06 06:34:06
iOS内容不好管理怎么办?小编推荐的SyncBird pro mac版是一款非常好用的iOS内容管理软件,提供一站式管理功能,帮助用户进行修改数据,包括转换格式、双向同步、导入等实用功能在内,操作间简单,欢迎来Macjb下载SyncBird pro mac版使用。 SyncBird pro软件介绍 SyncBird pro for Mac是一个iPhone文件管理器,它可以让iOS的同步和iTunes资料一目了然不使用iTunes中,在iPhone,ipad公司的iPod和苹果之间传输音乐,播放列表,照片,视频,书籍 - 所有的东西.SyncBird的独家功能名为PhoneCare和TunesCleaning,目的是在iPhone和iTunes的上重新获得更多的免费空间。不需要额外的努力,SyncBird将为您每天进行彻底的清理,这样您就可以永远摆脱存储边界。 SyncBird pro软件功能 无需iTunes即可传输iPhone和iPod音乐 如果它变得更小和单一目的,iTunes会更好吗?全新的SyncBird是一款更简单,更集中的iTunes替代产品,对您的iPhone,iPad和iPod音乐管理至关重要。 无论您的音乐是通过CD刻录,从互联网下载还是自行录制,SyncBird都可以帮助您在任何Mac计算机上从任何iTunes资料库将音乐上传到iPhone,iPad或iPod

C#桌面开发的未来WebWindow

独自空忆成欢 提交于 2020-08-06 06:29:00
目录 WebWindow 源码 作者博客 基于Chromium的Edge 体验 体验方式一: 体验方式二: 预期目标: 遗留的问题 WebWindow WebWindow是跨平台的库。 Web Window的当前实验实现可在以下平台上运行: Windows – 需要基于Chromium的Edge Linux – 使用WebKit Mac – 需要Safari 源码 https://github.com/SteveSandersonMS/WebWindow.git Zeje Fork的分支: https://github.com/zeje/WebWindow.git 作者博客 https://blog.stevensanderson.com 基于Chromium的Edge 因为大众用的还是Windows操作系统(如win 7,win 10)。为了面向大众,我们在Windows 10下体验下WebWindow。现在下载并安装基于Chromium的Edge: 下载地址: https://www.microsoft.com/en-us/edge 下载地址: https://www.microsoft.com/en-us/edge/business/download (建议) 中间可能在升级的时候,要求你更新操作系统才可以安装(安装过程略) 体验 本人的体验环境是: Window 10

使用fiddler抓取手机上的HTTPS包

故事扮演 提交于 2020-08-06 04:26:56
最近想抓取手机上app的数据包,在电脑上抓包可选的工具有很多, 比如 wireshark ,Linux命令行下有 tcpdump 等等工具。可是在这些工具在手机上都没法使用,这怎么搞 后来想了想能不能用网络代理抓包呢,说干就干。从网上查到,用fiddler可以代理手机的网络。 第一步下载fiddler 去下载一个fiddler,建议去官网下载 传送门 。 fiddler 勾选协议,填写邮箱,然后下载就可以 第二步安装fiddler 双击下载的.exe文件,然后选择目录,next,next,完成安装 第三步安装CertMaker插件 fiddler默认生成的证书不能满足Android和iOS系统的要求,需要使用这个插件 传送门 往下找,找到图片的地方,点击下载,下载后,双击安装 CertMaker 第四步配置fiddler代理 想要抓HTTPS的数据包,必须安装证书, fiddler 点击tools->options,然后出现这个界面,按照我标注的1,2,3,4都勾选,中间会出现一些提示,都点 yes 最后出现这个对话框说明证书已经安装成功。 第五步配置代理(手机和电脑在同一个网络中) 重启fiddler,开始手机的配置。查看电脑的IP地址,我的是192.168.31.56然后打开手机的浏览器(苹果手机一定要用Safari),输入 IP地址:端口号 我的是 192.168.31.56

requests用法基础-进阶

亡梦爱人 提交于 2020-08-06 03:14:38
本节内容 模块的安装 -----------------------基础用法--------------------- GET用法、POST用法 -----------------------进阶用法-------------------- cookie处理、代理ip、session 一 模块安装: 1). 安装requests包还是很方便的,电脑中有python环境,打开cmd,输入pip install requests下载; 如果有同学使用pycharm的话,选择file-->setting-->Project interpreter-->右边"+"号点击--->输入模块名---->选中下载。 2). requests的作用、特点、以及使用流程 作用:模拟用户使用浏览器上网 特点:简单、高效 使用流程: 指定url; 发起请求(requests.get/post); 获取响应信息/数据(response); 持久化存储(保存csv、MySQL、txt等); 二基本用法: 1). get(url,headers,params):各用法 获取搜狗首页的页面数据: 1 import requests # 引包 2 # 1指定url 3 url = ' https://www.sogou.com/ ' 4 # 2.发起请求 5 response = requests.get(url=

VMLogin 配置高手进阶尽在 vmlogin.cc

半腔热情 提交于 2020-08-05 14:12:05
VMLogin浏览器配置文件设置非常重要,如果设置有明显的冲突或不符合常理,那么所应用到的场景可能就会受到影响。下面我们来看看哪些不合常理的配置例子: WebGL vendor (供应商): 像苹果手机和苹果电脑一般都是 WebGL vendor :Apple Inc. WebGL renderer(渲染器):Apple GPU 如果我们是 Windows 系统情况下,大部分是: WebGL vendor :Google Inc. 我们在做实验的情况下Chrome浏览器和Internet Explorer(Edge)测试取WebGL vendor 会有两种不同值 ,Chrome 取为 Google Inc. Internet Explorer(Edge)取为 Microsoft ,所以 WebGL vendor 不能完全翻译为《显卡供应商》,因为它和浏览器开发商有关。我们有趣的发现Firefox浏览器取值 WebGL vendor :Google Inc. 所以这里我们可以得出一个结论:如果我们把User-Agent标识成了Chrome 和 Firefox 浏览器,那么最好 windows 系统 WebGL vendor 设置为Google Inc. 比较合理。 高手 User-Agent 配置不得不熟悉 首先,我们来了解一下什么是 User-Agent。 User

挑战每分钟爬取100个视频,只要网速够快,反爬就追不到我

ε祈祈猫儿з 提交于 2020-08-05 13:40:02
前言 好看视频大部分是精品短视频!相同的接口返回不同的视频给用户 今天就带大家把系统推荐的视频给爬取下来! 知识点 1、动态数据抓包演示 2、json数据解析方法 3、视频数据保存 环境介绍 python 3.6 pycharm requests json 爬虫的一般思路 1、分析目标网页,确定爬取的url路径,headers参数 2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据 3、解析数据 4、保存数据 -- 保存在目标文件夹中 步骤 1、导入工具 import requests import time import pprint 2、确定爬取的url路径,headers参数 # 获取时间戳 """ 时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总毫秒数。 秒级时间戳,10位 毫秒级时间戳,13位 微秒级时间戳,16位 """ time_one = str(int(time.time() * 1000 )) # print(time_one) base_url = ' https://haokan.baidu.com/videoui/api/videorec?tab=gaoxiao&act=pcFeed&pd=pc&num=20&shuaxin_id= ' + time_one

爬虫 全国建筑市场监管服务平台小程序 数据抓取与采集

人盡茶涼 提交于 2020-08-05 13:28:25
原来发了几遍文章关于 全国建筑市场监管公共服务平台(四库一平台)平台的网站数据采集和抓取: 建筑资质爬虫抓取-全国建筑市场监管公共服务平台(一)入门篇 建筑资质爬虫抓取-全国建筑市场监管公共服务平台(二)-接口篇 新版建筑市场(四库一平台)抓取最新信息(爬虫) 最近发现 建筑市场监监管平台推出了自己的小程序《全国建筑市场监管服务平台》。 ​在使用过程中,发现没有前端的辅助验证码,和一些访问的现在,于是就研究如何通过小程序来抓取数据,经过的学习和研究基本完成的数据的采集和抓取,就把整个流程最一点记录,如果需要相关的技术支持和爬虫数据可以联系我(QQ:397713472 电话:13880334484[微信同号])。 一、使用爬虫抓包工作抓取小程序访问链接 我喜欢用 Fiddler 抓包工具,我这里就不详细说怎么配置和安装,这个网上的教程很多;安装和配置好了,我们访问小程序,在Fiddler上面就看到相关的访问链接: 然后通过分析小程序的接口就两个 https://sky.mohurd.gov.cn/skyapi/api/statis/getExtResult https://sky.mohurd.gov.cn/skyapi/api/statis/getResult 都是通过改变参数keys的方式来实现相关业务,这里就不多少,通过接口很轻松的分析相关的功能。 二