response

未登录的主页 < ! DOCTYPE html > < html > < head > < meta charset = "utf-8" / > < meta name = "viewport" content = "width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" > < script type = "text/javascript" src = "../static/js/jquery.js" > < /script > < script type = "text/javascript" src = "../static/js/bootstrap.js" > < /script > < link rel = "stylesheet" href = "../static/css/bootstrap.css" / > < link rel = "stylesheet" type = "text/css" href = "../static/css/bootstrap-theme.css" / > < link rel = "stylesheet" type = "text/css" href = "../static/css/swiper.css" / > < script type =

1. https://news.163.com/ 国内国际,军事航空,无人机都是动态加载的,先不管其他我们最后再搞中间件 2. 我们可以查看到"国内"等板块的位置 新建一个项目,创建一个爬虫文件 下面,我们进行处理: 仔细查找二级标签的位置: 每一段的信息都储存在p标签内部 items.py写两个字段 导入下面的内容: 爬虫文件wangyi.py # -*- coding: utf-8 -*- import scrapy from wnagyiPro.items import WangyiproItem class WangyiSpider(scrapy.Spider): name = 'wangyi' # allowed_domains = ['www.xxx.com'] start_urls = ['https://news.163.com/'] def parse(self, response): li_list=response.xpath('//div[@class="ns_area"]/ul/li') #拿到列表中的34678 for index in [3,4,6,7,8]: li=li_list[index] new_url=li.xpath('./a/@href').extract_first() #是五大版块对应的url进行请求发送 yield scrapy

爬虫爬视频 爬取步骤 第一步：获取视频所在的网页 第二步：F12中找到视频真正所在的链接 第三步：获取链接并转换成二进制 第四部：保存 保存步骤代码 import re import requests response = requests.get('https://vd4.bdstatic.com/mda-jcrx64vi5vct2d2u/sc/mda-jcrx64vi5vct2d2u.mp4?auth_key=1557734214-0-0-d6a29a90222c6caf233e8a2a34c2e37a&bcevod_channel=searchbox_feed&pd=bjh&abtest=all') video = response.content #把文件保存成二进制 with open(r'D:\图片\绿色.mp4','wb') as fw: fw.write(video) #将文件内容写入该文件 fw.flush() #刷新 爬酷6首页的所有视频 #有点偷懒变量名用简单字母啦............. # https://www.ku6.com/index # <a class="video-image-warp" target="_blank" href="(.*?)"> #this.src({type: "video/mp4", src: "(.*?)"})

urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习 urllib2 。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) urllib2 官方文档： https://docs.python.org/2/library/urllib2.html urllib2 源码： https://hg.python.org/cpython/file/2.7/Lib/urllib2.py urllib2 在 python3.x 中被改为 urllib.request urlopen 我们先来段代码： # urllib2_urlopen.py # 导入urllib2 库 import urllib2 # 向指定的url发送请求，并返回服务器响应的类文件对象 response = urllib2.urlopen("http://www.baidu.com") # 类文件对象支持 文件对象的操作方法，如read()方法读取文件全部内容，返回字符串 html = response.read() # 打印字符串 print html 执行写的python代码，将打印结果 Power@PowerMac ~$: python urllib2_urlopen.py 实际上

urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习 urllib2 。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) urllib2 官方文档：https://docs.python.org/2/library/urllib2.html urllib2 源码：https://hg.python.org/cpython/file/2.7/Lib/urllib2.py urllib2 在 python3.x 中被改为 urllib.request urlopen d 我们先来段代码： # urllib2_urlopen.py # 导入urllib2 库 import urllib2 # 向指定的url发送请求，并返回服务器响应的类文件对象 response = urllib2.urlopen("http://www.baidu.com") # 类文件对象支持 文件对象的操作方法，如read()方法读取文件全部内容，返回字符串 html = response.read() # 打印字符串 print html 执行写的python代码，将打印结果 Power@PowerMac ~$: python urllib2_urlopen.py 实际上

1 import requests 2 from lxml import etree 3 import os 4 from urllib import request 5 import mysqlhelper 6 7 8 myhelper = mysqlhelper.MysqlHelper() 9 sql = 'insert into meizitu(name,pic_url) values(%s,%s)' 10 11 base_url = 'http://www.mzitu.com/page/%s/' 12 headers = { 13 14 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', 15 } 16 for i in range(1,3): 17 url = base_url % i 18 19 response = requests.get(url,headers=headers) 20 html_ele = etree.HTML(response.text) 21 22 a_list = html_ele.xpath('//ul[@id="pins"]

网站：http://www.meizitu.com/ 目标：用BeautifulSoup解析网页源代码，获取图片． 图片链接： # /home/wl/PycharmProjects/untitled # -*- coding:utf-8 -*- # author:龙 from bs4 import BeautifulSoup import urllib.request import os def test(): girl_url ='http://www.meizitu.com/' response = urllib.request.urlopen(girl_url).read() response = response.decode ('gb2312') #print (response) soup = BeautifulSoup(response,'html.parser')#创建对象 imgs = soup.find_all('img') #print(imgs) for img in imgs: #print (img) #print (type(img)) link = img.get('src') #print (link) name = img.get('alt') print("正在下载%s的图片"%name) urllib.request.urlretrieve

目标抓取全站妹子封面图片全部爬下来以图片标题命名 分析网页数据结构 妹子图首页 接下来找张图片右击点击检查 想要数据 拿到图片链接直接用浏览器可以访问，但是程序下载有 反爬虫 ，图片直接下载不了需要加 请求头部信息 先上手代码试试！ import requests from lxml import etree # 设计模式 --》面向对象编程 class Spider(object): def __init__(self): # 反反爬虫措施，加请求头部信息 self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36", "Referer": "https://www.mzitu.com/xinggan/" } def start_request(self): # 1. 获取整体网页的数据 requests for i in range(1, 204): print("==========正在抓取%s页==========" % i) response = requests.get("https://www.mzitu.com/page/"+ str(i) +

（1）、前言 Scrapy框架为文件和图片的下载专门提供了两个Item Pipeline 它们分别是： FilePipeline ImagesPipeline （2）、使用Scrapy内置的下载方法的好处 1、可以有效避免重复下载 2、方便指定下载路径 3、方便格式转换，例如可以有效的将图片转换为png 或jpg 4、方便生成缩略图 5、方便调整图片大小 6、异步下载，高效率 （3）、较为传统的Scrapy框架图片下载方式 1、创建项目：scrapy startproject baoma---cd baoma --创建爬虫scrapy genspider spider car.autohome.com.cn 2、使用pycharm打开项目 改写settings.py 不遵守robots协议 设置请求头 开启pipelines.py 改写spider.py 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from ..items import BaomaItem 4 5 class SpiderSpider(scrapy.Spider): 6 name = 'spider' 7 allowed_domains = ['car.autohome.com.cn'] 8 start_urls = ['https://car.autohome.com

1.处理方式 法一 通过HtmlXPathSelector import scrapy from scrapy.selector import HtmlXPathSelector class DmozSpider(scrapy.Spider): name = "use_scrapy" #要调用的名字 allowed_domains = ["use_scrapy.com"] #分一个域 start_urls = [#所有要爬路径 "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=python&sm=0&p=1" ] #每爬完一个网页会回调parse方法 def parse(self, response): hxs=HtmlXPathSelector(response) print('_________________________') hxsobj=hxs.select('//td[@class="zwmc"]/div/a') print(hxsobj[0].select("@href").extract())#获取链接 print(hxsobj[0].select("text()").extract())#获取文本 # .extract()是显示网页的原文 print(len