lxml

1.安装好前期必备的库 - requests 向网页发出请求 解释器自带的urllib 和re selenium 用于向有js渲染的网页发起请求 from selenium import webdriver driver = webdriver.Chrome() # 生成一个driver对象，并打开谷歌浏览器 selenium需要打开网页，不方便 from selenium import webdriver driver = webdriver.PhantomJS() # 生成一个driver对象 pip3 install lxml 也可以去python官网下载whl文件，下载好的文件链接，whl结尾的用pip3 install 链接 直接安装 3.beautifulsoup 也是一个网页解析库 依赖于lxml，也就是要先安装lxml这个库 >>> from bs4 import BeautifulSoup # 导入BeautifulSoup >>> soup = BeautifulSoup(‘(html)(/html)‘,‘lxml‘) 为什么是bs4，因为别人写模块的时候定义了一个包就叫ps4，里卖弄存放着这个模块。可以去官网查看源代码 4.pyquery 解析库 pip3 install pyquery >>> from pyquery import PyQuery as

一、lxml的安装 lxml是Python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。本节中，我们了解一下lxml的安装方式，这主要从Windows、Linux和Mac三大平台来介绍。 官方网站：http://lxml.de GitHub：https://github.com/lxml/lxml PyPI：https://pypi.python.org/pypi/lxml 在Windows下，可以先尝试利用pip安装，此时直接执行如下命令即可： pip3 install lxml 如果出现报错，比如提示缺少libxml2库等信息，可以采用wheel方式安装。 推荐直接到这里（链接为：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml）下载对应的wheel文件，找到本地安装Python版本和系统对应的lxml版本，例如Windows 64位、Python 3.6，就选择lxml?4.2.3?cp36?cp36m?win_amd64.whl，将其下载到本地。 然后利用pip安装即可，命令如下： pip3 install 路径/lxml?4.2.3?cp36?cp36m?win_amd64.wh 在Linux平台下安装问题不大，同样可以先尝试pip安装，命令如下： pip3 install lxml

引言 : lxml是基于xpath语法的,也就是说如果你掌握了xpath语法,那么对于你学习其他工具解析文档都是很容易的事。比如前面我们介绍的Scrapy框架就是采用xpath语法进行文档解析。废话不多说，直入主题。 一.lxml安装步骤 1.安装python(这里就不具体阐述了,见我之前文章) 2.使用 easy_install工具 下载lxml模块( 尤其在linux中 ) 注:python 3.x之后就集成了pip,easy_install 等工具可以用来直接下载python所需的模块。然后在这里我使用的是py 3.4.3,当使用pip下载lxml会出现各种依赖问题,所以为了避免这些问题我们直接使用easy_install工具下载。 二.xpath语法详解 (耐心看完,不一定全部记住,便于以后随时查找) xpath是一门在xml文档中查找信息的语言,可用于查找元素和属性。 1.选取节点 xpath使用路径表达式在xml文档中选取节点,节点是通过沿着路径或者step来选取的。 下面列出了最常用的路径表达式 表达式 描述 实例 解释 / 从根节点出发开始定位 xpath(“/a”) 选择根节点下的所有a // 从任意节点出发开始定位 xpath(“//a”) 选择所有的a节点 . 从当前节点出发开始定位 xpath(“./a”) 选择当前节点下的所有a节点 ..

1、BeautifulSoup： （1）官网下载BeautifulSoup 后解压到 C:\Python27\bs4 （2）打开cmd，然后执行： cd C:\Python27\bs4\beautifulsoup4-4.3.2 //回车 setup.py build //回车 setup.py install //回车 （3）安装完成 2、lxml解析器： Python版本的标准库中内置的HTML解析方法不够稳定。lxml作为第三方解析器，效率更高。 安装： （1）查看系统情况： 第一行显示是cp35,cp35m,win_amd64,这里就是你的系统情况 （2） http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载你需要的版本 （3）将下载到的 lxml-3.6.4-cp35-cp35m-win_amd64.whl 放在C:\Python27\Scripts 下。 （4）安装pip（用于安装第三方模块）：cd到C:\Python27\Scripts （easy_install.exe所在的地方），执行指令“asy_install.exe pip”。 （5）cd到C:\Python27\Scripts下安装wheel： pip install wheel （6）cd到C:\Python27\Scripts 下安装： pip

　　前几篇写了一些Beautiful Soup的一些简单操作，也拿出来了一些实例进行实践，今天引入一个新的python库lxmt，lxmt也可以完成数据的爬取哦 什么是lxml lxml学习文档： https://lxml.de/ 什么是xpath XPath相信大家都知道，在做自动化测试的时候有个定位方法就是xpath，对没错就是它； XPath ， 全称XML Path Language ，即XML 路径语言，它是一门在XML 文档中查找信息的语言。它最初是用来搜寻XML 文档的，但是它同样适用于HTML 文档的搜索。XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择； XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 .. 选取当前节点的父节点 @ 选取属性 * 通配符，选择所有元素节点与元素名 @* 选取所有属性 [@属性] 选取具有给定属性的所有元素 [@属性=‘value’] 选取给定属性具有给定值的所有元素 XPath学习文档： https://www.w3.org/TR/xpath/all/ lxml安装

request库的7个主要方法 requests . request () 构造一个请求，支撑以下各方法的基础方法 #获取HTML网页的主要方法，对应于HTTP的GET requests . get ( url , params , data , headers , proxies , cookies , auth , verify ) # params,data,headers,proxies,cookies为字典类型，auth为元祖类型，verify为布尔类型参数 requests . post () 向 HTML 网页提交 POST 请求的方法，对应于 HTTP 的 POST requests . head () 获取 HTML 网页头信息的方法，对应于 HTTP 的 HEAD requests . put () 向 HTML 网页提交 PUT 请求的方法，对应于 HTTP 的 PUT requests . patch () 向 HTML 网页提交局部修改请求，对应于 HTTP 的 PATCH requests . delete () 向 HTML 页面提交删除请求，对应于 HTTP 的 DELETE 几种属性 . states_code 返回状态码 . text 返回 html 属性 . headers 返回头部信息 . url 返回请求的链接 支持python标准库

通过pip install lxml 安装lxml多次失败，失败原因总结如下： 1.pip版本未更新 解决方法：通过pip安装时，需保证pip的版本没有问题，更新方法：在系统框输入：python -m pip install --upgrade pip 2.下载的.whl版本不正确：lxml的版本跟python的版本有关，个人使用的python版本如下,是64位的3.7版本。根据网上资料所述，64位的python版本也需装32位的3.7 lxml版本，但安装以失败告终 解决方法：安装lxml 对应的64位3.7版本，如下图： 具体安装步骤及问题分析见链接：Python LXML模块死活安装不了怎么办？ - 知乎 https://www.zhihu.com/question/30047496 文章来源: https://blog.csdn.net/weixin_42749782/article/details/91891542

I've Element of etree having some attributes - how can we delete the attribute of perticular etree Element. The .attrib member of the element object contains the dict of attributes - you can use .pop("key") or del like you would on any other dict to remove a key-val pair. Example : >>> from lxml import etree >>> from lxml.builder import E >>> otree = E.div() >>> otree.set("id","123") >>> otree.set("data","321") >>> etree.tostring(otree) '<div id="123" data="321"/>' >>> del otree.attrib["data"] >>> etree.tostring(otree) '<div id="123"/>' Take care sometimes you dont have the attribute: It is

我们要安装的有 jupyter(简单方便的写代码工具) requests(Python HTTP请求工具) lxml(解析网页结构工具) beautifulsoup(网页文档解析工具) pip 是Python的包管理工具，可以安装，升级，卸载Python包，并且只需要一条命令就行，是个非常棒的工具。 开始安装 Windows键+X键 ，点出来命令提示符。 然后输入 pip3 install jupyter ，回车。然后就开始下载安装jupyter了。 jupyter安装 安装完成了会提示successful installed jupyter,...。我的因为安装过了，所以提示需求已经满足了。 安装requests和之前一样。在命令行继续输入 pip3 install requests 。回车开始下载安装。 安装lxml，继续输入命令 pip3 install lxml 。回车安装。 安装beautifulsoup有一点不一样，安装命令为 pip3 install bs4 。这是安装第四版的beautifulsoup的意思。 jupyter简介 Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码

爬虫开始前的准备： python2.7 库文件（xlwt，urllib2，BeautifulSoup4，xlrd） 安装库文件的方法： 最好在你的python2.7/script/下面打开power shell(可以shift+右击) 执行下面的： 安装库文件： pip install *** ***是指上面的库文件，下面不一定都用，只要上面的，以后出什么错，你就继续pip install 如何查看自己已经安装了的库 pip list 观察网站结构（密码规则）： 密码规则 首先这个规则是针对大二和已经毕业了的 密码规则没有添加验证码（其实添加验证码也没什么用，只是添加了爬取门槛） 规则是 用户名==密码 符合条件 user_info 这里的用户信息 不要在意这些细节（马赛克） 朦胧美一直是我的追求 sys.setdefaultencoding("utf-8") # ssl这个是验证证书 https ssl._create_default_https_context = ssl._create_unverified_context # 生成一个存储cookie的对象 c = cookielib.LWPCookieJar() cookie = urllib2.HTTPCookieProcessor(c) opener = urllib2.build_opener(cookie)