Python网络爬虫项目:使用requests获取网页,通过BeautifulSoup提取数据

混江龙づ霸主 提交于 2020-08-18 14:41:43

本次讲解通过requests获取某一个网站,网址:http://www.gxccedu.com/sp2017/zli/index.html

然后使用正则表达式提取页面中的“专利名称”。

步骤:

1、使用pycharm新建项目,新建的时候记得勾选“Inherit global site-packages”否则可能找不到requests类库

2、编写代码,我们看到网页上的数据量是101行,如下所示:

代码如下:

项目结构(不重要):

程序代码:

Beautiful Soup可以将HTML文档转换为Tag树形结构,如果BeautifulSoup对象是soup,则我们可以通过soup.td获取页面里面的第一个td元素,通过soup.find_all('td')获取所有的td元素。也就是find_all()返回来的是一个数组元素,那么我们可以通过下标来获取对应的内容,如下:

我们可以看到,第一个专利的名称的下标是7,第二个是13,第三个是19,依次类推,所以我们可以通过间隔获取的方式来达到效果。

代码如下,另外要记得最后获取的是text属性,否则获取的就是是<td>XXX</td>的内容:

运行效果:

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!