python爬取沪深所有股票数据并生成Excel文件
爬取沪深所有股票数据并生成Excel文件 一、分析需求 1、对于沪深两市的各只股票，获取其：‘股票代码’, ‘股票名称’, ‘最高’, ‘最低’, ‘涨停’, ‘跌停’, ‘换手率’, ‘振幅’, '成交量’等信息； 2、将获取的信息存放在Excel文件中，股票信息属性作为表头，每只股票信息作为表格的一行，每个单元格存放一个信息。 #程序运行结果如下： 二、分析需求并设计算法 1、确定爬取的网站 选取网站的原则有以下三点： ①网站包含所有沪深股票信息； ②网站robots协议允许非商业爬虫； ③网站的源代码是脚本语言，而非JavaScript； 综上三点，我们最终选取网站为： 股城网 2、选择爬取的工具 本例使用python爬取信息，并引用以下三方库： 三方库名称 功能简介及在本例中的作用 requests 用于http请求的模块，可以获取HTML；本例用于获取股城网HTML BeautifulSoup4 解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库；本例用于解析目标对象，获得股票信息。 re 有强大的正则表达式工具,允许你快速检查给定字符串是否与给定的模式匹配；本例用于查找匹配股票代码格式的字符串，提取股票代码。 xlwt 支持python语言对Excel表格的操作；本例用于存储爬取的信息 time