使用Python采集web质量数据到Excel表
众所周知,Python有很对第三方模块,只要熟练应用这些模块即可完成各种任务,在开始采集数据之前需要存在一个目标站点,然后使用Python脚本进行质量数据采集。探测web质量需要用到Python的pycurl模块,它可以获取HTTP请求的状态码,DNS解析时间、建立连接时间、传输结束总时间,下载数据包大小,HTTP头部大小、平均下载速度等参数。从这些参数中可以了解web的服务质量如何,然后进行优化等操作。将获取的数据写到Excel表格中,这里使用的是Python的xlsxwrite模块,实现的思路是将获取的数据保存到一个文件里面,然后再去创建一个Excel表,将数据写入到表格中然后绘制图表,以此类推,文件里的数据会追加,之后创建的Excel表会被完全覆盖,当然创建Excel表格的模块会很多,这里不再细说。 Python脚本编写前的准备: 下载pycurl模块,直接双击安装即可。 xlsxwriter使用pip命令安装,此处需要注意环境变量是否配置。 1、由于pycurl是下载下来直接安装的,这里就不写了,比较简单。 2、安装xlsxwriter模块(需可连接Internet) 3、采集数据的脚本如下: # _._ coding:utf-8 _._ import os,sys import pycurl import xlsxwriter URL = "www.baidu.com"