hello kitty

python定向爬虫实例(一)

∥☆過路亽.° 提交于 2019-11-26 03:59:23
功能描述:爬取当当网的某一商品的信息,并在屏幕输出其价格、商品名称 程序设计: 获取上商品页面的HTML文本 解析HTML文本你将商品信息存在列表中 将商品信息输出在屏幕上 import requests import bs4 from bs4 import BeautifulSoup def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: return "" def parseHTML(demo,sLt): soup=BeautifulSoup(demo,"html.parser") for li in soup.find('ul',attrs=['bigimg','cloth_shoplist']).children: try: if isinstance(li,bs4.element.Tag): sLt.append([li.find('a').attrs.get('title'),li.find('span','price_n').string]) except: continue def printGoodsList(sLt): tpt='{0:3}\t\t{1:^3}\t\t{2:{3}