mozilla

思路介绍 爬取链家广州所有小区信息、在售楼盘及所有历史成交记录，对于超过100个页面的信息，采用曲线爬取的方式，先爬每个小区，然后爬每个小区的在售楼盘及成交记录，后期将进行相应更新，进一步研究Cookie的使用、Proxy(代理)的设置、模拟登录、验证码识别等问题。环境基于Python 2.7。 请求 这里我使用的package是urllib和urllib2，这里列一下爬取过程中需要注意的一些问题。 - 模拟浏览器的行为，设置headers。 - Python 2.x中常见的字符编码和解码问题 首先了解一下字节、字符和编码的关系，ASCII、Unicode和UTF-8的关系，ASCII码一共规定了128个字符的编码，Unicode是一个符号集，只规定了符号的二进制代码，没有规定此二进制代码应该如何存储，结果出现Unicode的多种存储方式，即有许多种不同的二进制格式，可以用来表示Unicode。而UTF-8就是目前使用最广的一种Unicode的实现方式。 Python 2.x里有两种类型的字符串类型：字节字符串和Unicode的字符串。Python根据电脑默认的locale设置将字节转换为字符。 # 获取系统默认的编码方式 <<< import sys <<< print sys.getdefaultencoding() 'ascii' # windows默认的编码是ascii #

关于链家的数据爬取和分析 已经实现 1.房屋数据爬取并下载 2.房屋按区域分析 3.房屋按经纪人分析 4.前十经纪人 5.经纪人最有可能的位置分析 6.实现以地区划分房屋 目前存在的问题: 1.多线程下载的时候会出现个别文件不继续写入了（已经解决） 2.未考虑经纪人重名问题 3.查询中发现不是每次都能 get 到 url 的数据，具体原因可能跟header有关，或者网站反扒（已经解决，手机端的header有时候访问pc端会出现None的情况） 4.守护线程那里应该出问题了，如果有文件储存完成，其他就不运行了（已经解决，多线程下还要有主程序运行，否则会出现问题） 5.json.dumps(dict)方法取出的字符串类型，二进制的，decode不好用，怎么解决 （已经解决json.dumps(content, ensure_ascii=False)保持原有的编码） 1 # -*- coding: utf-8 -*- 2 # @Time :2018/5/1 23:39 3 # @Author : ELEVEN 4 # @File : _链家_数据分析_修改.py 5 # @Software: PyCharm 6 7 import time 8 from lxml import etree 9 from urllib import request 10 import threading

一、链家数据爬取 （由于链家二手房搜索结果有100页的限制，也就是只能搜到3000条结果，因此，我将按照城区搜索结果进行爬取） 首先从搜索结果页面获得二手房详情页面的url，存储到apartment_url.csv中 # -*- coding: utf-8 -*- import csv import re import urllib2 import sqlite3 import random import threading from bs4 import BeautifulSoup import sys reload(sys) sys.setdefaultencoding("utf-8") #Some User Agents hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\ {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\ {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0

“ Python实现的 链家网站的爬虫第一部分。 ” 在之前的文章，以链家成都站为例，分析过链家网站数据的爬取，文章如下： 干货！链家二手房数据抓取及内容解析要点 但是，当时没有根据分析，将爬取实现。 本系列文将以链家南京站为例，使用Python实现链家二手房源信息的爬虫，将数据爬取，并存入数据库中，以便使用。 本文是第一部分，是整个爬取的基础，包括爬取逻辑、伪装正常访问、数据库设计及封装、区域URL爬取四个部分。 01 — 爬取逻辑 本文爬取的地区站虽与之前分析的地区站不同，但二者的结构是一样的，之前分析的成果可以直接套用。 根据之前的分析成果，得到爬取流程如下： 第一步，找到爬取站点的地址，这里爬取的是南京站，为https://nj.lianjia.com/。 第二步，从二手房查询页面获取大区信息，以便后续的查询。 这样的好处是可以分区查询，避免单次数据太多，链家服务器无法返回全部内容，最终导致数据不全。 第二步，根据分区信息，获取小区信息，存数据库，后续爬取操作，均以小区信息为起点。 第三步，根据各个小区信息，获取该小区的所有在售房源信息，存数据库。 第四步，根据 各个小区信息， 获取该小区的所有成交房源信息，存数据库。 确定了爬取流程，也就确定了程序的基本框架，接下来我们还需要准备相关Python库，数据库——sqlite3，以及分析网页库——BeautifulSoup

我们这里多创建几个user-agent和referer这样可以有效隐藏身份 import csv import random import time import requests from lxml import html import re class SPS(): def __init__(self): self.listUrl = [] self.flag = True self.ua = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36' , 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1' , 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0' , 'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50' , 'Mozilla/5.0