爬虫 爬取豆瓣高分电影信息

主要对豆瓣高分电影，按热度排序进行电影信息的爬取

分析

按F12打开开发者工具，点击XHR标签，因为他是通过ajax加载获取更多的电影信息的。返回的信息是json格式的数据，包含了每部电影详情的链接信息，先获取这些信息

页码每次最后的 page_start参数 加20可以换到下一页

下面是详细代码

import re, requests import json  class DoubanSpider:     def __init__(self):         self.url_temp = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start={}"         self.headers = {             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"}      def parse_url(self, url):  # 发送请求，获取响应         print(url)         response = requests.get(url, self.headers)         return response.content.decode()      def get_content_list(self, json_str):  # 提取数据         dict_ret = json.loads(json_str)         print(dict_ret)         content_list = dict_ret["subjects"]  # 所有电影数据         return content_list      def save_content_list(self, content_list):  # 保存         with open("douban.txt", 'a', encoding="utf-8") as f:             for content in content_list:                 f.write(json.dumps(content, ensure_ascii=False))                 f.write("\n")  # 写入换行符         print("保存成功")      def run(self):  # 实现主要逻辑         num = 0         while True:             # 1、构造start_url             url = self.url_temp.format(num)             # 2、发送请求，获取响应             json_str = self.parse_url(url)             # 3、提取数据             content_list = self.get_content_list(json_str)             # 4、保存             self.save_content_list(content_list)             # 5、判断是否有下一页             if len(content_list) < 20:                 break             # 6、构造下一个url地址             num += 20   if __name__ == '__main__':     douban = DoubanSpider()     douban.run()