练习_Python3 爬取笔趣阁最新小说章节

送分小仙女□ 提交于 2020-12-07 03:42:39

警告:本文代码仅供学习,禁止违法使用或商用。

这里拿人气小说《黎明之剑》来举个栗子,喜欢小说《黎明之剑》的朋友们请支持正版阅读。

笔趣阁网站上的其他书籍基本上的都可以套用,其他盗版网站也基本上是差不多的思路就可以解决。

稍微改改就能很轻松的通过小说目录页下载全本,我这里就懒得弄了,有兴趣的朋友可以试一试。

# -*- coding:UTF-8 -*-
# 作者博客:https://www.cnblogs.com/Raine/
# 2019-06-20

import requests
from bs4 import BeautifulSoup


class TheLatest(object):
    # 测试爬取笔趣阁《黎明之剑》最新章节
    def __init__(self):
        self.url_dir = 'https://www.biqiuge.com/book/36438/'
        self.bookname = ""  # 存放书籍名
        self.chaptername = ""  # 存放章节名
        self.url_latest = ""  # 存放最新章节链接
        self.get_download_url()

    def get_download_url(self):
        # 直接从网页head标签内获取想要的内容
        r1 = requests.get(self.url_dir)
        # 网页是GBK编码,需要转换
        r1.encoding = 'GBK'
        html_1 = r1.text
        bs_div = BeautifulSoup(html_1, 'lxml')
        # 找到需要用到的标签然后提取属性
        _bookname = bs_div.find('meta', property="og:novel:book_name")
        self.bookname = _bookname.get('content')
        _chaptername = bs_div.find('meta', property='og:novel:latest_chapter_name')
        self.chaptername = _chaptername.get('content')
        _url_latest = bs_div.find('meta', property='og:novel:latest_chapter_url')
        self.url_latest = _url_latest.get('content')

    def get_content(self):
        r2 = requests.get(self.url_latest)
        r2.encoding = 'GBK'
        html_content = r2.text
        bs_div = BeautifulSoup(html_content, 'lxml')
        txt = bs_div.find('div', 'showtxt')
        # 优化文字排版
        txt = txt.text.replace('  ', '\n  ')
        txt = txt.replace('�6�1', '·')
        out_content = txt.split(self.url_latest)[0]
        return out_content


if __name__ == '__main__':
    txt_content = TheLatest()
    filename = txt_content.bookname + txt_content.chaptername + '.txt'
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(txt_content.get_content())

  

参考资料:

Python3网络爬虫快速入门实战解析 :https://cuijiahua.com/blog/2017/10/spider_tutorial_1.html

Python——爬虫【Requests设置请求头Headers】:https://blog.csdn.net/ysblogs/article/details/88530124

Python3.x爬虫教程:爬网页、爬图片、自动登录 :https://blog.csdn.net/Evankaka/article/details/46849095

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!