Python爬虫练习四-scrapy框架练手

前言：

爬虫框架scrapy学习笔记，练手-爬取丑事百科

参考有趣的教程

https://mp.weixin.qq.com/s?__biz=MzU2ODYzNTkwMg==&mid=2247484571&idx=1&sn=e9b1b3cf6e5401ce5bfa0dd3d29f9305&scene=19#wechat_redirect

配置

conda 安装

conda install -c conda-forge scrapy

pip install Scrap

scrapy依赖一些相关的库：

lxml

parsel

w3lib

twisted

cryptography and pyOpenSSL

生成初始化项目文件：

cmd 到指定目录：

cd Python/

 scrapy startproject qiushibaike

实现代码：

具体问题具体分析：

与教材的地址明显不一样了。

在spiders文件下：

import scrapy
class QiushiSpider(scrapy.Spider):
    name = "qiushibaike"
    haders = {
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 Chrome/73.0.3683.86 Safari/537.36'
    }


    def start_requests(self):
        urls = [
            'https://www.qiushibaike.com/text/page/12/',
            'https://www.qiushibaike.com/text/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse, headers=self.haders)


    def parse(self, response):
        content_left_div = response.xpath('//div[@class="article block untagged mb15 typs_long"]')
        for content_div in content_left_div:
            yield {
                'author': content_div.xpath('//div[@class="author clearfix"]/a[2]/h2/text()').get(),
                'content': content_div.xpath('//a[@class="contentHerf"]/div/span/text()').getall(),
            }

版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/qq_37457202/article/details/106911691
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

发表于 2020-06-28 02:51:33
阅读 ( 1201 )
分类：Go Web框架

Python爬虫练习四-scrapy框架练手

前言：

配置

conda 安装

scrapy依赖一些相关的库：

生成初始化项目文件：

实现代码：

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看