社区微信群开通啦，扫一扫抢先加入社区官方微信群
社区微信群
2.页面分析
发现一共有88万多个问题，再看一下页面的列表规律，我们按照每页最大显示50个问题，一共有17776页，数据非常大
1).页面列表的构建
整个的stackoverflow上关于Python的问题页面非常规整，我们可以很容易的构建列表，比如前1000页range(1,1000),range(1000,2000)：
2.数据的存储
我们需要在items.py里面构建一个存储的数据结构类，把这个7个特征存起来
不要忘记了在Setting里面配置一下：
DOWNLOADER_MIDDLEWARES = {'stackoverflow.middlewares.RandomProxyMiddleware': 543,}
但是代理的ip非常不稳定，尤其是免费的。而且代理IP爬取的时间会比本机更慢，毕竟中间加了中转
第二种方法：重启猫继续用本机IP
一般重启家里的路由器有的时候会换本机的IP地址，因为本机的IP地址爬取的速度是最快，然后放慢爬取的速度，加一些delay.
我采用了第二种方法，爬了999页大概49950条数据，并且放慢了速度，大概需要20分钟左右
我们一共有近90万的数据需要爬取，如果按照这样的速度去爬取的话，大概需要7个小时才能完全爬取完毕。Scrapy提供了非常完善的异常处理和log分析，即使我们中间爬取出错了，我们依然可以获得已经爬取的数据.当然有条件的话可以放在服务器上去爬取，速度会更快.
如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！
