python学习 三 02 再爬一个网站,获得所有分页 - Go语言中文社区

python学习 三 02 再爬一个网站,获得所有分页


python学习 三 02 再爬一个网站,获得所有分页

 讨厌编程 2018-01-12 10:51

Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

再爬一个网站,获得所有分页信息

到目前为止,我们创建好了网站类别,并且获得了每个类别所链接的网址,其中最底层的类别所对应的网址,就是图片展示列表。

看一下网页,

图片展示是分页形式的,看下源码

分页信息如上,

分页位于class=pagination的<ul>标签下,我们获得了首页,现在只需获得最后一页就行,最后一页保存在ul的末尾 last page ,我们获得lastpage的索引,中间的页面改变下索引就可以了。

下面我们要做的是获得所有分页信息

为此,我写了递归函数:

针对这个网页的分页形式,重写了获得分页函数

有了这两个函数之后,我们就可以将所有的分页都下载下来了。

下载下来后,下一步就是下载每个分页对应的图片了。

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/shuilan0066/article/details/79041707
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-01 22:37:06
  • 阅读 ( 1212 )
  • 分类:

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢