社区微信群开通啦，扫一扫抢先加入社区官方微信群
社区微信群
本人小白一个，最近初学scrapy，所以边学边记录咯！
Scrapy入门
关于这部分我不能提供更多帮助哈哈哈！参考http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html
获取图片URL
要爬取百度图片当然要知道图片的地址啦！地址怎么来呢？F12总懂了吧哈哈哈！来吧！我们先上图吧！这里已firefox为例，其实chrome也差不多。
作为一个五月天的死忠，怎么能放弃这个秀偶像的机会呢？这个就是firefox自带的开发者工具了，大家应该都懂的。那图片路径到底在哪呢？根据经验来说，一个Ajax异步加载的网站，图片的路径是保存在json里的。json是什么呢？JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。json在哪里查看呢?
找到没？http状态码200，响应返回的是json文件。让我们来看看它的地址，消息头那里面哦！http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=五月天&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=五月天&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=star&pn=30&rn=30&gsm=1e&1495549541143=
在浏览器里打开这个链接地址，我们可以看到这是一个json文件哟！
那我们要怎么来处理这些json文件呢？我们这里用到的是python的json库。首先，你要在项目的setting.py里把ROBOTSTXT—OBEY设置为False。scrapy在爬取网站时，会遵循robots.txt里的规则，不爬取它禁止的特定内容。当你把它设置为False时，爬虫会不遵循这个准则。那我们来利用spider的调试器来解析一下json。我们在命令行输入”scrapy shell ” 就是刚才那个json地址。下面就是调试结果，高亮部分就是图片地址。
我再提取出key=thumbURL的部分
好了，第一部分内容就讲到这了，我们已经可以提取出图片的URL了。请大家敬请期待下一部分哦！
如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！
