爬虫经典面试题 - Go语言中文社区

爬虫经典面试题


网站:http://datamining.comratings.com/exam

如何抓取10个ip,这题很经典
在这里插入图片描述

先查看网页源代码,啥也没有

 <iframe src="/exam2" frameborder="no" width="750" height="500"></iframe>

看不懂就抓包

在这里插入图片描述

可以看到经过了3次请求,最后在http://datamining.comratings.com/exam3中得到数据,现在注意resquesr中的hearder传入的参数

那就先请求一次,第二次带上hearders
html>

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_44510615/article/details/89290428
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-01 22:37:13
  • 阅读 ( 777 )
  • 分类:面试题

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢