爬取 CSDN 搜索后标题(简单编写) v0.2版

以后还会再改,自已查看最新版,这是第二版!
1.很粗糙.
2.改进搜索标题(相对第一版)




import requests
from bs4 import BeautifulSoup
res =requests.get('https://so.csdn.net/so/search/s.do?q=疯狂python精讲&t=&u=')
#防止中文内容乱码
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
#对网页内容进行爬取
#查看网页代码，看标题在哪个位置，本文以CSDN为例，他的标题是在class="search-list"里面
for news in soup.select('.search-list'):
    #获取文本标题
    h4 = news.select('*')[0].text

    #获取链接
    a = news.select('a')[0]['href']
    print(h4,a)

效果:

版权声明：本文来源CSDN，感谢博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/pySVN8A/article/details/98514274
站方申明：本站部分内容来自社区用户分享，若涉及侵权，请联系站方删除。

发表于 2019-09-05 17:44:31
阅读 ( 839 )
分类：

爬取 CSDN 搜索后标题(简单编写) v0.2版

你可能感兴趣的文章

精选的优质文章

0 条评论

官方社群

GO教程

推荐文章

猜你喜欢

随便看看