扫一扫下方二维码,关注本站官方公众号
获取永久解锁本站全部文章的验证码
还能不定期领现金红包

python中turtle画酷炫图案-用python打造可视化爬虫监控系统,酷炫的图形化界面-Go语言中文社区

python中turtle画酷炫图案-用python打造可视化爬虫监控系统,酷炫的图形化界面


本文并不是讲解爬虫的相关技术实现的,而是从实用性的角度,将抓取并存入 MongoDB 的数据 用 InfluxDB 进行处理,而后又通过 Grafana 将爬虫抓取数据情况通过酷炫的图形化界面展示出来。

在开始之前,先对 Grafana 和 InfluxDB 做一下简要的介绍:Grafana:是一个开源的分析和监控系统,拥有精美的web UI,支持多种图表,可以展示influxdb中存储的数据,并且有报警的功能。

**Influxdb **:是一款开源的时间序列数据库,专门用来存储和时间相关的数据(比如我用它存储某个时间点爬虫抓取信息的数量)。

最终能实现的效果是这样的:

0b25f66f3a3b4838881e231a5f076713

请注意以下操作,都是 Mac 下实现的。但是原理是相似的,你可以在自己的 PC 上进行试验。

2. 安装配置 InfluxDB

安装 InfluxDB

73c36a9759e94aaf991df8472828469f

修改配置文件/usr/local/etc/influxdb.conf,如果原文件中没有对应配置项,需自己添加。

092c9768ea85437c920c2edd783895e1

3. 安装配置 Grafana

安装 Grafana

3693b655457c4a1daac00e3f57443e4f

并修改 Grafana 配置文件 /usr/local/etc/grafana/grafana.ini,内容如下:

d5732064664a4e64b03598015adc4770

4. 爬虫代码

由于这里主是要介绍如何将 Grafana 和 InfluxDB 与爬虫进行结合的方案,而不是主讲爬虫原理,而且代码也比较多,影响可读性,所以就不贴出爬取的代码。

5. 监控脚本

考虑到可能要增加爬虫到监控中,因此这里使用了热更新对监控进行动态配置。

配置文件 influx_settings.conf 主要用于热更新相关设置。

fc591d842dd641b1a0e106b45f047eeb

如何动态读取这个配置文件的设置呢?需要写一个脚本来监控。代码如下:

594ae0bf004c412797377ac2f8505322

18bc03dc4f7d4c16880b82ab6d9f16f4

2a9a49354be649d48105c45532a20f36

cb5030138b2f40a191c2c8d2421a8a80

来试着运行一下python3 influx_monitor.py

运行,得到下图内容,表示监控脚本运行成功。

5acd3bb5590b42d99753949420766245

另建窗口,修改配置文件 influx_settings.conf# 修改间隔时间为8秒

interval = 8

切换至第一次运行 influxDB 的窗口,会提示配置更新,说明配置热更新生效。

263386de471242dbae6cfdb9e5d5e182

6. 配置 Grafana

首先打开 Chrome 浏览器,输入 http://127.0.0.1:3000 登录 grafana 页面。

连接本地 influxDB 数据库,操作如下图。

在红色方框内选择 Type 类型为 InfluxDB,并输入URL:http://localhost:8086

6370cc5b3b2942329616a0ac57602e21

cf2f43a68e2f46c49b54aa38a37b9ded

在红框内输入influxDB数据库名称

新建 dashboard

829b8fc5ec2e43b69d2e2cefd810e24b

新建 graph 类型 dashboard

修改 dashboard 设置

e2f879d0c08f4699b0e59e4637c2fe9a

点击红色方框修改设定

558d40f1f2fa4ee3a7c8efc13aa13738

修改 dashboard 配置

设置监控的数据对象

在监控脚本中,写入influxDB的代码如下,其中 "measurement" 对应 表名,"fields" 对应写入的字段;

2fab1e74fd6e42fea47230ea00559e8f

7. 运行爬虫文件

启动 MongoDB 数据库服务。brew services mongodb start

新建一个 terminal 窗口,运行爬虫文件。

9c5e43799e7f43a2bda076ab47de73e6

爬虫文件运行成功

我们可以在刚刚打开的控制台里查看效果展示:

0b25f66f3a3b4838881e231a5f076713

怎么样?学会了吗?如果你跟我一样都喜欢python,也在学习python的道路上奔跑,欢迎你加入python学习群:839383 765 群内每天都会分享最新业内资料,企业项目案例,分享python免费课程,共同交流学习,让学习变(编)成(程)一种习惯!

版权声明1:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_37988176/article/details/109424298
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2021-12-12 04:24
  • 阅读 ( 1031 )

0 条评论

请先 登录 后评论

官方社群