图数据库 TigerGraph 使用全攻略 - Go语言中文社区

图数据库 TigerGraph 使用全攻略


与关系型数据库或其他类型的NoSQL数据库相比,图数据库提供了更有效的关系和网络建模方法。在1999年左右,图数据库领域还是Neo4j一家独大,但是发展至今,该领域也出现了很多新玩家和新产品。

TigerGraph是一款“实时原生并行图数据库”,既可以部署在云端也可以部署在本地,支持垂直扩展和水平扩展,可以对集群中的图数据自动分区,遵循ACID标准,并且提供了内置的数据压缩功能。它使用了一种消息传递架构,这种架构具备了可随数据增长而伸缩的并行性。

TigerGraph被设计用来执行深层链接分析以及实时在线事务处理(OLTP)和大容量数据加载。深度链接分析是指从一个顶点开始遍历图,找到三个或更多的跳转关系,并分析出结果。目前大多数图数据库都是为OLTP设计的,用于分析少量的关系跳数,其他的分析功能基本是后续添加的。

目前,有一些开源的图查询语言已经得到了广泛的采用,如Cypher、Gremlin和SPARQL,不过,TigerGraph使用了一种新的查询语言GSQL。GSQL将SQL风格的查询语法与Cypher风格的图导航语法结合在一起,并加入了过程编程和用户自定义函数。

我对TigerGraph的GSQL查询语言一直有一种说不清的感觉,不可否认的是,它是一种很好的设计,支持并行化,且可以将Cypher转换为GSQL,便于从Neo4j数据库转到TigerGraph的开发者使用。但是,面对一门全新的编程语言,我总会问自己,它是否值得我花时间和精力来学习呢?

TigerGraph的架构

从下图中可以看出,TigerGraph包含了一个ETL加载器、图数据存储和处理引擎、查询语言和可视化客户端以及REST API,并集成了很多企业数据基础设施服务。再往下的系统流程图清楚地表明,TigerGraph使用Apache Kafka与图形处理和存储引擎进行通信,使用Nginx Web服务器处理GraphStudio和来自用户的GSQL请求,并将它们传给后端服务器。
"image"

TigerGraph Analytics Platform包含了图数据存储引擎、图数据处理引擎和三种类型的API。它可以在本地、云端或混合环境中运行。

传给TigerGraph的消息可以在顶点或边级别进行并行处理。RESTPP是一种增强的REST API服务器,主要用于任务管理。

TigerGraph每小时可以加载多达150 GB的数据,每台机器每秒可以遍历数亿个顶点或边,将20亿个日常事件以流的方式实时地传输到包含1千亿个顶点和6千亿条边的图中(这些图数据处于包含20台商用机器的集群上),并将实时分析与大规模离线数据处理统一起来。

"image"

TigerGraph使用了几种流行的开源组件:用于处理Web流量的Nginx、消息队列Apache Kafka、用于管理Kafka集群的Apache Zookeeper。平台的其余部分则使用了专有代码。

在Docker中安装TigerGraph

你可以在各种流行的Linux(加上Docker和VirtualBox)上安装TigerGraph。我选择在iMac上使用Docker来安装。在开始安装之前,我更新了Docker,并将Docker可用的RAM和处理器分别增加到4 GB和4个内核。最后,我将TigerGraph镜像下载到本地。

Martins-iMac:Downloads mheller$ docker load u0026lt; ./tigergraph-developer-2.2.3-docker-image.tar.gz8823818c4748: Loading layer    119MB/119MB19d043c86cbc: Loading layer  15.87kB/15.87kB883eafdbe580: Loading layer  14.85kB/14.85kB4775b2f378bb: Loading layer  5.632kB/5.632kB75b79e19929c: Loading layer  3.072kB/3.072kB2106b49716cb: Loading layer  7.168kB/7.168kBda572f4e0c2f: Loading layer  4.034GB/4.034GB6cd767fef659: Loading layer  338.4kB/338.4kBLoaded image: tigergraph:2.2.3Martins-iMac:Downloads mheller$ docker image lsREPOSITORY          TAG                 IMAGE ID            CREATED             SIZEtigergraph          2.2.3               e1911655f9a7        3 weeks ago         4.11GBhello-world         latest              4ab4c602aa5e        2 months ago        1.84kB

安装过程中没有出现任何警报,启动过程也很顺利。

Martins-iMac:Downloads mheller$ docker run -i -t --name tigergraph -p 4142:14240 tigergraph:2.2.3Welcome to TigerGraph Developer Edition, for non-commercial use only.[RUN    ] rm -rf /home/tigergraph/tigergraph/logs/ALL*.pid[FAB    ][2018-11-30 21:56:06] check_port_of_admin_servers[RUN    ] /home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start/home/tigergraph/tigergraph/bin/admin_server/config.sh=== zk ===[SUMMARY][ZK] process is down[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== dict ===[SUMMARY][DICT] process is down[SUMMARY][DICT] dict server has NOT been initialized=== kafka ===[SUMMARY][KAFKA] process is down[SUMMARY][KAFKA] queue has NOT been initialized=== gse ===[SUMMARY][GSE] process is down[SUMMARY][GSE] id service has NOT been initialized=== gpe ===[SUMMARY][GPE] process is down[SUMMARY][GPE] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is down[SUMMARY][NGINX] nginx has NOT been initialized=== restpp ===[SUMMARY][RESTPP] process is down[SUMMARY][RESTPP] restpp has NOT been initialized[FAB    ][2018-11-30 21:56:47] launch_zookeepers[FAB    ][2018-11-30 21:57:00] launch_gsql_subsystems:DICT[FAB    ][2018-11-30 21:57:04] launch_kafkas[FAB    ][2018-11-30 21:57:22] launch_ts3s[FAB    ][2018-11-30 21:57:25] launch_gsql_subsystems:GSE[FAB    ][2018-11-30 21:57:28] launch_gsql_subsystems:GPE[FAB    ][2018-11-30 21:57:31] launch_gsql_subsystems:NGINX[FAB    ][2018-11-30 21:57:34] launch_gsql_subsystems:RESTPP[FAB    ][2018-11-30 21:57:38] check_port_of_vis_services[RUN    ] LD_LIBRARY_PATH=u0026quot;/home/tigergraph/tigergraph/binu0026quot; home/tigergraph/tigergraph/visualization/utils/start.sh[FAB    ][2018-11-30 21:57:39] check_port_of_admin_servers[RUN    ] home/tigergraph/tigergraph/.gium/GSQL_LIB/service/../scripts/admin_service.sh start home/tigergraph/tigergraph/bin/admin_server/config.sh[RUN    ] /home/tigergraph/tigergraph/dev/gdk/gsql/gsql_server_util START || :=== zk ===[SUMMARY][ZK] process is up[SUMMARY][ZK] /home/tigergraph/tigergraph/zk is ready=== kafka ===[SUMMARY][KAFKA] process is up[SUMMARY][KAFKA] queue is ready=== gse ===[SUMMARY][GSE] process is up[SUMMARY][GSE] id service has NOT been initialized (not_ready)=== dict ===[SUMMARY][DICT] process is up[SUMMARY][DICT] dict server is ready=== ts3 ===[SUMMARY][TS3] process is up[SUMMARY][TS3] ts3 is ready=== graph ===[SUMMARY][GRAPH] graph has NOT been initialized=== nginx ===[SUMMARY][NGINX] process is up[SUMMARY][NGINX] nginx is ready=== restpp ===[SUMMARY][RESTPP] process is up[SUMMARY][RESTPP] restpp is ready=== gpe ===[SUMMARY][GPE] process is up[SUMMARY][GPE] graph has NOT been initialized (not_ready)=== gsql ===[SUMMARY][GSQL] process is up[SUMMARY][GSQL] gsql is ready=== Visualization ===[SUMMARY][VIS] process is up (VIS server PID: 1242)[SUMMARY][VIS] gui server is up[RUN    ] rm -rf ~/.gsql/gstore_gs*_autostart_flagDone.tigergraph@2089c417aa54:~$

执行到这一步,我已经启动了gsql客户端,并完成了一些命令行教程和演示。

tigergraph@2089c417aa54:~$ ls /home/tigergraph/friendship.csv   hello2.gsql  hello.gsql  person.csv  tigergraph  tigergraph_coredumptigergraph@2089c417aa54:~$ gsqlWelcome to TigerGraph Developer Edition, for non-commercial use only.GSQL-Dev u0026gt;

GSQL教程和示例

GSQL 101教程(https://docs.tigergraph.com/intro/gsql-101)教你如何创建图模式、加载数据和运行查询。对于完成某些操作(例如安装自定义查询)所花费的时间,我感到有些惊讶,但它们确实与文档所描述的是一致的。

为了让你对GSQL有个直观的感受,以下的自定义查询演示了如何使用累加器、嵌套查询和自定义查询。

USE GRAPH socialCREATE QUERY hello2 (VERTEXu0026lt;personu0026gt; p) FOR GRAPH social{  OrAccum  @visited = false;  AvgAccum @@avgAge;  Start = {p};  FirstNeighbors = SELECT tgt                   FROM Start:s -(friendship:e)-u0026gt; person:tgt                   ACCUM tgt.@visited += true, s.@visited += true;  SecondNeighbors = SELECT tgt                    FROM FirstNeighbors -(:e)-u0026gt; :tgt                    WHERE tgt.@visited == false                    POST_ACCUM @@avgAge += tgt.age;  PRINT SecondNeighbors;  PRINT @@avgAge;}INSTALL QUERY hello2RUN QUERY hello2(u0026quot;Tomu0026quot;)

GSQL的演示示例(https://docs.tigergraph.com/dev/gsql-examples)涵盖了其他内容,包括协作过滤、PageRank、产品推荐和最短路径算法,这些也值得研究一下。由于开发者许可只允许每个数据库使用一个图,所以你需要通过DROP ALL来删除在练习中创建的社交图数据。

GSQL图算法库(https://docs.tigergraph.com/graph-algorithm-library)实现了标准图算法,并经过测试。你可以从GitHub下载这个库(https://github.com/tigergraph/ecosys/tree/master/graph_algorithms)。除了基本算法,这个库还提供了安装脚本,可用于生成自定义算法。这些算法包括紧密度中心性、连通分量检测、社区检测、PageRank、最短路径和三角计数。

GraphStudio和TigerGraph测试驱动

除了GSQL的命令行界面外,TigerGraph还提供了一个叫作GraphStudio的GUI。你可以通过浏览localhost:4142在本地实例上访问它,如下所示。

"image"

TigerGraph的GraphStudio GUI可以用于设计图模式、加载数据和探索图。查询使用GSQL编写。

出于学习的目的,你可能需要了解下TigerGraph测试驱动演示(https://testdrive.tigergraph.com/main/dashboard)。它们是只读的图数据库,包括一些预定义的参数化查询。当然,你也可以编写自己的查询。

包含了较大数据集(包含了数十亿条边)的三个测试驱动用例使用了Amazon EC2 r4.4xlarge(16个vCPU和122 GB RAM)实例,而包含小数据集的两个测试驱动用例使用了更经济的Amazon EC2 t2.xlarge(4个vCPU和16 GB RAM)实例。根据我的经验,即使对于具有44亿边缘的反欺诈演示(如下所示),它的性能也相当不错。
"image"

使用GraphStudio对包含用户、设备和交易数据的大型(44亿条边)图执行欺诈检测查询。GraphStudio和TigerGraph都运行在Amazon EC2 r4.4xlarge实例上。

TigerGraph基准测试

TigerGraph提供了一些基准测试(https://www.tigergraph.com/benchmark/),与其他几个图数据库(Neo4j、Amazon Neptune、JanusGraph和ArangoDB)进行了比较,测试了数据加载时间和图分析查询时间,所有这些任务在TigerGraph中都可以进行并行化操作。毫不奇怪的是,因为基准测试的设置方式偏向于TigerGraph的长处,所以TigerGraph在所有测试中均胜出,有些还胜出了一大截。其中令我印象深刻的基准测试是TigerGraph集群可扩展性测试,当使用8台机器时,它的速度提升了6.7倍。

在这种情况下,你需要问自己的问题是:“图数据库可以帮我解决哪些问题”?如果你要进行在线事务处理(OLTP),那你可能就不会关心批量加载和多跳分析查询性能。毕竟,唯一真正重要的衡量标准是数据库能为应用程序做些什么,这也是为什么在采用新技术时需要花些时间进行概念验证。

"image"
TigerGraph集群可扩展性测试,使用8台机器时速度提升6.7倍。如果可扩展性可以达到完美,那么这条线应该是直的,而且速度提升将达到8倍。

云端的TigerGraph

在我进行这次调研时,TigerGraph发布了一款云产品,将于2019年在AWS上开始试用。这是对TigerGraph目前授权版AWS和Azure镜像的一个补充。

英文原文:https://www.javaworld.com/article/3330736/application-development/tigergraph-review-a-graph-database-designed-for-deep-analytics.html?upd=1547004107229

版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_34323858/article/details/89118721
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-01 23:27:36
  • 阅读 ( 1016 )
  • 分类:数据库

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢