irpas技术客

apache griffin 功能介绍及安装使用_Ink__Bamboo_apache griffin操作手册

网络 2707

官网地址:

Griffin - Quick Start (apache.org)

架构图:

?

支持数据监控形式:?

1. 两张表根据指定字段做数据比对:计算公式: (a.id=b.id)/a.id*100%

2.计算单张表的数据情况,空值,topN,去重计数等。

组件安装教程:

griffin/deploy-guide.md at master · apache/griffin (github.com)

需要组件:

依赖准备 JDK (1.8 or later versions)MySQL(version 5.6及以上)Hadoop (2.6.0 or later)Hive (version 2.x)Spark (version 2.2.1)Livy(livy-0.5.0-incubatingElasticSearch (5.0 or later versions) --测试使用建议单节点容器部署

注意:初始化脚本中缺少一张表的自动创建:

CREATE TABLE `DATACONNECTOR` ( `ID` bigint(20) NOT NULL, `CONFIG` text, `CREATEDDATE` bigint(20) DEFAULT NULL, `DATAFRAMENAME` varchar(255) DEFAULT NULL, `DATATIMEZONE` varchar(20) DEFAULT NULL, `DATAUNIT` varchar(255) DEFAULT NULL, `MODIFIEDDATE` datetime DEFAULT NULL, `NAME` varchar(255) DEFAULT NULL, `TYPE` varchar(255) DEFAULT NULL, `VERSION` varchar(255) DEFAULT NULL, PRIMARY KEY (`ID`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 安装完成 UI界面配置教程

配置教程 griffin/user-guide.md at master · apache/griffin (github.com)

源表目标表比对监控图:

单表数据校验:

总结:

缺点:

1.整体功能比较单一,只有数据监控功能。

2.依赖组件太多,安装繁琐。

3.缺少预警功能。

优点:

1.配置简单,上手难度较低。


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #apache #griffin操作手册 #官网地址Griffin #Quick #START