StarRocks测试 - StarRocks vs Impala 性能对比_Asware

大大的周 02-07 7991

测试方法

TPC-H是业界常用的一套Benchmark，由TPC委员会制定发布，用于评测数据库的分析型查询能力。TPC-H查询包含8张数据表、22条复杂的SQL查询，大多数查询包含若干表Join、子查询和Group-by聚合等。

本次测试基于TPC-H 100G数据进行，其中主要表数据量如下：LINEITEM表约6亿行，ORDERS表1.5亿行，PARSUPP表8000万行。

测试环境机器1台master阿里云主机3台core阿里云主机CPU8Core32Core内存32G128G带宽2.5 Gbit/s10 Gbit/s

软件部署节点类型Impala?3.4.0StarRocks 2.2emr-header-1impala-catalog/impala-state-storeFEemr-worker-1impala-serverBEemr-worker-2impala-serverBEemr-worker-3impala-serverBE

测试配置

Impala配置

EMR上默认Impala是访问local hive cluster, 为了跨网络访问HDFS，需要：

修改配置文件 # /etc/ecm/impala-conf <property> <name>hive.metastore.uris</name>  <value>thrift://192.168.1.11:9083</value> </property> 将域名添加到所有机器的/etc/hosts下面重启所有的impala组件

优化参数如下：

num_remote_hdfs_io_threads = 48 num_hdfs_worker_threads = 48 coordinator_rpc_threads = 48 StarRocks配置

在StarRocks中按照如下方式创建外表，以外表形式访问Hive数据：

CREATE EXTERNAL TABLE `orders` ( `o_orderkey` int(11) NULL COMMENT "", `o_custkey` int(11) NULL COMMENT "", `o_orderstatus` varchar(1) NULL COMMENT "", `o_totalprice` double NULL COMMENT "", `o_orderdate` date NULL COMMENT "", `o_orderpriority` varchar(15) NULL COMMENT "", `o_clerk` varchar(15) NULL COMMENT "", `o_shippriority` int(11) NULL COMMENT "", `o_comment` varchar(79) NULL COMMENT "" ) ENGINE=HIVE COMMENT "PARTITION BY ()" PROPERTIES ( "database" = "tpch_100g_zlib", "table" = "orders", "resource" = "emr_test", "hive.metastore.uris" = "thrift://192.168.1.11:9083" );

使用默认配置（下面都是默认值）：

cbo_max_reorder_node_use_dp = 10cbo_enable_dp_join_reorder = truecbo_max_reorder_node_use_exhaustive = 4enable_global_runtime_filter = truedoris_scanner_thread_pool_thread_num = 48 测试结果

Impala在运行Q18的时候出现过OOM，Q11不支持Having子句，因此在统计总体时间时不将这两个查询计算在内。分别测试并发为4，8，16的情况。

C = 4

QueryimpalastarRocksImapa/StarRocksQ0112615170200.741186839Q02707515484.570413437Q031954582242.376580739Q041916381932.338947882Q0533196208081.595347943Q06752355171.363603408Q075523382656.682758621Q0824650101212.435530086Q0943989236071.863387978Q101504273212.054637345Q11014100Q121580074152.130815914Q1328044142351.970073762Q141109975941.461548591Q1519330136871.412289033Q16633424022.636969192Q174614297584.728632917Q180331760Q191447275831.908479494Q201895876672.472675101Q2177373268972.876640518Q22720936881.954718004Total4827922115502.282164973

??C = 8

QueryimpalaStarRocksImapa/StarRocksQ0116664225430.739209511Q02876623413.74455361Q032547198692.58090992Q0425564109662.331205544Q0540461285651.416453702Q0614471114831.260210746Q0773645167384.399868563Q0836240197431.835587297Q0958073291321.993443636Q1021039106021.984436899Q11027090Q1223967124661.922589443Q1337570186112.018698619Q1420287151131.342354265Q1538694274511.409566136Q16790327922.830587393Q1754877194492.821584657Q180398030Q1924556161461.520872043Q2025949169731.528839922Q2199201393762.519326493Q22964751281.88124025Total6630453354871.976365701

?C = 16

QueryimpalaStarRocksImapa/StarRocksQ0133109430320.769404164Q021408446753.012620321Q0343767166522.628332933Q0444760183092.444699328Q0559935454991.317281698Q0629002236641.225574713Q07119317331333.601152929Q0870404392551.793504012Q0992872418682.218209611Q1038625194631.984534758Q11057310Q1243914232691.887231939Q1369355304712.276098586Q1440873306781.332322837Q1577504549671.410009642Q161169638953.002824134Q1779944394282.027594603Q180570300Q1946156310541.486314162Q2047937304301.575320407Q21163101780612.08940444Q221463784471.732804546Total11409926162501.851508316

测试结论

通过以上测试结果可以看到，不同并行度下，StarRocks的性能表现都优于Impala，有近2倍的性能优势。