Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[feature](nereids) judge if the join is at bottom of join cluster #29383

Merged
merged 3 commits into from
Jan 6, 2024
Merged

[feature](nereids) judge if the join is at bottom of join cluster #29383

merged 3 commits into from
Jan 6, 2024

Conversation

englefly
Copy link
Contributor

@englefly englefly commented Jan 2, 2024

Proposed changes

set width property in stats to indicate how many relations are joined under a plan node

Issue Number: close #xxx

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

@englefly
Copy link
Contributor Author

englefly commented Jan 2, 2024

run buildall

@englefly englefly force-pushed the width branch 2 times, most recently from e78ccdf to b809485 Compare January 3, 2024 02:47
@englefly
Copy link
Contributor Author

englefly commented Jan 3, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit b809485d2002ed2bd5b04dd53080eafd389df313, data reload: false

run tpch-sf100 query with default conf and session variables
q1	6033	5263	5240	5240
q2	400	167	157	157
q3	1471	1185	1161	1161
q4	1102	863	821	821
q5	3150	3126	2913	2913
q6	233	149	132	132
q7	1022	586	508	508
q8	2159	2215	2256	2215
q9	6723	6711	6703	6703
q10	3182	3143	3143	3143
q11	352	217	231	217
q12	384	243	241	241
q13	4455	3673	3656	3656
q14	246	216	218	216
q15	625	561	566	561
q16	455	410	418	410
q17	1055	489	530	489
q18	7381	6953	7711	6953
q19	1634	1496	1431	1431
q20	573	354	330	330
q21	2862	2517	2503	2503
q22	399	326	335	326
Total cold run time: 45896 ms
Total hot run time: 40326 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5221	5091	5043	5043
q2	339	260	252	252
q3	3388	3334	3305	3305
q4	2163	2020	2004	2004
q5	5996	5961	5937	5937
q6	231	125	127	125
q7	2401	1896	1955	1896
q8	3590	3663	3650	3650
q9	9116	9112	9055	9055
q10	3942	3975	3973	3973
q11	593	482	509	482
q12	799	660	642	642
q13	3886	3193	3219	3193
q14	296	286	276	276
q15	617	539	545	539
q16	563	545	518	518
q17	2081	1818	1860	1818
q18	9081	8513	8675	8513
q19	1747	1676	1693	1676
q20	2324	2007	1989	1989
q21	5745	5392	5361	5361
q22	580	492	514	492
Total cold run time: 64699 ms
Total hot run time: 60739 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit b809485d2002ed2bd5b04dd53080eafd389df313, data reload: false

------ Round 1 ----------------------------------
q1	17678	5198	5062	5062
q2	2012	152	145	145
q3	10540	1130	1156	1130
q4	10184	802	756	756
q5	7803	2908	2847	2847
q6	216	134	130	130
q7	924	555	523	523
q8	9291	2003	2012	2003
q9	6809	6375	6379	6375
q10	8238	3047	3045	3045
q11	431	218	215	215
q12	386	232	236	232
q13	17992	3667	3609	3609
q14	239	221	220	220
q15	584	547	536	536
q16	443	386	413	386
q17	955	446	510	446
q18	7213	6686	6647	6647
q19	1574	1303	1344	1303
q20	735	337	351	337
q21	2763	2397	2377	2377
q22	394	324	318	318
Total cold run time: 107404 ms
Total hot run time: 38642 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5136	5136	5091	5091
q2	339	252	249	249
q3	3301	3278	3246	3246
q4	2101	2036	1998	1998
q5	5765	5826	5745	5745
q6	213	125	127	125
q7	2300	1898	1923	1898
q8	3350	3438	3445	3438
q9	8787	8732	8688	8688
q10	3838	3849	3833	3833
q11	602	491	501	491
q12	797	656	644	644
q13	7291	3279	3222	3222
q14	294	293	263	263
q15	590	531	521	521
q16	555	499	496	496
q17	1939	1774	1750	1750
q18	8676	8247	8264	8247
q19	1622	1541	1598	1541
q20	2189	1978	1966	1966
q21	5578	5201	5262	5201
q22	544	489	543	489
Total cold run time: 65807 ms
Total hot run time: 59142 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 47.48 seconds
stream load tsv: 576 seconds loaded 74807831229 Bytes, about 123 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 28.2 seconds inserted 10000000 Rows, about 354K ops/s
storage size: 17184102350 Bytes

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit b809485d2002ed2bd5b04dd53080eafd389df313, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	948	365	335	335
query2	6432	1895	1919	1895
query3	6658	208	200	200
query4	27556	22583	22429	22429
query5	5680	557	515	515
query6	271	178	180	178
query7	4579	268	264	264
query8	219	198	197	197
query9	8178	2634	2568	2568
query10	449	243	260	243
query11	16053	15536	15740	15536
query12	134	76	76	76
query13	1639	334	334	334
query14	11332	7205	7149	7149
query15	239	192	194	192
query16	6396	276	267	267
query17	1828	503	488	488
query18	1938	266	268	266
query19	275	142	137	137
query20	81	77	76	76
query21	184	100	94	94
query22	5173	4947	4810	4810
query23	31932	31175	31356	31175
query24	12041	2822	2842	2822
query25	570	351	347	347
query26	1691	146	146	146
query27	2855	283	283	283
query28	6999	1943	1961	1943
query29	2035	385	391	385
query30	281	141	143	141
query31	967	781	767	767
query32	91	60	60	60
query33	730	275	277	275
query34	844	444	443	443
query35	876	768	736	736
query36	1351	1294	1301	1294
query37	187	70	73	70
query38	3380	3287	3272	3272
query39	1340	1307	1287	1287
query40	307	92	89	89
query41	39	35	35	35
query42	98	93	94	93
query43	513	454	495	454
query44	1057	707	723	707
query45	194	187	187	187
query46	1069	639	628	628
query47	1696	1640	1569	1569
query48	341	263	259	259
query49	1205	331	319	319
query50	739	365	319	319
query51	5397	5408	5383	5383
query52	88	86	84	84
query53	212	150	157	150
query54	1352	571	587	571
query55	95	94	88	88
query56	215	205	198	198
query57	1026	985	968	968
query58	219	204	202	202
query59	2784	2530	2749	2530
query60	267	243	254	243
query61	84	82	82	82
query62	648	453	448	448
query63	168	154	150	150
query64	5910	1698	1667	1667
query65	3331	3280	3290	3280
query66	1285	336	335	335
query67	15876	15432	15128	15128
query68	12650	534	532	532
query69	517	254	248	248
query70	1737	1577	1540	1540
query71	499	230	236	230
query72	5564	3540	3518	3518
query73	2878	318	314	314
query74	7076	6432	6397	6397
query75	5193	2273	2277	2273
query76	6303	1072	1146	1072
query77	654	282	252	252
query78	9056	8813	8665	8665
query79	1063	523	522	522
query80	527	372	355	355
query81	472	210	205	205
query82	207	102	99	99
query83	184	134	133	133
query84	246	53	53	53
query85	982	270	268	268
query86	385	367	370	367
query87	3575	3385	3364	3364
query88	2962	2286	2284	2284
query89	329	260	258	258
query90	1860	213	210	210
query91	117	88	91	88
query92	61	50	51	50
query93	1387	492	499	492
query94	809	182	189	182
query95	471	423	401	401
query96	606	319	319	319
query97	4304	4165	4166	4165
query98	208	187	190	187
query99	1172	817	880	817
Total cold run time: 294681 ms
Total hot run time: 179721 ms

@englefly
Copy link
Contributor Author

englefly commented Jan 3, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit f86fd71d5465c5c0da52e36807bd2aec877417dc, data reload: false

------ Round 1 ----------------------------------
q1	17662	5102	5069	5069
q2	2028	159	142	142
q3	10534	1127	1083	1083
q4	10186	813	818	813
q5	7809	2872	2860	2860
q6	210	136	133	133
q7	915	563	483	483
q8	9239	1972	1986	1972
q9	6804	6379	6282	6282
q10	8292	3044	2974	2974
q11	432	213	214	213
q12	385	234	236	234
q13	18015	3619	3622	3619
q14	236	203	214	203
q15	568	543	524	524
q16	488	389	391	389
q17	966	426	574	426
q18	7336	6639	6624	6624
q19	1596	1317	1358	1317
q20	688	319	351	319
q21	2796	2348	2375	2348
q22	359	336	331	331
Total cold run time: 107544 ms
Total hot run time: 38358 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5164	5033	5087	5033
q2	346	254	261	254
q3	3305	3276	3254	3254
q4	2108	2006	2002	2002
q5	5786	5740	5741	5740
q6	217	123	122	122
q7	2305	1949	1901	1901
q8	3365	3439	3435	3435
q9	8743	8696	8676	8676
q10	3779	3786	3818	3786
q11	587	492	473	473
q12	788	665	653	653
q13	9003	3203	3168	3168
q14	292	276	287	276
q15	593	539	531	531
q16	566	510	531	510
q17	1921	1754	1755	1754
q18	8661	8262	8238	8238
q19	1618	1594	1565	1565
q20	2212	1985	1949	1949
q21	5517	5242	5163	5163
q22	532	521	505	505
Total cold run time: 67408 ms
Total hot run time: 58988 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit f86fd71d5465c5c0da52e36807bd2aec877417dc, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5428	5172	5140	5140
q2	394	161	146	146
q3	1463	1116	1158	1116
q4	1098	848	820	820
q5	3133	2967	3010	2967
q6	237	137	131	131
q7	966	533	543	533
q8	2158	2175	2243	2175
q9	6730	6673	6659	6659
q10	3156	3142	3085	3085
q11	347	219	221	219
q12	392	242	246	242
q13	4375	3629	3667	3629
q14	259	218	213	213
q15	605	549	569	549
q16	461	402	414	402
q17	1041	475	512	475
q18	7101	6762	6789	6762
q19	1632	1510	1395	1395
q20	603	310	322	310
q21	2859	2468	2500	2468
q22	395	334	317	317
Total cold run time: 44833 ms
Total hot run time: 39753 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5156	5160	5056	5056
q2	336	251	245	245
q3	3354	3333	3326	3326
q4	2154	2017	2027	2017
q5	5958	5904	5924	5904
q6	226	124	124	124
q7	2380	1896	1941	1896
q8	3561	3654	3691	3654
q9	9061	9009	8967	8967
q10	3889	3930	3942	3930
q11	594	492	465	465
q12	808	641	654	641
q13	3886	3194	3206	3194
q14	299	271	269	269
q15	613	537	536	536
q16	571	501	497	497
q17	2039	1806	1825	1806
q18	8818	8335	8390	8335
q19	1740	1673	1691	1673
q20	2299	1995	2006	1995
q21	5760	5234	5354	5234
q22	560	508	533	508
Total cold run time: 64062 ms
Total hot run time: 60272 ms

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit f86fd71d5465c5c0da52e36807bd2aec877417dc, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	927	341	334	334
query2	6422	1900	1876	1876
query3	6653	209	205	205
query4	26987	22540	22373	22373
query5	4482	566	566	566
query6	282	183	180	180
query7	4600	285	285	285
query8	236	200	200	200
query9	8309	2595	2521	2521
query10	393	265	267	265
query11	16294	15702	15591	15591
query12	135	79	73	73
query13	1662	326	337	326
query14	12890	7092	7137	7092
query15	249	192	193	192
query16	6542	276	266	266
query17	1876	510	504	504
query18	1947	265	263	263
query19	274	141	142	141
query20	81	77	78	77
query21	184	98	95	95
query22	5174	4722	4669	4669
query23	32120	31239	31164	31164
query24	11638	2821	2788	2788
query25	579	366	354	354
query26	1695	145	147	145
query27	2850	278	280	278
query28	7027	1974	1947	1947
query29	2056	413	396	396
query30	292	142	143	142
query31	1003	771	781	771
query32	90	60	59	59
query33	736	263	276	263
query34	891	443	446	443
query35	887	752	756	752
query36	1270	1261	1219	1219
query37	191	72	71	71
query38	3376	3306	3239	3239
query39	1341	1291	1291	1291
query40	292	93	92	92
query41	37	34	35	34
query42	94	90	99	90
query43	532	516	483	483
query44	1096	708	721	708
query45	197	189	193	189
query46	1058	653	650	650
query47	1672	1562	1561	1561
query48	348	263	251	251
query49	1195	336	323	323
query50	739	341	330	330
query51	5329	5160	5291	5160
query52	103	87	84	84
query53	216	155	147	147
query54	1441	587	575	575
query55	101	93	91	91
query56	212	200	206	200
query57	1052	969	961	961
query58	233	203	209	203
query59	2719	2539	2563	2539
query60	254	242	236	236
query61	90	88	87	87
query62	641	467	468	467
query63	168	149	144	144
query64	5837	1696	1690	1690
query65	3331	3252	3298	3252
query66	1397	345	338	338
query67	15753	15523	15459	15459
query68	11742	548	529	529
query69	519	246	257	246
query70	1723	1615	1540	1540
query71	494	235	230	230
query72	5674	3623	3603	3603
query73	2545	310	317	310
query74	6963	6372	6460	6372
query75	4792	2304	2288	2288
query76	6272	1092	1124	1092
query77	655	281	263	263
query78	9084	8973	8570	8570
query79	2463	520	521	520
query80	702	382	367	367
query81	454	202	208	202
query82	207	101	100	100
query83	168	137	139	137
query84	247	56	54	54
query85	944	309	286	286
query86	392	394	384	384
query87	3596	3366	3383	3366
query88	3270	2275	2287	2275
query89	356	251	259	251
query90	1934	218	214	214
query91	122	95	95	95
query92	61	55	54	54
query93	2847	514	494	494
query94	802	189	192	189
query95	454	434	405	405
query96	618	315	320	315
query97	4290	4120	4131	4120
query98	207	188	193	188
query99	1109	869	806	806
Total cold run time: 296484 ms
Total hot run time: 179625 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 46.91 seconds
stream load tsv: 567 seconds loaded 74807831229 Bytes, about 125 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 28.0 seconds inserted 10000000 Rows, about 357K ops/s
storage size: 17184080957 Bytes

@englefly
Copy link
Contributor Author

englefly commented Jan 4, 2024

run buildall

1 similar comment
@englefly
Copy link
Contributor Author

englefly commented Jan 4, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit b6b2600cd70fdf27f6b0976245565fd581fddc7f, data reload: false

------ Round 1 ----------------------------------
q1	17681	5340	5170	5170
q2	2018	154	145	145
q3	10615	1073	1127	1073
q4	10237	766	827	766
q5	7861	2962	2894	2894
q6	216	133	138	133
q7	927	527	542	527
q8	9296	2026	1991	1991
q9	6825	6455	6421	6421
q10	8226	3095	3064	3064
q11	459	219	211	211
q12	388	230	236	230
q13	18000	3631	3621	3621
q14	257	230	202	202
q15	562	528	518	518
q16	462	412	399	399
q17	973	445	457	445
q18	7470	6779	6668	6668
q19	1582	1369	1294	1294
q20	663	324	336	324
q21	2817	2319	2447	2319
q22	387	315	320	315
Total cold run time: 107922 ms
Total hot run time: 38730 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5135	5111	5138	5111
q2	339	230	234	230
q3	3312	3306	3274	3274
q4	2148	2025	2055	2025
q5	5791	5960	5767	5767
q6	215	125	127	125
q7	2350	1922	1906	1906
q8	3458	3423	3484	3423
q9	8985	8773	9049	8773
q10	3770	3840	3833	3833
q11	566	484	484	484
q12	818	615	635	615
q13	8877	3189	3169	3169
q14	290	274	283	274
q15	573	510	511	510
q16	554	496	505	496
q17	1984	1817	1735	1735
q18	8733	8306	8304	8304
q19	1633	1611	1582	1582
q20	2194	1954	1971	1954
q21	5591	5309	5267	5267
q22	534	495	509	495
Total cold run time: 67850 ms
Total hot run time: 59352 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit b6b2600cd70fdf27f6b0976245565fd581fddc7f, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5540	5176	5228	5176
q2	393	161	162	161
q3	1459	1152	1142	1142
q4	1084	787	843	787
q5	3144	3124	3131	3124
q6	222	144	134	134
q7	986	555	535	535
q8	2137	2262	2282	2262
q9	6690	6649	6671	6649
q10	3205	3163	3154	3154
q11	335	226	214	214
q12	381	231	229	229
q13	4377	3637	3649	3637
q14	252	211	224	211
q15	581	526	528	526
q16	451	429	417	417
q17	1041	538	454	454
q18	7070	6747	6745	6745
q19	1636	1504	1431	1431
q20	547	341	351	341
q21	2859	2388	2479	2388
q22	408	331	332	331
Total cold run time: 44798 ms
Total hot run time: 40048 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5149	5143	5103	5103
q2	340	231	239	231
q3	3355	3345	3307	3307
q4	2178	2036	2034	2034
q5	5961	5932	5933	5932
q6	225	125	126	125
q7	2403	1970	1966	1966
q8	3592	3671	3692	3671
q9	9007	8985	9014	8985
q10	3895	3914	3893	3893
q11	590	486	482	482
q12	800	620	668	620
q13	4015	3216	3157	3157
q14	317	294	274	274
q15	591	530	528	528
q16	540	511	500	500
q17	2035	1804	1856	1804
q18	8757	8298	8783	8298
q19	1739	1651	1696	1651
q20	2263	1991	1991	1991
q21	5792	5308	5458	5308
q22	575	480	502	480
Total cold run time: 64119 ms
Total hot run time: 60340 ms

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit b6b2600cd70fdf27f6b0976245565fd581fddc7f, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	942	355	331	331
query2	4340	1940	1917	1917
query3	6638	209	204	204
query4	27147	22464	22378	22378
query5	3312	502	493	493
query6	259	181	177	177
query7	4569	273	261	261
query8	233	202	215	202
query9	8253	2516	2533	2516
query10	587	255	246	246
query11	16102	15570	15521	15521
query12	140	77	79	77
query13	1624	337	323	323
query14	10948	7054	7116	7054
query15	222	187	189	187
query16	5997	275	261	261
query17	1863	494	488	488
query18	1814	280	256	256
query19	182	140	133	133
query20	81	77	80	77
query21	169	99	99	99
query22	4852	4822	4787	4787
query23	31986	31258	31202	31202
query24	11899	2802	2791	2791
query25	562	347	335	335
query26	1466	142	137	137
query27	2902	271	282	271
query28	7020	1930	1912	1912
query29	1525	396	399	396
query30	274	143	145	143
query31	959	747	765	747
query32	81	57	56	56
query33	766	273	247	247
query34	886	443	449	443
query35	867	768	797	768
query36	1259	1191	1249	1191
query37	155	70	71	70
query38	3412	3347	3270	3270
query39	1337	1294	1269	1269
query40	270	91	87	87
query41	39	37	35	35
query42	93	85	84	84
query43	529	498	486	486
query44	1161	696	705	696
query45	194	182	187	182
query46	1060	646	640	640
query47	1638	1510	1561	1510
query48	340	261	262	261
query49	1088	312	322	312
query50	715	316	316	316
query51	5397	5262	5281	5262
query52	94	86	88	86
query53	214	145	155	145
query54	1249	572	571	571
query55	105	82	80	80
query56	203	200	186	186
query57	1007	943	909	909
query58	220	197	197	197
query59	2759	2638	2618	2618
query60	238	225	224	224
query61	90	94	84	84
query62	711	461	482	461
query63	162	147	146	146
query64	5194	1742	1681	1681
query65	3342	3257	3262	3257
query66	1342	350	337	337
query67	15825	15492	15312	15312
query68	11425	535	529	529
query69	516	260	251	251
query70	1730	1729	1518	1518
query71	515	208	202	202
query72	5833	3620	3577	3577
query73	2392	311	311	311
query74	6992	6569	6470	6470
query75	5062	2282	2243	2243
query76	6125	1104	1071	1071
query77	684	250	269	250
query78	9075	8746	8503	8503
query79	1029	505	496	496
query80	571	360	359	359
query81	453	208	207	207
query82	194	101	92	92
query83	162	148	137	137
query84	250	55	58	55
query85	975	289	278	278
query86	387	421	373	373
query87	3570	3386	3432	3386
query88	3168	2257	2256	2256
query89	335	259	256	256
query90	1968	195	201	195
query91	129	90	94	90
query92	62	51	52	51
query93	2196	446	438	438
query94	919	189	181	181
query95	452	424	404	404
query96	637	323	325	323
query97	4285	4127	4172	4127
query98	221	197	190	190
query99	1060	841	851	841
Total cold run time: 286281 ms
Total hot run time: 179061 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 45.99 seconds
stream load tsv: 568 seconds loaded 74807831229 Bytes, about 125 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 28.4 seconds inserted 10000000 Rows, about 352K ops/s
storage size: 17184011939 Bytes

@englefly
Copy link
Contributor Author

englefly commented Jan 4, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit 427d6102a667517d3955efb87ae5977401af27eb, data reload: false

------ Round 1 ----------------------------------
q1	18485	5575	5121	5121
q2	2015	155	143	143
q3	10621	1113	1155	1113
q4	10250	783	808	783
q5	7807	2955	2932	2932
q6	222	139	136	136
q7	933	520	535	520
q8	9306	2027	2038	2027
q9	6877	6419	6390	6390
q10	8249	3021	3058	3021
q11	432	221	217	217
q12	393	234	235	234
q13	18009	3689	3688	3688
q14	253	221	207	207
q15	561	518	522	518
q16	462	387	403	387
q17	978	441	488	441
q18	7476	6836	6712	6712
q19	1596	1297	1457	1297
q20	741	330	329	329
q21	2837	2395	2471	2395
q22	390	323	324	323
Total cold run time: 108893 ms
Total hot run time: 38934 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5169	5131	5106	5106
q2	340	236	244	236
q3	3336	3315	3322	3315
q4	2150	2061	2072	2061
q5	5873	5770	5799	5770
q6	221	125	128	125
q7	2353	1920	1899	1899
q8	3399	3466	3484	3466
q9	8866	8826	8790	8790
q10	3809	3848	3911	3848
q11	610	486	519	486
q12	804	621	637	621
q13	8325	3231	3225	3225
q14	296	263	279	263
q15	584	518	520	518
q16	562	496	483	483
q17	1960	1783	1750	1750
q18	8706	8410	8302	8302
q19	1643	1607	1602	1602
q20	2179	1958	1961	1958
q21	5705	5330	5362	5330
q22	557	472	505	472
Total cold run time: 67447 ms
Total hot run time: 59626 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit 427d6102a667517d3955efb87ae5977401af27eb, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5508	5151	5138	5138
q2	387	169	158	158
q3	1463	1169	1230	1169
q4	1073	823	813	813
q5	3151	3114	3186	3114
q6	223	139	137	137
q7	988	552	542	542
q8	2159	2163	2251	2163
q9	6721	6646	6688	6646
q10	3208	3151	3084	3084
q11	338	221	223	221
q12	380	235	234	234
q13	4427	3643	3639	3639
q14	242	230	212	212
q15	580	535	524	524
q16	466	400	405	400
q17	1054	524	542	524
q18	7103	6760	6790	6760
q19	1653	1498	1412	1412
q20	562	331	331	331
q21	2888	2454	2500	2454
q22	411	328	349	328
Total cold run time: 44985 ms
Total hot run time: 40003 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5160	5163	5119	5119
q2	335	233	241	233
q3	3374	3343	3319	3319
q4	2166	2079	2066	2066
q5	5945	5919	5960	5919
q6	223	131	130	130
q7	2413	1903	1914	1903
q8	3589	3654	3684	3654
q9	9086	9071	9004	9004
q10	3896	3910	3913	3910
q11	586	501	491	491
q12	788	622	629	622
q13	3903	3176	3173	3173
q14	291	264	275	264
q15	583	529	527	527
q16	549	482	489	482
q17	2032	1821	1835	1821
q18	8732	8349	8806	8349
q19	1755	1698	1693	1693
q20	2306	1979	1991	1979
q21	5708	5309	5340	5309
q22	550	487	497	487
Total cold run time: 63970 ms
Total hot run time: 60454 ms

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit 427d6102a667517d3955efb87ae5977401af27eb, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	941	362	345	345
query2	5522	1912	1891	1891
query3	6423	213	204	204
query4	26880	22510	22387	22387
query5	3890	538	505	505
query6	277	178	182	178
query7	4588	264	280	264
query8	221	201	195	195
query9	8102	2559	2543	2543
query10	439	269	245	245
query11	16238	15590	15531	15531
query12	132	77	75	75
query13	1635	326	330	326
query14	11661	7059	7158	7059
query15	221	196	194	194
query16	6151	268	267	267
query17	1834	495	486	486
query18	1858	278	268	268
query19	188	137	128	128
query20	85	74	79	74
query21	188	97	92	92
query22	4842	4538	4474	4474
query23	32165	31466	31166	31166
query24	11784	2766	2802	2766
query25	585	343	349	343
query26	1673	139	137	137
query27	2910	277	276	276
query28	6974	1923	1897	1897
query29	1727	379	380	379
query30	288	147	144	144
query31	977	759	787	759
query32	81	52	56	52
query33	751	285	250	250
query34	917	469	440	440
query35	902	787	807	787
query36	1284	1230	1252	1230
query37	184	70	65	65
query38	3365	3240	3235	3235
query39	1324	1315	1278	1278
query40	296	92	87	87
query41	37	35	40	35
query42	91	89	82	82
query43	533	489	498	489
query44	1051	705	710	705
query45	195	180	182	180
query46	1067	655	668	655
query47	1560	1633	1610	1610
query48	337	261	249	249
query49	1139	328	328	328
query50	783	315	326	315
query51	5494	5271	5325	5271
query52	99	83	88	83
query53	217	148	149	148
query54	1281	556	554	554
query55	97	87	82	82
query56	181	182	191	182
query57	1043	954	956	954
query58	220	197	196	196
query59	2786	2612	2539	2539
query60	222	230	224	224
query61	87	82	81	81
query62	652	452	446	446
query63	165	147	146	146
query64	5317	1744	1724	1724
query65	3307	3264	3252	3252
query66	1310	342	333	333
query67	15884	15351	15264	15264
query68	12387	534	539	534
query69	504	252	250	250
query70	1729	1508	1496	1496
query71	488	222	215	215
query72	5664	3510	3541	3510
query73	2919	313	309	309
query74	6971	6433	6457	6433
query75	5429	2265	2277	2265
query76	6340	1119	1111	1111
query77	681	249	279	249
query78	9159	8496	8680	8496
query79	1023	512	503	503
query80	526	353	339	339
query81	473	211	213	211
query82	203	91	92	91
query83	161	142	136	136
query84	244	53	53	53
query85	946	273	267	267
query86	379	394	371	371
query87	3570	3339	3385	3339
query88	2996	2260	2251	2251
query89	327	252	250	250
query90	1956	196	191	191
query91	112	92	100	92
query92	64	55	52	52
query93	1484	517	436	436
query94	794	185	177	177
query95	460	404	402	402
query96	630	315	325	315
query97	4294	4137	4159	4137
query98	208	192	186	186
query99	1075	832	811	811
Total cold run time: 289854 ms
Total hot run time: 178627 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 46.71 seconds
stream load tsv: 568 seconds loaded 74807831229 Bytes, about 125 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 28.1 seconds inserted 10000000 Rows, about 355K ops/s
storage size: 17183854393 Bytes

@englefly englefly force-pushed the width branch 2 times, most recently from 4a9b655 to 13464cd Compare January 4, 2024 10:11
@englefly
Copy link
Contributor Author

englefly commented Jan 4, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit 13464cd090bcb8e2f936818442773b4ec88ad2ec, data reload: false

------ Round 1 ----------------------------------
q1	18091	5725	5089	5089
q2	2015	156	144	144
q3	10620	1054	1135	1054
q4	10215	764	809	764
q5	7783	2919	2879	2879
q6	216	132	135	132
q7	904	527	553	527
q8	9252	2045	2017	2017
q9	6811	6346	6367	6346
q10	8239	3022	2951	2951
q11	430	230	211	211
q12	385	230	238	230
q13	17988	3667	3635	3635
q14	257	219	209	209
q15	569	526	522	522
q16	466	409	425	409
q17	953	514	515	514
q18	7478	6738	6731	6731
q19	1583	1326	1371	1326
q20	705	336	344	336
q21	2822	2348	2442	2348
q22	378	309	340	309
Total cold run time: 108160 ms
Total hot run time: 38683 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5131	5100	5085	5085
q2	343	236	248	236
q3	3337	3279	3285	3279
q4	2133	1999	2026	1999
q5	5858	5812	5802	5802
q6	214	126	128	126
q7	2308	1907	1901	1901
q8	3370	3432	3462	3432
q9	8820	8732	8733	8732
q10	3810	3823	3816	3816
q11	591	468	471	468
q12	789	649	618	618
q13	7025	3210	3243	3210
q14	284	282	282	282
q15	586	519	515	515
q16	545	496	513	496
q17	1942	1785	1756	1756
q18	8688	8465	8311	8311
q19	1620	1595	1587	1587
q20	2180	1983	1970	1970
q21	5530	5271	5324	5271
q22	545	473	470	470
Total cold run time: 65649 ms
Total hot run time: 59362 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit 13464cd090bcb8e2f936818442773b4ec88ad2ec, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5466	5169	5087	5087
q2	383	162	160	160
q3	1487	1188	1124	1124
q4	1070	848	789	789
q5	3163	3115	3174	3115
q6	222	134	138	134
q7	989	554	518	518
q8	2166	2295	2253	2253
q9	6705	6658	6668	6658
q10	3144	3098	3090	3090
q11	357	229	225	225
q12	380	242	238	238
q13	4427	3681	3682	3681
q14	266	217	225	217
q15	580	542	531	531
q16	461	406	392	392
q17	1050	539	480	480
q18	7109	6763	6825	6763
q19	1639	1583	1635	1583
q20	589	328	315	315
q21	2919	2456	2570	2456
q22	396	323	328	323
Total cold run time: 44968 ms
Total hot run time: 40132 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5133	5033	5034	5033
q2	346	239	235	235
q3	3361	3345	3306	3306
q4	2165	2066	2064	2064
q5	5954	5935	5926	5926
q6	224	127	132	127
q7	2376	1881	1905	1881
q8	3574	3690	3690	3690
q9	9037	9042	9067	9042
q10	3885	3892	3913	3892
q11	577	479	490	479
q12	807	624	634	624
q13	3863	3202	3181	3181
q14	303	276	268	268
q15	586	535	518	518
q16	548	517	516	516
q17	2042	1795	1816	1795
q18	8818	8363	8362	8362
q19	1758	1711	1722	1711
q20	2247	1984	1977	1977
q21	5698	5255	5393	5255
q22	578	466	510	466
Total cold run time: 63880 ms
Total hot run time: 60348 ms

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit 13464cd090bcb8e2f936818442773b4ec88ad2ec, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	883	350	337	337
query2	4681	1999	1899	1899
query3	5343	210	206	206
query4	26600	22517	22290	22290
query5	3456	505	549	505
query6	256	197	179	179
query7	4214	275	267	267
query8	233	199	201	199
query9	7472	2517	2597	2517
query10	384	239	258	239
query11	16245	15484	15512	15484
query12	131	76	79	76
query13	1553	316	322	316
query14	10582	7125	7055	7055
query15	222	192	188	188
query16	5689	268	266	266
query17	1707	503	486	486
query18	1784	275	265	265
query19	183	141	137	137
query20	84	76	74	74
query21	169	104	101	101
query22	5081	4839	4626	4626
query23	32474	31204	31170	31170
query24	11567	2831	2844	2831
query25	585	344	338	338
query26	1613	145	144	144
query27	2849	273	282	273
query28	6633	1875	1870	1870
query29	1714	380	403	380
query30	290	144	147	144
query31	987	758	769	758
query32	86	57	54	54
query33	710	267	252	252
query34	902	448	449	448
query35	864	776	772	772
query36	1326	1286	1323	1286
query37	160	70	71	70
query38	3350	3282	3258	3258
query39	1325	1284	1286	1284
query40	289	93	90	90
query41	39	37	36	36
query42	89	85	92	85
query43	533	505	499	499
query44	1039	695	707	695
query45	200	205	183	183
query46	1064	648	636	636
query47	1651	1613	1565	1565
query48	330	257	250	250
query49	1067	322	313	313
query50	783	366	327	327
query51	5402	5333	5240	5240
query52	93	91	87	87
query53	216	148	150	148
query54	1406	544	558	544
query55	92	85	79	79
query56	190	187	190	187
query57	1018	966	933	933
query58	223	205	207	205
query59	2831	2628	2614	2614
query60	224	233	211	211
query61	85	87	83	83
query62	660	461	481	461
query63	170	148	145	145
query64	5462	1725	1690	1690
query65	3327	3252	3287	3252
query66	1386	335	322	322
query67	15680	15236	15388	15236
query68	9929	514	524	514
query69	449	245	261	245
query70	1697	1462	1525	1462
query71	442	221	211	211
query72	5333	3553	3554	3553
query73	1825	321	309	309
query74	6972	6362	6370	6362
query75	4681	2312	2237	2237
query76	6062	1147	1113	1113
query77	677	250	250	250
query78	8984	8745	8594	8594
query79	1150	503	502	502
query80	570	351	356	351
query81	451	205	205	205
query82	212	99	91	91
query83	156	131	132	131
query84	248	53	52	52
query85	908	274	269	269
query86	395	409	398	398
query87	3506	3386	3366	3366
query88	3366	2225	2209	2209
query89	325	255	264	255
query90	1904	200	187	187
query91	115	88	88	88
query92	62	55	53	53
query93	2970	419	482	419
query94	881	178	179	178
query95	444	415	403	403
query96	635	313	321	313
query97	4302	4157	4121	4121
query98	234	190	191	190
query99	1089	852	800	800
Total cold run time: 280910 ms
Total hot run time: 178591 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 47.71 seconds
stream load tsv: 583 seconds loaded 74807831229 Bytes, about 122 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 28.2 seconds inserted 10000000 Rows, about 354K ops/s
storage size: 17184032021 Bytes

@englefly
Copy link
Contributor Author

englefly commented Jan 5, 2024

run buildall

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit e98b34f54992111eaa1d3ce3c8b1a3eeadc16ea4, data reload: false

------ Round 1 ----------------------------------
q1	18639	5671	5112	5112
q2	2027	157	141	141
q3	10625	1069	1200	1069
q4	10260	773	791	773
q5	7805	2936	2896	2896
q6	209	132	132	132
q7	911	517	549	517
q8	9286	2019	2019	2019
q9	6864	6382	6388	6382
q10	8269	2973	2994	2973
q11	440	227	224	224
q12	390	232	224	224
q13	18016	3634	3607	3607
q14	240	224	212	212
q15	555	519	519	519
q16	461	391	407	391
q17	959	430	507	430
q18	7451	6763	6698	6698
q19	1575	1415	1355	1355
q20	749	343	357	343
q21	2751	2301	2423	2301
q22	395	333	330	330
Total cold run time: 108877 ms
Total hot run time: 38648 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5150	5108	5100	5100
q2	344	229	243	229
q3	3300	3303	3285	3285
q4	2128	2053	2016	2016
q5	5799	5799	5772	5772
q6	220	126	123	123
q7	2320	1915	1929	1915
q8	3400	3441	3449	3441
q9	8879	8785	8766	8766
q10	3811	3831	3853	3831
q11	589	486	484	484
q12	795	640	625	625
q13	8197	3201	3215	3201
q14	299	283	273	273
q15	582	518	515	515
q16	551	505	522	505
q17	1946	1758	1718	1718
q18	8720	8472	8306	8306
q19	1615	1587	1538	1538
q20	2175	1984	1942	1942
q21	5560	5227	5270	5227
q22	533	502	482	482
Total cold run time: 66913 ms
Total hot run time: 59294 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpch-tools

Tpch sf100 test result on commit e98b34f54992111eaa1d3ce3c8b1a3eeadc16ea4, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5442	5162	5137	5137
q2	394	163	158	158
q3	1452	1173	1078	1078
q4	1074	758	757	757
q5	3109	3066	3117	3066
q6	221	132	135	132
q7	974	568	548	548
q8	2143	2130	2224	2130
q9	6685	6675	6679	6675
q10	3151	3148	3112	3112
q11	353	225	225	225
q12	383	235	230	230
q13	4426	3649	3644	3644
q14	256	216	231	216
q15	575	543	533	533
q16	457	398	416	398
q17	1038	486	509	486
q18	7143	6731	6802	6731
q19	1650	1493	1562	1493
q20	549	360	325	325
q21	2893	2481	2425	2425
q22	394	337	357	337
Total cold run time: 44762 ms
Total hot run time: 39836 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5255	5091	5102	5091
q2	334	239	241	239
q3	3359	3345	3311	3311
q4	2165	2077	2058	2058
q5	5945	5925	5926	5925
q6	223	125	129	125
q7	2384	1882	1934	1882
q8	3548	3671	3643	3643
q9	9046	8962	9015	8962
q10	3871	3922	3906	3906
q11	575	486	482	482
q12	811	663	628	628
q13	3873	3203	3167	3167
q14	306	282	281	281
q15	584	520	529	520
q16	576	528	528	528
q17	2038	1834	1843	1834
q18	8759	8292	8361	8292
q19	1737	1701	1708	1701
q20	2263	1970	1959	1959
q21	5665	5268	5395	5268
q22	575	488	476	476
Total cold run time: 63892 ms
Total hot run time: 60278 ms

@doris-robot
Copy link

TPC-DS test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G', run with scripts in https://github.com/apache/doris/tree/master/tools/tpcds-tools

TPC-DS sf100 test result on commit e98b34f54992111eaa1d3ce3c8b1a3eeadc16ea4, data reload: false

run tpcds-sf100 query with default conf and session variables
query1	881	366	336	336
query2	4997	1971	1837	1837
query3	5945	207	200	200
query4	26473	22607	22597	22597
query5	3390	548	511	511
query6	254	184	179	179
query7	4295	268	260	260
query8	231	201	210	201
query9	7894	2624	2609	2609
query10	394	257	248	248
query11	16337	15646	15486	15486
query12	133	82	77	77
query13	1571	324	330	324
query14	10410	7040	7131	7040
query15	215	187	190	187
query16	5818	271	265	265
query17	1774	499	486	486
query18	1820	270	270	270
query19	178	137	137	137
query20	79	77	79	77
query21	176	98	99	98
query22	4918	4725	4585	4585
query23	32519	31166	31307	31166
query24	11596	2802	2842	2802
query25	591	346	329	329
query26	1681	142	141	141
query27	2872	273	275	273
query28	6679	1945	1907	1907
query29	1893	403	384	384
query30	290	143	147	143
query31	961	770	776	770
query32	88	58	55	55
query33	721	252	243	243
query34	910	450	459	450
query35	883	779	771	771
query36	1285	1201	1145	1145
query37	153	63	66	63
query38	3376	3306	3293	3293
query39	1312	1289	1259	1259
query40	288	87	84	84
query41	38	35	34	34
query42	91	93	82	82
query43	501	508	469	469
query44	1054	699	709	699
query45	199	191	187	187
query46	1084	662	638	638
query47	1664	1523	1531	1523
query48	335	257	260	257
query49	1105	305	314	305
query50	733	358	382	358
query51	5396	5337	5325	5325
query52	97	84	97	84
query53	213	148	147	147
query54	1651	570	571	570
query55	98	81	78	78
query56	192	182	191	182
query57	1035	925	970	925
query58	217	194	199	194
query59	2713	2596	2511	2511
query60	224	221	229	221
query61	87	90	87	87
query62	621	477	444	444
query63	163	143	146	143
query64	5518	1751	1713	1713
query65	3354	3242	3263	3242
query66	1389	335	333	333
query67	15946	15413	15017	15017
query68	11850	538	533	533
query69	490	248	258	248
query70	1662	1553	1570	1553
query71	474	229	202	202
query72	5574	3512	3567	3512
query73	2809	317	324	317
query74	6963	6494	6434	6434
query75	5148	2365	2303	2303
query76	6025	1093	1026	1026
query77	677	246	251	246
query78	9121	8752	8526	8526
query79	1034	524	516	516
query80	547	374	346	346
query81	452	209	212	209
query82	192	93	93	93
query83	161	141	140	140
query84	246	54	53	53
query85	940	285	273	273
query86	385	386	399	386
query87	3531	3362	3346	3346
query88	3081	2258	2237	2237
query89	336	254	242	242
query90	1918	198	197	197
query91	122	94	92	92
query92	60	51	55	51
query93	1672	462	441	441
query94	924	188	184	184
query95	463	413	411	411
query96	619	319	318	318
query97	4240	4166	4177	4166
query98	202	202	188	188
query99	1088	858	867	858
Total cold run time: 285005 ms
Total hot run time: 178703 ms

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 46.46 seconds
stream load tsv: 564 seconds loaded 74807831229 Bytes, about 126 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 27.7 seconds inserted 10000000 Rows, about 361K ops/s
storage size: 17183882261 Bytes

@englefly
Copy link
Contributor Author

englefly commented Jan 5, 2024

run buildall

@doris-robot
Copy link

TPC-H: Tpch sf100 test result on commit d907806, data reload: false

run tpch-sf100 query with default conf and session variables
q1 5465 5159 5110 5110
q2 391 166 147 147
q3 1461 1136 1217 1136
q4 1077 855 786 786
q5 3118 2978 3175 2978
q6 223 133 137 133
q7 967 536 534 534
q8 2133 2217 2244 2217
q9 6688 6662 6644 6644
q10 3178 3135 3085 3085
q11 350 219 212 212
q12 382 236 238 236
q13 4397 3673 3629 3629
q14 244 226 218 218
q15 582 545 523 523
q16 455 408 404 404
q17 1047 547 538 538
q18 7092 6738 6761 6738
q19 1647 1563 1580 1563
q20 576 362 467 362
q21 2896 2545 2458 2458
q22 411 323 342 323
Total cold run time: 44780 ms
Total hot run time: 39974 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1 5123 5158 5037 5037
q2 352 235 256 235
q3 3343 3336 3306 3306
q4 2162 2034 2024 2024
q5 5956 5952 5949 5949
q6 227 131 128 128
q7 2381 1944 1949 1944
q8 3587 3666 3684 3666
q9 8997 8948 9001 8948
q10 3876 3899 3880 3880
q11 579 488 490 488
q12 812 640 625 625
q13 3869 3239 3144 3144
q14 300 275 280 275
q15 589 520 535 520
q16 557 497 523 497
q17 2013 1812 1788 1788
q18 8755 8348 8460 8348
q19 1733 1699 1706 1699
q20 2273 1975 1960 1960
q21 5635 5241 5422 5241
q22 554 494 532 494
Total cold run time: 63673 ms
Total hot run time: 60196 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools

@doris-robot
Copy link

(From new machine)TeamCity pipeline, clickbench performance test result:
the sum of best hot time: 47.5 seconds
stream load tsv: 564 seconds loaded 74807831229 Bytes, about 126 MB/s
stream load json: 19 seconds loaded 2358488459 Bytes, about 118 MB/s
stream load orc: 66 seconds loaded 1101869774 Bytes, about 15 MB/s
stream load parquet: 32 seconds loaded 861443392 Bytes, about 25 MB/s
insert into select: 26.5 seconds inserted 10000000 Rows, about 377K ops/s
storage size: 17183991067 Bytes

@englefly
Copy link
Contributor Author

englefly commented Jan 6, 2024

run feut

@github-actions github-actions bot added the approved Indicates a PR has been approved by one committer. label Jan 6, 2024
@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented Jan 6, 2024

PR approved by at least one committer and no changes requested.

@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented Jan 6, 2024

PR approved by anyone and no changes requested.

@yiguolei yiguolei merged commit 911635f into apache:master Jan 6, 2024
27 of 28 checks passed
HappenLee pushed a commit to HappenLee/incubator-doris that referenced this pull request Jan 12, 2024
@englefly @HappenLee
[feature](nereids) judge if the join is at bottom of join cluster (ap…
427c070 
…ache#29383)
wsjz pushed a commit to wsjz/incubator-doris that referenced this pull request Feb 4, 2024
@englefly @wsjz
[feature](nereids) judge if the join is at bottom of join cluster (ap…
d93cd97 
…ache#29383)
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@seawinde seawinde seawinde approved these changes

@starocean999 starocean999 starocean999 approved these changes

Assignees
No one assigned
Labels
approved Indicates a PR has been approved by one committer. dev/3.0.0-merged reviewed
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
6 participants
@englefly @doris-robot @starocean999 @seawinde @yiguolei @dataroaring