TPC-H和TPC-DS

TPC-H和TPC-DS
1、TPC-H

商业智能计算测试TPC-H 是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集.目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( [email protected]),其中 H 表示每小时系统执行复杂查询的平均次数,size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。

  1. TPC-DS

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。

TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:

一共99个测试案例,遵循SQL’99和SQL 2003的语法标准,SQL案例比较复杂
分析的数据量大,并且测试案例是在回答真实的商业问题
测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等)
几乎所有的测试案例都有很高的IO负载和CPU计算需求

U2FsdGVkX19sV4FfLcMXEd5RvKU0TOttuICxTpqkVGYZ9ZxrFBE7Gfymehvz8mpz
g7up+DJEQdZuZSGiL8l2WEUq7jdxB5BkSilBTV6FnVDps8F6v456QqkkL2IQYHad
w90qsj0r6QU2cCF9C5HnGXdC7jd/j7VolFIldDp5co5D1sWhxVdgZe9JkCRy/3M/
np2XvzRvM7psOYQA/gbNI094q/wOJRmCD8jCttZdr1yek01DAFpUADDxFmJGkRMa
PbMPVLZeGNhuqnrI/4PV1nlmP3SPfaM+0f4WdReiYa3gVsjaLV9Jwgpe4XLDXI4d
+KIEuTxdO9aJKcGMWf1uBaeSP/GX2P0l+eAnIBCQUo0YfK3Owt/1jPhOcToBl7kc
UpF6RvakMdT5ByhC32MPHtLEF/HaLkYCtpGS6+x4fYk9Lo+2l+hsM9wmQa1Spngo
9erdZfjiGnsRQFieC+OczxlJQcssj6iBAbxUGoI8jpaiwUKlzM1RC66WBEh599Xd
KGAcd9ooTSlut1wNoAu5NjNKr7r34zXARaTe6lenD23iUMbpT0P5vEY+Zpx3+Db8
Bur34iwaYUIyH9oTzkL6dVtvumcWx30/K6L0fh+QtuoaXpQvAjO2k2qimW3AsMb7
7Pg9fMmmqXd4qTSSjuyNlp+atzbrgnAAMabR3Vnti9VeBtEB1WDB6KocjLIAAGsL
UB/O1iNN3CFwMxLGhLtoM9NOjxZgmomQUXKtZW+mx2aXG80YrLKM+wPVH0fWXFgc
6mLwJwMct6VZtjDdnObrriP5uolHcnl3ItbMCOknLkjGTHH6DTrgjvSlZCM+Dief
uung7VcQAMOM4Cb+ZIfxNd0VCPagLFK/N7jBSlYkDZucQ8dxMu0FNMOHwWMPocL7
+NA/TMumuicoDTorEFGQIQp0m6CfMeOEoHwR2UWH47fqv0R/7DnqCadydqs+2Anu
brK4Efuou3onUTC87TkcUH6zNDaaiSa5SrDctjQH48g9W3bd6c2X7Fxi0cRErdJK
paw7n3lTv0QDRIjhZXTGOSJdaExLlw8o67OKZoKKqEoFGCiTNaRA/h0Gz0m46IJP
CVgLOfQBN4FC7PbEaa/yy3iRxK85dHCAnJJk38+UpvCZI804RyllHQ0VUKR+WB3d
pRLo5xydax/eMPvEgDabC/f/BBj/gwOtAA+uzLxmckIGV0QjHVy4MXQwr9WjDnAM
41CXM21ED2Hh0bt92BVHs5MWaZmU0Lw3T9/akJMKoHVmdoJ6Ppwv7wNT4c58C2Qf
9EoLStMo3haXm7b8jF8anu6Kr6n+dKmfpuSz2NvZT13QI6IBjenwmqWTDWAogY6h
+O2NKwG2M2L5G1fmT7cxCpTKA4kYu68am/FDzREEFKc1ZNOaUkWDYbaoeFELvzJJ
yafw+mcOwnwaXzc1UT3kgxJiwDlLPdCyEmCFLRQA0U80R2/JMgCIUF6rCC7OTx8r
tQ0YtfpQrF4bDu444kwzmNBfEIQdNfcy3F2Rw0I6mPawaOiZZ1CLsHFOZGlzPcLQ
Skl6zsUd4B4b0FJCMxvNndoj0yWfs4kY7BaKg1r6caxNE77oEkbIIj6uYEaP6PO+
tcEvsEUCDFqhsoJTa5lmIC9pOIBQhAnKtLCqpvzhyjEC+eHLxVQCb3fBAdhsCUUB
QVd2wgbb6v6iDkUG3syFdX1lEs22m5cxjI2eePVKSBrQ8zUwWnDlbjnHTiY6oRNt
HX66SqfrZKooc9yBlO/KGLfgCGXT+pEGMxTsQeSMVX2x1KvNNdl6N+PlhYtY7pWC
wdyzdV674UVl9lEJNRhhsKjvsn6AJYYjXQRtBexe0V7ijNzSYa1skbuEWuANwgTQ
SfKKI2os3muRoEFvTORbXkM5rsZUwcdJ5NosXolI7YbiTFWB6DnFtq+oLPxhzu+k
KJ22DGI3+RZZRjiFudZjTCezcL5+URQ+4Hl8lm9e+mjiy8kZXhFToxuyxqua4Txm
0YY2FSX3zhx+jlz+gRL8VkclXB/Rug46nn3u4ZFF/F3GCb+RxADoHWq8TYLhlGas
9m/SxczRB+tkUirfnLEkEL69xDUd3q3Zr0tt2Tr5v0LqnRSiFnnBH3HZ/BQ0XylN
8VnDwWo7/5Itt2f029WM5+0m2j7JI3Jr8pHiGcBxut0a/Q6tnfQmUDvkfG79O87z
PVN2JgEo0qWI9VR30SRNjZd6PefTQrt6sFXWIg+beaBk3t/94IkesO6WscODrFU0
f2E8RLWK/R/HV4oom9sFbUGMQUIdF0z3yo2YcyrbPAGWeaQG+2aEsVtDaBnPQTUw
b3n/S0hHIW/dfYGI6LFCFyKkobqJdz44omzYbEeAqjUaexiP6GPt+YFIL4ycLdsg
C3iPItKD03GNXfVN/BdefBM0Yl1QAwmEwEF08G5n0RhVMOMRYkwHEeNmIWRmxRjU
o9BvYwy4uMf+gipCjhTvwCGjf4sUk7zOkZQw+zGvBq5zB7UDtI5udNxSjEk0HAZM
xLqfO5VMHFKtF67NwopMjypcskMWgbU/0bKw+3F9lMbE7g5E7X80jD3oeZ8iomXd
5i/H2QtQluz2wOcIYsIfYoAxiLbqO6jyPyocCQiAK/8h78iYJC6+pWLS2jewfTG+
gotrbx/EBU4QdjlJJDAnnUtBuwWhzPNePX4wCqcc3F4SiXUqaL0BVt43x1S8vQMT
lshrAG5thBR00dmYmgvyqfWZ0oMeRlDhcjmdHzdanqaoZ/tkJH2eFpmPKARzS0UC
9y+ZmxNETghXpGX9x1VifOCGCjx6c02IqrztINNNyg8Uke6axjrwCD9Tz9FDbpMG
LvuvRt8BJTeb3tNtw53wUJRn3v4NC8gEvJWi4xq9THOhY7C/Mzc5NJMt7YTld22L
1iKiEHixS7AQu7K3K2J4sxzD5r20UGYqUTXXcFM5QgQENqgc8ce/ncM5iC1XVNKl
FKapp+2azpywneDqrjEM9tUxiYtbIm+YxApXmupY71uLSELh+xCBM/0KuPTtuJlv
4udN6P0LIRLQ7udg5C/2ISDabdRNlGjfuRQ7HdxkBf1gZXH74LlCCUzOENDLPSQT
5ySAPaF9P+W/qfsfsGA/Vt0LR7bi7vvkevCMkQ/IkYMsSrS7JP8asGY70qjuy08t
vlNAkw14sbHkatkSlIdwJhXh7kkgQstH04Qn+hlWZJQBVSaKjG9UsWLxW/usaEYp
DgBpsuAhFA49w4JilhYrY3ZFFcYhT7x5zq74gnCbXYNzqGWp5DraogAXB+x89UnF
fmAnlJ2LxBIEoJxfqQwCq2KFQ56lThAJL9wsC6TNH+EWSTC3nTjjWzWEBh1HBMLJ
wSmeV1zHlJfrses+ibe1IWqVXJzQHxh7nYUChj23+oEaYI/v+NdR9xt/Y6Hq+zNl
KP1izVpyZeLoeuJH3tPhjXujqyDjaGf4Z4fOMFrHADVAOyGK+KMy04J/kK+Qd20k
IwP6uTQIk5MWcxgxiM8qfDz9xXtZ1xGyyMBS6PEC6+V4CcSgr/PPhPW51m2/WV19
0oTOFMWp69qKI/rsKE5I7TVCz5+zPfBm8VKbavT0oSGtZ12pcPEIcflbgGxphBxW
zeAdEZJiS/9br3NLIsjAcE7lUYDjTAiTJL40RqrLijAkE/nXtZ2eTqfXNfhmsU2Q
MFDLodxMqNFjUaDLVUx7BAwxh/DjkJsgrRF70MzuWb9GYv7+2vS514eld4exfXz1
KTq6fffmBHdexOJKPotThFA5jM8NEPtmrIqjYtJx8AlVb1AC2zAbtJYPdRJIekI3
1hEL/Onbnt5NRTiTJh6KgKjZDyG/VrVIFc/XZai0A00r0sL8ax4nhe9jDz3tPPAU
m8SWCi5VdkOruVCglY/qTfVx8rPwKCYmVAlC74U7SoQ3WeQAiktBOxI+G96cYfgJ
xOK9g7svPbRFKsKWFkGrrvnUr+bJJmmIL3f7OTPFsgihcGa3jTgN6+1AWPyw5IJm
K7DawFd1nVQEuhEPBh3weQlFhyDa97KnC+mWWiO4yYI=