TPC-H和TPC-DS

TPC-H和TPC-DS

1、TPC-H

商业智能计算测试TPC-H 是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集.目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( [email protected]),其中 H 表示每小时系统执行复杂查询的平均次数,size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。

  1. TPC-DS

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。

TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:

一共99个测试案例,遵循SQL’99和SQL 2003的语法标准,SQL案例比较复杂
分析的数据量大,并且测试案例是在回答真实的商业问题
测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等)
几乎所有的测试案例都有很高的IO负载和CPU计算需求

U2FsdGVkX18PNLVcFmTkdOOOR//L5IPHyVOiUhBrCB/JsOAc/3vDTDfFMEvz/sd4
lk5uEz51m7qwwL3B8mNpM2v/bpSGNJ+WiB3xElsdIfVcWhQK61bQHMIFdoQQdHnp
KGr+AVychLWgBN23r8C/Z3eNcTzkA7eAT//qobGzfbvfpLG346y/j3bmTNFADpFE
V8JrpdA4kXv9NqXXjnXZgcqWuCZT6RXyBmQf3+gMGskAwzQs13wCqQ3o3Kqa52RE
NQq5o/FVy/iigP1TIkE7ER3XxNDba2dq5CggiMBPUpmmxg2ko2tixXY1xqA6RXO/
Td3wvlOLorSS70Bn9yVgzy23VdNHFvLyOuhx+yIry7X1Nw//oRxOPE36H8uAGWvh
jfXVZEisyH+r1u2WS4NXak0FoNrvwuItnjNCpamtnLN6onLAcl2cSnve0RZnfWep
qLNRDJM6a+z8SJBY/wGaazkCKKkU/8AeLiQxiFy4jM6WNTw1JhwGiMZen9QMDR0O
a5Fsm2TOxCtC6C/luOXxEH3676c/tXNsFkQ551sbNA8iC0j3z5EZFdqNhn/mUgz2
8b+PU6XUT4vib7ppjYCwYQ8TWY7zGtTHMr99SP2/zG++fWOqlChdRyuuj7uE+r5e
7R0UEfsvnoQmuqGHgR4Zva57Vg/WzCErZDu/NoFUxaV2HSvritdPqw+r+vCQuIXG
c7ethUdoA3tN2NBl84yYLZ4dYDNBX2JmGqvfHHG1MsICWO0ozwz6LDKxPXZOyNKH
ybP1f4aBbvyVJQznjKuw4NAlhN71AdQ/zmWLsLoxQLCf8aqqkv4N59+1h31QC2Lv
fNHamzy1Z39ub6nWu02LrisV7T0hRFvKwo7fnl6A6tXQnsRKT6PrW4OdQ+SG5D0H
V6P4W59oY00oDAjqPqEGVbmueNKQo+loQdZqIHzMv7ojV3sJEz4/0aO2cJ5c9tUg
uJMNcaNz0OD6bd6sSOVI4rKz6f9eOsIsgeNKgC7uG0mXRMlvFhjbtMi4cLcQsa0i
ZyRtIcB63ccIDUtyrQMZk1aglEohADnGC3na/RgrHoVyrrK+oVXuy16PYVZIGmBs
UH++3sF2F4yJTTNteJidY8hdQRJTslEB2I/SA0N8FlNtvSYQN94VJ0bxd8q8JCXy
gFW+nXlcLk5eOkKJmsPhB+uZQX+OTsvyjDOg94/4E/lvSnukY9q3xQuUsOfNO9ek
4515KAWWMO966fJxT5zQwRTkOixl/5dci8B1smEU1YmiOxICZz2dnJWFnQquNhEk
8iyGm6g6ki2IbbWIGlXnHMmCIOakqKElnaLoZV3eeDPPNtcq3g8MFDYUcDt7JKTq
pJejtCgv3k+DXLF2WffbszgVQ3CbXHx1wfbxew5fAcxUWBNuV+MWX8g0+p/3EUvm
+z/i2lVwZ3bXAaOLnmp1yb4hNyEQnPhhnLSZnF+hmVTm/DqPfi7VedYELP/+E5H7
8cFDbI5YSqR6J04O2biF3gbjV5KRdV1OGz+KGATegHvKc2j3Ws8u4D2QKFnWRj8D
CNws25KM3Hh5dkzpR/CgcqFXVgUObaz6FccVrmL6/8ZQpF7tig80Sp/dM5a81sml
ZjNMF3mVKOC+jsuQu0ga1Jpfssl8OYRRyS25MBczg97SzC+6zrJcRoVSEkp2bgW+
7rHloH0ARfq3Tdnt8kaOa0iCzXbxiYFokt2267WCXHajFVU7q+crsTbo0Idmoqky
a8Jvvns7Lm69wg7vts9EC6xkbAUr69Moxg7kmwdMoT4vhBuma5bd15b3K6I3rVr3
oJTndJGSj8LpyHoIaOX8UZkorOVk4xK500raLcd6q1C9s+jupaaRn0UOLaqtnxf9
rIs6AT74SFUHM7iOAezuyYays3/3OaaJX/kUb03ex/xvXrXa9Nk3Z5bwQrKP8Kyp
4lQc5fnI4V5ZXVIUfXB4yiYSVG8pVrB6DPOtqe2YR990EZVCxFXdi99sJYinJqvo
zn2TVOimK+/tOeOLNwchJT+uyrI3W4IdzmNcb2G6dmHiVqkNxDuFTgolt7ukKu0z
2qv3oOufoh3YKNkp9NYCCBWoH9TDXr8koK6kNwR2K0UdLgd4Ap9rStben5BaRXDS
BhCFjKMzJKJFzzrcDITVjqkKOaiJu1XB/ir0dRLogS5lsuHHkMoo4mdimwu0kLGR
KsTaUWswzyVxRphNvwLeSq9LLoJEjqzOpcfJcp8xDywDNKnYPCDHZnTLnkfVSMoC
MMGccBSPP2FhrzDsXQlWVS6hqEirzVT6mcH61fdaDaKABBoUDmlb1tcW3Y2NPgIu
WnvivDeG7tQKWD4Xr+MafvSPuAmxe1JXeoDZodZxMAK/IcXBuZsImoxC/mCzbYFs
JLiHCqfgM/5GTZRVU/J/b7mf76uIM1fdshWYeLgMRiD7uNmkTQcLXsfR/GBVv/xD
2gj1bkJKjfYSfnAUizsz/DsTAn1fA8CQZnYS13SfjsojyhmUFz4+OKTDjEvgVuLq
cIbyns58BgrT8vOTaPrHLdakKUpUpaAtRnTU+3/bWNLuhwHEx8ZVgq7TtSFBSKzF
x/e1LfLuOHM/etjK1MlsnGOFlscl8HMojewu2M1cj6rqm0+KjuoJqzStjikz5Uah
xPPRbExSB8di3GCMdxf5EZf4Up46sMEN5hkpL1yInVK9StHyCI+/y4zVlzyxb54O
PvgRuquHbtWYF0Ym40EHgl/Fp6zw1TrKxAiM0aOrplqAhVbDS81Tbe9J5naN3J7s
tSfBgPpdyKKzHUO2yBCmIH0fw0lCDOQmgsSPnZYzu884/OvoacR2fp7j640y21Gi
M5OxIWAGhpA2/SrFmVErrtu6tNnHGRRO8CTbyXHClrJ8AelBTwZboSmDG3Z0efVn
5zH1CEgrFWgpaRm8shIwvHyup6BO2O7aYLnEefFTyPIzT2sbKZxkq5O3JKxnVHg4
MPIr9U9xTxp4z6xx3Jo8K2Eql1Cg/NlylU/IEXmFHx/1L4rZlRCIzWeI0W/9u5pU
le5UY4yAdLGhPUQYLipYCd1YSAdATA9iD5KwTWjTpnLoGOBisEuzrrD/PKXDyhfs
0DZgmKI2SRFuMYrYqxeZZjUc68OZtyGs7zXQ/gd+Mc9eDRNmODuKArNQvzSI1Q/X
w9ggslH47ug5XloJK95Kdoy4iCVhpwdHUnnlgIvnYce0W6Hcddr/rrqKeQtnOjV+
pImK69mfPCKG7lcsFEhb3LVJbK+JkB7TZnlj0fmWcL/D7GYC6cOgjy34V2tjIpX4
m0oeW3xRyz4Lk4HWS2Q9L7FI+zKCZuCreQ6B6rDHNeIUfzt3fYd1Qy2fdP8HN3hz
ZNi3KFe77QQretvqcD37PUpe0bATKGtYzg9GGr/15Am8kulr1jmbQ78TRucEXJ+j
IriYQJ/Jf4l9Lj8qHgZDJzMHCKOm+19lQe/MWL7PjKIMqXCI/A7kYKathHYsuvdy
mJjCzFlNIaUisYnb3lnrCi/liBIhz8f7sQLNZss3J8338pJkP0Wekm6h7AnMlQHA
BPGQukGVq/BK1WgYR7qa9kUi9cQe/1xbdlQLIHxif5bX+pGeabmquHGe4mWwQR0B
JhuQ/N93Wb2ClS0IK7HSzextcghhA/HTwDMM7KiPApcS0/KHzqM47lcmxqgSmdFh
7fOQsUNZhG++ookdDVORFrH+BXYB8POUQB0WRTAcQlNoe/MstT1ZJyWJdWwHZ3MY
HNI9qQRqIrDYhJ5gkagbdsAP4u/U8pSy7CJ1dxlng/1aftOrsqNbqwPuydyTLjHh
pJQpVyxtOcDJqbbJous1jltSZA+aBFf+q/fATkX6A3cysLD/Uz8fHny7QbQ/GqnG