TPC-H和TPC-DS

TPC-H和TPC-DS
1、TPC-H

商业智能计算测试TPC-H 是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集.目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( [email protected]),其中 H 表示每小时系统执行复杂查询的平均次数,size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。

  1. TPC-DS

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。

TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:

一共99个测试案例,遵循SQL’99和SQL 2003的语法标准,SQL案例比较复杂
分析的数据量大,并且测试案例是在回答真实的商业问题
测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等)
几乎所有的测试案例都有很高的IO负载和CPU计算需求

U2FsdGVkX1+MSiNRwrvdJCrn9mWbBgbP6aEO+LmtJBigePn/LbOwcJ8qx92rUlo8
DBvsQSmUJU1VOtEBcQJ5oET4F2jyS1vbUgvV0YXG1m5HGOW2qYfVQM2sGfaB62vU
HTaRCSXuwOlhi7HFScbQp8wuMVcXH5reVuodlY9dkdy/8HQeDqJBRbz8W580V9LW
7FOCaKuOZIENNde8ckDPy42lbayYRQRTcQhCCe1UraZd0RIFKmWLgEyGsgte1eSu
j+TYYKMMEymw1577vjTY6jmXHLdLMn+9jQKSEowCUnbcBZMYMAToydK3OHAwzsEC
XRtbEJ+pOBad1ZQVd1IAQQs4g4XMUxStSvrzEze5zMT338TXMB09o8dU/rNBdwht
7sP5KoYptRJr5lCAsn6CpYjQ06HDmPA1eq/6vBkREGMNlwsLJA/V63BqtH1z5YAA
jw61zNoSpszC0JU4Bl/YvFt63FYSqmYVCIasdXK86pQnfa3D8aHvD9Lv2mwNa+G0
iWh2TckTqhSZxDcEVb9rUGwQi84JPuCNVRDKUs5DWwS5eTTqJ57H7YBhMETuKusx
KxMsAn6BHZsxRg2LdKcdUxqpkY+1flGsCv1Xf2vhMEh/3FZ1PtlqMEjopRRwkMk7
+n4my6JJhMIfHPagtuxfNe4LZ7U5sU4uiFmiJumI8zvLiHf4BpvUD137/dJHTqd0
LfB8q2+lkYkKOc4O9ouyckzHZnz0DfTXPOWThXf6W+uF5Xoh9AZ6wYIL5BPb8VJ2
/QpufUlwmyrFRlfagIIPksKQ5naTy8l87f5IKOCeL4qhJTLSwvKqc+5xBuzpNJtH
m338h1JjyP/kUb/HTUWNNRtYyv1E+w+yCF1CR6+49F+LV5hdZkN9rMq2a4h6vRKV
oyUdc6/22XG6J54nYhB4JRPVV132R1UeuUqzRww902IrF1o9EWe74BtUeKytDN5p
pqvqNG7wJcTDBaa3u7aSmeXe9sJc/BNdqbpTdAC8gUEtpV+ookB253ncdya8BGfV
YAqCVEguTwBDNJhSbN3s+tBtsSSUGqnH9hQPVMQ3c35DK3Oy7N7Xi9LOLwLjLCMV
LVN/OGGd0mF63VO2VzebnWEnr2CdHRwhML488u7EUA6ne3lwQgq8qjUJTjp3azmM
wjIbNL5UYDXgkOb92+HS92NBZw/w8Vg6ldBj8WSgyNJ5KJ7X5NTXG6abQqGMwSB2
Rz9C5qqXo+cnVNzjGXDXw+U/2bFMKEAQ9hy7pTewXsvH6DfgiuRduJ4gT2tCWqp1
Eo1wn0Az5pr+vEsfcVmXqhQpcvE3dfOMrVr7x/Bcik1qH8GmEOvr5e9oOtSKWTnK
nIHD3GvNTDFXWaUzr0TEyno+WZflbGd6ihNrjQ4t55sRo3W6moK2wvDVPhOORcPO
8PRJzGHqltEGHe4w6txvHR6l5ZTdUNtJUqT0WdYKFZQ2DtmiZuG+KbtN9KLxPjca
ZDnlJJZn0k/gPsO5wVXtNgw6lCONzPHjx8JexcVpo7e6T7275XyMbGEatoPf9rm+
iy2bNlU9pC8cuPe9bmLCBLiux4cGP/pxWij7WvmIK/wRq5qnNPO/glvqPWPU5Qu+
SlpHtkxq+O2e+f5LvHhs/48Qpc/nMXEY+GHDe6ymJZqecbwyY8cXFaauWdEN1Ei2
WUJ7mhat3pb5CneVOo7A32EaUPNYA73lg1HzphAN7KD65EPUPGPs4n37KLIYGKPJ
YLdXiOJqmgglCf65RiUtlsdda0fY4nRsRStUKqqVKm6U2/pyRpXfrpgwwiPcBEf0
LDu2I+RjJmA9J8kCVLOmS1h5/Th/XFN9Kxrk5kQvtyg5iimwY8ckrok0XvX48ryH
BBUGQsZpA8qRdoaugvzs7HaT2trnKj/BwiKBpwtxdHeBjIpJQa+m5dQKRm5nvpHt
0NuYHzDP7NsvTAjFwSUZuV6yYOWVf0uggmanbOZvR5zv/AgeOO9SiXyZHFZv/Zvg
BTXHsNpTJHARC9Npa925zayxLzItx1Rmn/0qU/T5C66yFQhF5d6PzgZ5GS/Agnq+
filZ7P+9CE42miuYS0q1kXzZLdvEK+J203pBOM8nSe7vjC9k9zt9jDXprefyDBPy
rzYVoBWJLPubHrLSXNeuaTFBM6elOAIJVfHsdgung5z8l3Ex/sNWvYhhpY+12X28
XS3wZvrnJKsWQU4swlaBtZVRw9RAnbyL0HK8CcbOZYBNZflIOB+FgWSd5IBTGmlK
Ss9RngQrfNN23V3Noo0ltdzpAvZs4qyZshySJFP9Za8vByDVLLQJ2VVVXTrU3DD5
lu3d0vtazZ97jMWdYtCtjpn3wJoNRfni7MQ6DRxMGLsfzXdbNs3uMO+qeUgkCjmu
jmiY7UMqbexsOWQ9qZIuRzZVpiQlp3dp61xUQoOk2Cn6bOU5+G9AhAoguaJpoMlH
O95MZn2q10ndqtrbo94nskx06NH4kGm1PYmyp4gqZRpTRBql+stY/H4XoWVpU010
D6mYkqbDYkno4aq18ovhdBNVJ/oIvzhM8Gc/OftWq0QmLJl5/i0gj9y/NeFt0CJa
/TwtGGFlakCyu7NWgzGlPNHD8u5H2R6NdgZEFpgZmHXuMhDZ+88TyEq8ZqiGoQrt
QYhLHLD4hxPmYgqiRIcY3KRYtPq2YBAIfXFQYhX7hNgBPcgJmiMRh7ClNdCVrlTZ
N1pJ0f35Z/TdSjrPe02P163xVgrVE6cS5rtjpnC+6mem0URaXD9RgwTgqmW8ylDp
MgX7teNiVOU8pOX94445aMk0Nxxo2HtwJVokvlFOzNfHaoAIqmrtPQCEL62BpJw/
5nv6kHDboOgAYOay2cmmjZWF1aBY5qDtpiK0p8I0zbWiI/SDq4lVzGzOsgHy+itd
g14Z4AZB7dWiZiXb49GH0vk6V1146G2OUoWwT5XHzKKKFCyjHMpzTn6NDbmdhP7Y
ZXjNwQ4+irVcxVSAmGTZklkdwu8aFNYppU7Wdb2uz2wkTjl2tWIKMVw/Jcn4YlSX
DT9Ss8rfaTiDMb6/B3OsaGP6nkk5dvfYY9ZsK1XSr8meq9sbVZpynwYxQQaw21mp
ZQqwpW7NhRu2vcPqrV3qClH7qW0BgrHoI+2NNQs9jK81h7IDU+x1PHIKNRcBk8Jl
HB5uWCgQRzqx6I/y9SKF810qkIfmLwYpxYLUcJO9CHjCobIqYbSvOFCptkqnfpbc
WKejAfKw8zldfiva7NYpolw1oFfuKJBY5Zd2hGrx7KQWEgGy7Aew6t5ZmiPld4Gj
HWYvbQ8mAkAE0WAoN9MAL0+SKfSGAHCZw5hqhtPdRUS6JyJZ2ABXAhmMP0jWwgnf
hpw5/auQuTiPbF8shFcc/CoqTjzIWoWqnKk94Wg9pg8NpcdZD9LqZoqq/NAgNxdF
oaswQXUGmMkhpONtbYZ2RbxdyBEml2aOp3p91+YrQ/B7WCpBtD4MKXcoGXpCczQG
2JzQwfnIZIRJ9JROBSDSI5Hjyg49VP26CJ84x/3d+OC2YH8c/APwqgF59smc8T2Z
ttNSE7++ExqtbAGupo+cYQncBQ7x5fayphiaucSN4mg1ybuZb1OFJ2oNAb/Tm2dh
oyuZj9k1Vu19FCSn7W8Y1A==