转载请注明出处：数据可视化(六)----Pentaho Report Design案例二—连接hive

本文记录如何使用hive的作为数据源创建报表。

官网参考链接：
https://wiki.pentaho.com/display/BAD/Reporting+on+Hive+Data

环境准备

在创建报表前需要具备以下环境：
Hadoop
Pentaho Data Integration
Hive
Report Designer
RDBMS Database

数据准备

示例数据压缩包下载链接：
https://wiki.pentaho.com/download/attachments/23532261/weblogs_hive.zip?version=1&modificationDate=1328719928000&api=v2
内容是web的日志数据，使用tab分割。

打开hive 的shell，创建hive表格

create table weblogs_agg (
    client_ip    string,
    year    string,
    month    string,
    month_num    int,
    pageviews    bigint
)
row format delimited;

关闭hive的shell，在linux的shell中运行加载数据命令：

hadoop fs –put weblog_hive.txt /user/hive/warehouse/weblogs_agg/

创建report

打开Report Designer
选择’File’ -> ‘Report Wizard’ -> from the menu system
选择Template。
可以选择想要的样式，然后next。

创建数据源

点击加号，选择JDBC。

选择sample query。

点击加号创建新的连接。

Connection Name: 输入 ‘Hive’.
Connection Type: 选择 ‘Hadoop Hive’.
Host Name and Port Number: 输入hive的信息. 本地单点集群 使用 host ‘localhost’ 和 port ‘10000’.
Database Name: 输入 ‘default’
User Name 和 Password 为空.
点击Test按钮是否能正确连接，如果不能检查以上信息是否与自己的环境对应。

创建查询

选中刚才新建的连接 ‘hive’。
点击加号。
查询名称输入page views。
输入以下 query语句。

Select year, month,month_num, sum(pageviews) as pageviews
From weblogs_agg
Group by year, month,month_num
Order by year, month_num

同样的操作创建第二个查询IP Addresses。
语句为

Select distinct client_ip from weblogs_agg

创建完两个查询后Report Design Wizard应该如图：

创建报告图层

我们需要告诉Report Design Wizard怎么展示我们的报告。
在Group Items By中增加year。
在Selected Items增加month 和 pageviews 。

创建参数

创建参数的目的是 当我们在展示报告时，能够选择特殊的参数进行展示。
在目录栏选择 ‘Data’ -> ‘Add Parameter’ 然后按以下操作:
选择 ‘JDBC (Hive)’ 数据源
Name: 输入 ‘paramIPAddress’.
Label: 输入 ‘IP Address’
Value Type: 选择’String’
检查 ‘Mandatory’
Display Type: ‘Drop Down’
Query: 选择 ‘IP Addresses’
Value: 选择 ‘client_ip’
Display Name: 选择 ‘client_ip’

做完以上操作如图：

使用参数进行查询

在‘Data’面板中展开JDBC: Hive，对着Page Views右键，选择‘Edit Query’。

可以使用动态参数如下：

Where client_ip = ${paramIPAddress} 

$号前需要有空格。

完整语句如下：

Select year, month,month_num, sum(pageviews) as pageviews
From weblogs_agg
Where client_ip = ${paramIPAddress}
Group by year, month,month_num
Order by year, month_num

保存报告

选择’File’ -> ‘Save as…’ 起名hive_report.prpt

预览报告

‘File’ -> ‘Preview’ -> ‘Print Preview’
预览报告窗口会打开。
选择IP Address下拉框。
显示如图：

转载请注明出处：数据可视化(六)----Pentaho Report Design案例二—连接hive