Python实现Hive的UDF(案例)
构成
一、Python脚本实现想要实现的功能。
二、另外一个部分为HQL部分,调用Python脚本对数据进行处理。
一、Python部分
HQL调用Python实现的UDF其实有一个重定向的过程,
Python编写的UDF其实是一个重定向的过程,将HIVE中的列读入到Pyhon中,按行操作,首先将每行按照指定的分隔符分开,一般为'\t',然后对其进行操作,print需要的列,以'\t'分割。
二、HQL部分
--首先需要添加Python文件 add file pythonfile_location;
--然后通过transform(指定的列) ,指定的列是需要处理的列
select transform(指定的列) using "python filename" as (newname) --newname指输出的列的别名
注意:
使用transform的时候不能查询别的列
比如:select a,trans(b,c) using "python udf.py" as(d,e)
from t
where d='2018-08-27'
三、案例
实现输入一个价格,输出这个价格的20个价格区间。
如输入价格290,那么输出最大值为300的20个价格区间