Hadoop、spark、hive的原理及其在金融领域的应用
首先百度百科了各个词条的含义:
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
SPARK (Spark)
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
大数据对风控的帮助
大数据可以提供全面的多角度的数据,降低借款人的贷款的风险。
企业指标:宏观指标,行业指标,企业指标,财务指标
个人指标:宏观,行业,个人。
指标频率:日,月,季,年
个人版风控系统查询:
A个人收入
B银行流水
C负债
D汽车折旧系数
E×××折现系数
企业版风控系统查询
绝对指标
A资产总计
B负债总计
C营业总成本/营业总收入
D销售毛利率
现金收益
E净资产收益率ROE
F经营活动净收益/利润总额(TTM)
G经营性现金净流量/营业总收入
H筹资活动产生的现金流量净额占比
I投资活动产生的现金流量净额占比
偿债能力
J资产负债率
K有形资产/总资产
L权益乘数
M流动比率
N速动比率
营运能力
O存货周转率
P应收账款周转率
Q应付账款周转率
R净资产(同比增长率)
S固定资产投资扩张率
T利润总额/息税前利润
U股东权益合计/负债总计
V. EBITDA率%
风控流程
3.1业务流程
1.借款人进行咨询;
2.填写申请表和有关资料,提交给业务员;
3.业务员添加客户至客户室;
4.业务员为客户发起授信申请,进入授信审核,审核成功后,借款人获得授信额度。
5.业务员为借款人发起借款申请,进入借款审核,审核成功后,财务放款,借款成功.
3.2授信审核流程(贷前流程)
1.业务员为自己客户发起授信申请;
2.业务主管进行初审,审核通过进入风控委员初审,驳回返回上级,拒绝的授信失败;
3.风控委员进行初审;
4.风控主管进行复审;
5.贷审会进行审核;
6.总经理进行终审,审核通过,授信成功,借款人获得授信额度。
3.3
借款审核流程(贷中流程)
1.借款人拥有一定的授信额度,业务员为借款人发起借款申请;
2.业务主管进行初审,审核通过进入风控委员初审,驳回返回上级,拒绝的授信失败;
3.风控委员进行初审;
4.风控主管进行复审;
5.总经理进行终审;
6.审核通过的,财务放款,借款人借款成功。
3.4贷后流程
贷款到期,借款人还款。其中借款人可以提前还款,若到期未能还款,则有展期申请、强制结清、押品结清、押品处置、违约金法系处理。
借款人还清贷款,即可拿回抵押物品。
四。风险管理全面解决方案