在Cognos BI环境中使用Apache Hadoop

Question

这可能是一个愚蠢的问题，因为我还没有完全理解Cognos BI的工作原理。 另外，我试着在Stack Exchange上发布这个，徒劳（标记为放置错误）。

我的问题是 - Apache Hadoop能否用于使Cognos BI工作更快？ 或者Cognos正在做与Hadoop所做的相同的事情（MapReduce功能）？

我开始工作的地方是在Sybase IQ（内容存储）的基础上使用Cognos BI套件。 Apache Tomcat是Web服务器。有时会发生的情况是，如果数据集很大，Cognos会花费很多时间（几乎死亡）来生成报告。

那么Apache Hadoop可以通过适配Cognos和Sybase之间的某处来帮助Cognos更好地执行吗？或者报告优化是这种情况下的唯一出路？

谢谢你们。

Answer 1

Hadoop作为一个平台并不针对临时查询或分析报告。
Cognos是IBM的产品。它只能查询它自己的Hadoop分布，这就是所谓的大分析：
InfoSphere BigInsights
通过BigInsight Cognos发布使用Hive的查询，最终转换为MapReduce。

您说您正在使用Sybase IQ（这不是内容存储库，这是您的查询在运行的报告数据库）。
虽然我对Sybase IQ知之甚少，但我正在与Vertica合作，这也是列式DB。
为了获得良好的性能，你需要调整任何可能的：

• COGNOS框架模型
• Cognos报告
• 的Sybase数据库优化和结构。 Hadoop无疑可以通过准确的数据准确级别和预先计算您所需的任何计算来提供帮助。

Answer 2

简而言之，Hadoop是一个处理大型数据集的分布式平台。它具有内置的容错功能，可以使停机时间可能影响业务流程的组织产生吸引力。 Cognos是一个商业智能工具，允许用户探索和报告数据。所以似乎是合乎逻辑的。

然而，Hadoop并不适合临时查询，因为另一个海报已经发表了评论。有一个Hadoop项目可以承诺 - Hive。开发人员已经发布了ODBC连接器来访问Hive数据库（这只是Hadoop数据的数据仓库视图，可以使用称为HiveQL的类似SQL的语言来查询）。由于Cognos可以从ODBC数据库提取数据，因此Cognos可以通过Hive从Hadoop提取数据。

在Cognos环境中使用Hadoop的另一种方法是使用文本文件（如CSV）传输数据。 Hadoop可以生成一个数据文件，然后导入到Cognos中。这是我目前使用的方法。

但是，我还没有回答使用Hadoop的“原因”。我在Hadoop上使用的两个应用程序是库存预测和现金流/预算。如果您试图对数十万个SKU进行例行预测，那么Hadoop就是一个很棒的工具。如果您试图对1000个预算项目进行蒙特卡罗模拟，Hadoop非常棒。只需从数据仓库导入数据，运行Hadoop作业，并将生成的CSV文件导入Cognos。瞧！

请注意，Hadoop不是万能的。有时候老式的时尚SQL和你选择的编程语言同样好或者更好。 Hadoop带有学习曲线和资源需求。我通过下载Hortonworks沙箱了解到了这一点;它是在VMware，VirtualBox等中运行的预配置虚拟机。因此，您不必安装或配置任何东西！