在RHEL上安装Apache Bigtop 7

问题描述:

我在寻求一些帮助,我的任务是在工作中站立Hadoop集群。我已经用开源堆栈在家里的笔记本电脑上完成了单节点资料(我试图坚持开源,Apache堆栈以避免任何许可费用,现在我们对Cloudera或HortonWorks没有兴趣)。在RHEL上安装Apache Bigtop 7

我遇到了Apache BigTop堆栈(1.2.0),并在那里捅了一下。现在我仍然试图围绕这个提供的东西(我没有找到对Hadoop/Spark版本的引用等)。我可以在以下方面获得一些帮助:

  1. 1.2.0版本提供了哪些版本的Hadoop/Spark /其他工具?

  2. 在RHEL 7下从头开始安装完整的Hadoop/Spark集群是否有很好的参考?我有12台服务器,我打算做2个namenode和10个datanodes。 BigTop适用于此,还是应该只安装每个软件包并手动配置?

  3. 我发现:

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

这看起来很有希望,但其对CentOS的7,这是我所知道的是相似,但不完全相同。有人可以建议我如何修改这个在RHEL 7下工作吗?我找到了回购站,但没有一个用于RHEL ....

  1. 该文档在官方的Apache页面上看起来很渺茫,或者我只是没有在正确的位置寻找.. 。有完整集群安装的参考链接吗?

感谢所有能帮忙的人,我真的很感激!

1.2.0版本提供了哪些版本的Hadoop/Spark /其他工具?

结帐我们的文档为1.2.0版本:

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

你会得到Hadoop的2.7.3和2.1.0的火花外的开箱。我们提供的S3安装文物为您测试出的功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意:我们将在10/15有效地拥有S3的迁移,2017年我们将有后相应的变化。如果你想尽快尝试一下。请更改的BaseURL到:

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

是否有RHEL 7下从头开始安装一个完整的Hadoop /星火簇一个很好的参考?我有12台服务器,我打算做2个namenode和10个datanodes。 BigTop适用于此,还是应该只安装每个软件包并手动配置?

RHEL和CentOS应该非常相似。我建议:

  • 直接在RHEL上试试我们的CentOS软件包,看看是否有效。我在生产环境中使用了RHEL 6上的Bigtop CentOS 6软件包,它的功能如同一种魅力。
  • 如果上述不起作用,Bigtop是一个完全开源的解决方案,可供您构建自己的Hadoop发行版。您可以根据您所需的Distro构建整个堆栈。从头开始。我们有很好的工具和dockerlized框架来支持它。如果你要这么做,请在[email protected]邮件列表中提出你的需求。我们很乐意提供帮助。

我发现: https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是。您正在寻找合适的文档。这正是我上面提到的:虽然是用于CentOS 7,但您可以尝试RHEL 7上的回购。