Kitten:编写和运行Hadoop YARN程序的好帮手

Kitten:编写和运行Hadoop YARN程序的好帮手

程序员面对YARN应用的开发就像这只小猫对一团毛线一样一筹莫展

Kitten是Cloudera数据科学高级总监Josh Wills开发的一组工具,实现了配置和运行YARN应用的模板代码,使开发者可以将更多精力放在应用本身的逻辑上,无需太多考虑Hadoop集群的问题。项目于2012年6月发布

Kitten主要可以分为两个部分:

  • Lua编写的配置文件,用于指定应用需要从集群获得的资源
  • 一对Guava服务,一个用于客户端,一个用于应用master,处理应用运行期间执行的所有RPC。

Kitten目前只支持Java语言运用。在项目FAQ里,提到计划增加对C++应用的支持。此外也希望能更好地支持YARN上各种类型应用。

GitHub链接:https://github.com/cloudera/kitten/

这是一个很好的学习编写YARN应用的实例。至于如何编写YARN应用,应该参考这篇官方文档