mapreduce使用过程中的常见错误

1. Main-Class
定义jar文件的入口类,该类必须是一个可执行的类,一旦定义了该属性即可通过 java -jar x.jar来运行该jar文件。
1.hadoop错误-YarnException: Unauthorized request to start container

报错:Application application_1456816082333_0023 failed 2 times due to Error launching appattempt_1456816082333_0023_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
This token is expired. current time is 1456817746086 found 1456817710065
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:525)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:152)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.launch(AMLauncher.java:122)
at org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher.run(AMLauncher.java:249)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:722)
. Failing the application.

看错误提示是时间不匹配,应该是datanode和namenode时间不匹配,

用命令:date -s '2018-5-18 12:48:30' +'%F %T' #2018-5-18 12:48:30为将要设定的时间

问题解决!

2.运行worldcount 程序一直报错。说输出目录已经存在!一开始的路径是/wordcount/output 报错already exists,我删除了output 又报错: already exists,最终发现问题所在!

问题出在了打jar的时候已经将main方法打入jar包,所以已经指定了main方法,在hadoop上执行jar包时,就不用重新指定main方法位置。执行命令是hadoop jar wordcount.jar /wordcount/input /wordcount/output


*******************

这里说一下idea打jar包的步骤,如果打jar失败时可以这么尝试

mapreduce使用过程中的常见错误

mapreduce使用过程中的常见错误

mapreduce使用过程中的常见错误

mapreduce使用过程中的常见错误

mapreduce使用过程中的常见错误


1. Main-Class

定义jar文件的入口类,该类必须是一个可执行的类,一旦定义了该属性即可通过 java -jar x.jar来运行该jar文件。选择“Main Class”后,选择“copy to the output  and link via manifest”,配置“Directory for META-INF/MAINFEST.MF”,此项配置的缺省值是:D:\workshop\DbUtil\src\main\java,需要改成:D:\workshop\DbUtil\src\main\resources,如果不这样修改,打成的jar包里没有包含META-INF/MAINFEST.MF文件,这个应该是个IDEA的BUG,配置完成后如下图所示,点击OK进入下一步。(如果选择“extract to the target jar”,即把第三方jar文件,打入最终的可运行jar包时,可以不修改“Directory for META-INF/MAINFEST.MF”的配置,用缺省值即可