hadoop2.7及spark伪分布式集群搭建遇到的问题

1.建议搭建之前先禁用防火墙

（遇到过slave的nodemanager会自动关闭，日志说获取不到主机路由问题，通过关闭防火墙即可，我的linux是centos7）：

    关闭防火墙：systemctl stop firewalld.service 

    禁用防火墙：systemctl disable firewalld.service 

2.格式化nodename报错：

1）.原因是配置文件.bash_profile中lib后面跟的/native不小心换行了（很低级的错误）

source .bash_profile时候报 -bash: native:命令找不到 （都没想到去检查一下文件内容，太依赖百度了！！！）

2).接着格式化，不报错，但不一定成功,除非最后出现status=0或者success字样

3）.如果没有，去查看日志（安装位置/logs）,又说格式化失败（网上说格式化多了就会无效）：

解决办法：删除你配置的hdfs下面的data和name，如何再次格式化，会自动生成，如果没有就手动建一下这两个目录，再格式化（删除的目录这里以https://blog.csdn.net/qq_36434219/article/details/80716189 配置的为准）

3.启动start-dfs.sh和yarn报错：

slave的jdk1.8忘了安装（..............................）

4.hadoop put报错：

DataNode没起（起了，不知道怎么没了，重启一下）：

    hadoop-daemon.sh stop namenode
    hadoop-daemon.sh start namenode

    hadoop-daemon.sh start datanode

5.总结：

    1-多看日志，错误基本上都记录在日志里了，很多时候前台看不到什么信息

    2-一定要JPS查看一下是否都启成功了

    3-多看日志，多思考，不要直接就去百度，容易走弯路，要根据日志错误详情去找资料

    4-通用解决办法，重启