当使用主’yarn’运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR

我试图使用纱线运行Spark,我遇到了这个错误：

线程“main”中的异常java.lang.Exception：当使用master“yarn”运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR.

我不确定“环境”在哪里(具体文件是什么？).我试过用：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在bash_profile中,但这似乎没有帮助.

谢谢！

使用Yarn运行spark时,需要在spark-env.sh中添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出.