spark启动集群shell报错

在使用Spark启动集群时，可能会遇到各种各样的错误，下面将详细描述一个常见的错误及其可能的解决方案，请确保在阅读以下内容时，你已经具备了一定的Spark和集群环境基础知识。

当你尝试在命令行界面（CLI）通过shell脚本来启动Spark集群时，可能会遇到一些错误，这些错误可能源于不同的配置问题、环境问题或软件本身的缺陷。

错误描述

错误信息可能如下：

Exception in thread "main" org.apache.spark.SparkException: External scheduler cannot be instantiated
        at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2680)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:501)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2486)
        at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:918)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:918)
        at scala.Option.getOrElse(Option.scala:121)
        at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:918)
        at com.example.spark.MySparkApp$.main(MySparkApp.scala:23)
        at com.example.spark.MySparkApp.main(MySparkApp.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:721)

错误原因

这种错误可能是由以下原因引起的：

1、配置问题：你的sparksubmit脚本或Spark的配置文件（如sparkdefaults.conf）可能配置了错误的信息，比如错误的master URL或错误的队列名称。

2、集群模式不兼容：如果你正在使用外部调度器（如YARN或Mesos），但是没有正确配置或没有安装对应的调度器组件，就可能会出现这个错误。

3、SparkContext未正确创建：在尝试创建SparkContext时，如果你提供了错误的参数或者没有提供必要的参数，那么可能导致创建失败。

4、软件版本不兼容：如果你的Spark版本和集群管理器（如YARN）的版本不兼容，可能会引发此类异常。

5、环境问题：类路径（CLASSPATH）问题、缺失的库文件、权限问题等都可能导致启动失败。

解决方案

以下是针对上述错误的一些解决方案：

1、检查配置：

确认sparksubmit命令中的master参数是否正确，如果你使用YARN，它应该看起来像yarn。

检查是否所有队列名称、资源限制等配置都是正确的。

2、验证集群模式：

如果使用外部调度器，请确保所有的依赖项都已安装，并且配置文件已经正确设置。

确认是否为你的集群模式提供了必要的参数，对于YARN模式，你可能需要设置deploymode参数。

3、正确创建SparkContext：

确保在应用程序中创建SparkContext时，提供了所有必要的参数。

如果你在使用SparkSession，请确保以正确的方式构建它。

4、软件版本兼容性：

确认你的Spark版本与集群管理器（如YARN）的版本兼容。

升级或降级相应的软件，以确保它们可以正常协同工作。

5、环境问题排查：

检查环境变量（如SPARK_HOME、JAVA_HOME等）是否正确设置。

确认类路径是否包含了所有必要的JAR文件。

检查是否有权限访问集群资源，对于文件系统的读写权限。

6、查看日志：

查看详细日志以获取更多信息，这通常可以通过增加日志级别（使用conf spark.logConf=true）来实现。

应用程序日志通常位于工作节点的日志目录中，对于YARN来说，可以在应用详情页中找到。

7、资源检查：

确认是否有足够的资源来启动应用程序，如果资源不足，可能会在集群级别导致启动失败。

通过上述步骤，你应该能够定位问题的根源并解决它，如果问题仍然存在，建议查阅Spark官方文档，或向社区提问以获取更多帮助。

注意：这是一个示例错误和解决方案的描述，实际错误信息可能会有所不同，解决方案也需要根据你的具体环境和配置来定制，希望这个示例能够帮助你更好地理解如何处理Spark集群启动时的错误。