火花

使用Spark插件，您可以直接在 IDE 中创建、提交和监控Spark作业。该插件的功能包括：

• Spark 新建项目向导，可让您快速创建具有所需依赖项的 Spark 项目。

• Spark Submit运行配置用于构建 Spark 应用程序并将其上传到集群。对于 Scala 文件，装订线中还有一个特殊的图标，可让您更快地创建此配置。

• Spark监控工具窗口可监控提交的作业、查看 DAG 可视化等。这包括从 Spark Submit 运行配置和 EMR 步骤提交的作业。如果您安装了Zeppelin插件，您还可以从 Zeppelin 笔记本打开 Spark 作业。

• 无需离开 IDE 即可与其他大数据工具集成（从 AWS EMR 打开 Spark 应用程序、从 Hadoop YARN 导航到 Spark 作业、查看 S3 存储中的日志）。

提示

在 IntelliJ IDEA 2023.2 之前，Spark 是大数据工具插件的一部分。在IntelliJ IDEA 2023.2中，插件分为六个插件。如果您在 2023.1 或之前使用过Big Data Tools，那么将 IntelliJ IDEA 更新到 2023.2 后，您将自动安装所有这些新插件，包括Spark。

笔记

如果安装 Spark 插件，则会自动安装以下辅助插件：

• Metastore Core可让您连接到数据处理和监控平台，例如 AWS EMR、Google Cloud Dataproc 或 Hadoop YARN Resource Manager。

• 远程文件系统可让您连接到远程存储，例如 AWS S3、Google Cloud Storage、Microsoft Azure。

• 大数据文件查看器提供 Parquet、ORC 和 Avro 文件的预览。

• 大数据工具核心有助于与大数据工具集成，例如，它允许您在 Kafka 架构注册表中的 AWS Glue 身份验证与其他 AWS 连接（例如 AWS S3、AWS EMR 或 AWS Glue 监控）之间共享 MFA 和 OAuth 2.0 数据。

在这一章当中：

• 有关如何使用新项目向导创建 Spark 应用程序并将其上传到 AWS EMR 集群的教程。

• 如果您想监控现有作业，请了解有关Spark 监控工具窗口的更多信息。

• 如果您想将 Spark 应用程序提交到集群，请了解有关Spark 提交运行配置的更多信息