2.6 spark运行架构与原理

      1.本地模式执行Spark程序

讲述本地模式执行Spark程序。

1 创建Maven项目,新建资源文件夹;

2 添加Spark相关依赖、打包插件;

3 编写代码,执行代码,查看控制台输出的结果。      

      2.集群模式执行Spark程序

讲述集群模式执行Spark程序。

(1) Maven项目的pom.xml配置文件中,添加打包插件;

(2) 修改词频统计的代码,打包程序;

(3) 启动Hadoop和Spark服务,运行Spark-Shell交互式界面;

(4) 通过执行“spark-submit”提交命令,提交Spark任务;

(5) 访问HDFS WEB页面,查看/spark/test/out文件夹,并将结果文件part-*下

载到本地进行查看结果。

最后修改: 2021年10月29日 星期五 08:24