2.7 体验第一个spark程序

      1.本地模式执行Spark程序

讲述本地模式执行Spark程序。

1 创建Maven项目,新建资源文件夹;

2 添加Spark相关依赖、打包插件;

3 编写代码,执行代码,查看控制台输出的结果。      

      2.集群模式执行Spark程序

讲述集群模式执行Spark程序。

(1) Maven项目的pom.xml配置文件中,添加打包插件;

(2) 修改词频统计的代码,打包程序;

(3) 启动Hadoop和Spark服务,运行Spark-Shell交互式界面;

(4) 通过执行“spark-submit”提交命令,提交Spark任务;

(5) 访问HDFS WEB页面,查看/spark/test/out文件夹,并将结果文件part-*下

载到本地进行查看结果。

Last modified: Friday, 29 October 2021, 8:25 AM