2.6 spark运行架构与原理
1.本地模式执行Spark程序
讲述本地模式执行Spark程序。
(1) 创建Maven项目,新建资源文件夹;
(2) 添加Spark相关依赖、打包插件;
(3) 编写代码,执行代码,查看控制台输出的结果。
2.集群模式执行Spark程序
讲述集群模式执行Spark程序。
(1) 往Maven项目的pom.xml配置文件中,添加打包插件;
(2) 修改词频统计的代码,打包程序;
(3) 启动Hadoop和Spark服务,运行Spark-Shell交互式界面;
(4) 通过执行“spark-submit”提交命令,提交Spark任务;
(5) 访问HDFS WEB页面,查看/spark/test/out文件夹,并将结果文件part-*下
载到本地进行查看结果。
最后修改: 2021年10月29日 星期五 08:24