2.5 搭建spark开发环境

     1.运行Spark-Shell命令

讲述Spark-Shell的命令,通过执行“bin/spark-shell --master <master-url>”命令进入Spark-Shell交互式环境,通过执行“--help”命令获取Spark-Shell帮助选项列表。

      2.运行Spark Shell读取HDFS文件

讲述运行Spark Shell读取HDFS文件。

(1) 准备数据文件words.txt;

(2) 整合Spark与HDFS;

(3) 启动Hadoop和Spark服务,运行Spark-Shell交互式界面;

(4) 编写程序读取HDFS上的数据文件,并实现的单词计数的功能;

(5) 退出Spark-Shell客户端。

最后修改: 2021年10月29日 星期五 08:24