2.5 搭建spark开发环境
1.运行Spark-Shell命令
讲述Spark-Shell的命令,通过执行“bin/spark-shell --master <master-url>”命令进入Spark-Shell交互式环境,通过执行“--help”命令获取Spark-Shell帮助选项列表。
2.运行Spark Shell读取HDFS文件
来讲述运行Spark Shell读取HDFS文件。
(1) 准备数据文件words.txt;
(2) 整合Spark与HDFS;
(3) 启动Hadoop和Spark服务,运行Spark-Shell交互式界面;
(4) 编写程序读取HDFS上的数据文件,并实现的单词计数的功能;
(5) 退出Spark-Shell客户端。
最后修改: 2021年10月29日 星期五 08:24