Skip to main content
Enter search criteria
You are currently using guest access (
Log in
)
Current access location:
Home
Courses
大数据快速运算(共享)
学习内容
第四章 章节:Spark SQL结构化数据文件处理
教学内容
4.8 RDD转换为DataFrame
大数据快速运算(共享)
共享课程
4.8 RDD转换为DataFrame
Spark官方提供了两种方法实现从RDD转换得到DataFrame。
第一种方法是利用反射机制来推断包含特定类型对象的Schema,这种方式适用于对已知数据结构的RDD转换
第二种方法通过编程接口构造一个Schema,并将其应用在已知的RDD数据中。
Last modified: Friday, 29 October 2021, 10:25 AM
◄ 4.7 DataSet对象的创建
Jump to...
Jump to...
新闻通告
大数据专业教师团队简介
考核说明
课程简介
教学大纲
教学设计
第一章 Scala语言基础
1.1 初识scala
1.2 Scala的基础语法
1.3 scala数据结构
1.4 Scala面向对象的特性及模式匹配
2.1 spark概述
2.2 spark特点
2.3 spark应用场景
2.4 spark与hadoop对比
2.5 搭建spark开发环境
2.6 spark运行架构与原理
2.7 体验第一个spark程序
spark运行架构及原理如何
3.1 RDD简介
3.2 RDD创建方式
3.3 RDD的处理过程_转换算子
3.4 RDD的处理过程_行动算子
3.5 RDD的分区
3.6RDD的依赖关系
3.7 RDD机制
3.8 spark的DAG概念
3.9 spark的任务调度及运行流程
RDD的任务调度流程如何实现?
4.1 Spark SQLl的简介
4.2 Spark SQL的架构
4.3 DataFrame简介
4.4 DataFrame的创建
4.5 DataFrame的常用操作
4.6 DataSet简介
4.7 DataSet对象的创建
4.9 Spark SQL 操作MySQL
4.10 操作Hive数据集
HBASE读写数据流程有哪些?
5.1HBase的基础知识
5.2HBase的数据模型
5.3HBase的集群部署
5.4HBase的Shell操作
5.5 Hbase的Java AP操作
5.6HBase的架构
5.7 物理存储
5.8 寻址机制
5.9 HBase读写数据流程
6.1消息传递模式简介
6.2Kafka简介
6.3Kafka的核心组件介绍
6.4 Kafka工作流程分析
6.5安装 Kafka
6.6启动 Kafka服务
6.7基于命令行方式使用 Kafka
6.8基于java API方式使用 Kafka
6.9Kafka Streams概述
6.10 Kafka Streams开发单词计数
kafka工作流程如何实现?
如何利用生产和消费者实现Kafka?
7.1什么是实时计算
7.2常用的实时计算框架
7.3Spark Streaming简介
7.4 Spark Streaming工作原理
7.5 DStream简介
7.6 DStream的编程模型
7.7 DStream的转换操作
7.8DStreaming窗口操作
7.9DStreamin实例输出操作
7.10KafakaUtils. createDstream方式
7.11KafakaUtils. createDirectStream方式
8.1什么是机器学习
8.2机器学习应用
8.3Spark机器学习工作流程
8.5本地向量
8.6标注点
8.7本地矩阵
8.8摘要统计
8.9 相关统计
8.10分层抽样
8.1线性支持向量机
8.12逻辑回归
8.13推进模型分类
第 一章单元测试
第二章单元测试
第三章单元测试
第四章单元测试
第五章单元测试
第六章单元测试
第七章单元测试
第八章单元测试
第一章课后作业
第二章课后练习
第三章课后作业
第四章课后练习
第五章课后作业
第六章课后练习
第七章课后练习
第八章课后练习
实训1 输出helloworld
实训2完成scala程序设计数值判断
实训3实现词频统计功能
实训4spark sql操作数据源
4.9 Spark SQL 操作MySQL ►