跳到主要内容
输入搜索条件
您正在用访客帐号访问 (
登录
)
当前访问位置:
首页
课程
大数据快速运算(共享)
大数据快速运算(共享)
共享课程
授课老师:
徐永春
课程简介:
通过学习课程使得学生掌握Spark对大规模数据的交互式分析、编写Spark应用以及使用SparkStreaming处理高速数据流的主要思想和基本步骤;同时对Spark平台的应用与开发的理论知识有所了解,如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
已有
78383
人浏览此课程
新闻通告
讨论区
教师团队
课程说明
学习内容
形成性考核
实操实训
拓展资源
折叠/展开
第一章 章节:Scala语言基础
教学内容:
第一章 Scala语言基础
图书
1.1 初识scala
网页
1.2 Scala的基础语法
网页
1.3 scala数据结构
网页
1.4 Scala面向对象的特性及模式匹配
网页
教学视频
1.1初始Scala
云视频资源
1.2scala的基础语法
云视频资源
1.3scala数据结构
云视频资源
1.4 Scala面向对象的特性及模式匹配
云视频资源
课程讨论
单元测试1
第二章 章节:Spark基础
教学内容:
2.1 spark概述
网页
2.2 spark特点
网页
2.3 spark应用场景
网页
2.4 spark与hadoop对比
网页
2.5 搭建spark开发环境
网页
2.6 spark运行架构与原理
网页
2.7 体验第一个spark程序
网页
教学视频
2.1spark概述
云视频资源
2.2spark特点
云视频资源
2.3spark应用场景
云视频资源
2.4Spark与Hadoop对比
云视频资源
2.5搭建spark开发环境
云视频资源
2.7体验第一个Spark程序
云视频资源
2.7体验第一个Spark程序
云视频资源
课程讨论
spark运行架构及原理如何
讨论区
单元测试
第三章 章节:Spark RDD弹性分布式数据集
教学内容:
3.1 RDD简介
网页
3.2 RDD创建方式
网页
3.3 RDD的处理过程_转换算子
网页
3.4 RDD的处理过程_行动算子
网页
3.5 RDD的分区
网页
3.6RDD的依赖关系
网页
3.7 RDD机制
网页
3.8 spark的DAG概念
网页
3.9 spark的任务调度及运行流程
网页
教学视频
3-1RDD简介
云视频资源
3.2RDD的创建方式
云视频资源
3.3RDD处理过程_转换算子
云视频资源
3.4RDD处理过程_行动算子
云视频资源
3.5RDD的分区
云视频资源
3.6RDD的依赖关系
云视频资源
3.7RDD机制
云视频资源
3.8sparkDAG概念
云视频资源
3.9RDD在spark中的运行流程
云视频资源
课程讨论
RDD的任务调度流程如何实现?
讨论区
单元测试
第四章 章节:Spark SQL结构化数据文件处理
教学内容
4.1 Spark SQLl的简介
网页
4.2 Spark SQL的架构
网页
4.3 DataFrame简介
网页
4.4 DataFrame的创建
网页
4.5 DataFrame的常用操作
网页
4.6 DataSet简介
网页
4.7 DataSet对象的创建
网页
4.8 RDD转换为DataFrame
网页
4.9 Spark SQL 操作MySQL
网页
4.10 操作Hive数据集
网页
教学视频
4.1Spark SQL的简介
云视频资源
4.2Spark SQL的架构
云视频资源
4.3DataFrame简介
云视频资源
4.4DataFrame的创建
云视频资源
4.5DataFrame的常用操作
云视频资源
4.6DataSet简介
云视频资源
4.7Dataset对象的创建
云视频资源
4.8RDD转换DataFrame
云视频资源
4.9Spark SQL操作MySQL
云视频资源
4.10 操作Hive数据库
云视频资源
课程讨论
HBASE读写数据流程有哪些?
讨论区
单元测试
第五章 章节:HBase分布式数据库
教学内容
5.1HBase的基础知识
网页
5.2HBase的数据模型
网页
5.3HBase的集群部署
网页
5.4HBase的Shell操作
网页
5.5 Hbase的Java AP操作
网页
5.6HBase的架构
网页
5.7 物理存储
网页
5.8 寻址机制
网页
5.9 HBase读写数据流程
网页
教学视频
5.1HBase简介
云视频资源
5.2Hbase的数据模型
云视频资源
5.3Hbase的集群部署
云视频资源
5.4Hbase的shell操作
云视频资源
5.5Hbase的Java API操作
云视频资源
5.6Hbase的架构
云视频资源
5.7物理存储
云视频资源
5.8寻址机制
云视频资源
5.9Hbase读写数据流程
云视频资源
课程讨论
单元测试
第六章 章节:Kafka分布式发布订阅消息系统
教学内容
6.1消息传递模式简介
网页
6.2Kafka简介
网页
6.3Kafka的核心组件介绍
网页
6.4 Kafka工作流程分析
网页
6.5安装 Kafka
网页
6.6启动 Kafka服务
网页
6.7基于命令行方式使用 Kafka
网页
6.8基于java API方式使用 Kafka
网页
6.9Kafka Streams概述
网页
6.10 Kafka Streams开发单词计数
网页
教学视频
6.1消息传递模式简介
云视频资源
6.2Kafka简介
云视频资源
6.3Kafka核心组件介绍
云视频资源
6.4Kafka工作流程分析
云视频资源
6.5安装Kafka
云视频资源
6.6启动Kafka服务
云视频资源
6.7基于命令行方式使用Kafka
云视频资源
6.8基于java API方式使用Kafka'
云视频资源
6.9Kafka Streams概述
云视频资源
6.10Kafka Streams开发单词计数
云视频资源
课程讨论
kafka工作流程如何实现?
讨论区
如何利用生产和消费者实现Kafka?
讨论区
单元测试
第七章 章节:Spark Streaming实时计算框架
教学内容
7.1什么是实时计算
网页
7.2常用的实时计算框架
网页
7.3Spark Streaming简介
网页
7.4 Spark Streaming工作原理
网页
7.5 DStream简介
网页
7.6 DStream的编程模型
网页
7.7 DStream的转换操作
网页
7.8DStreaming窗口操作
网页
7.9DStreamin实例输出操作
网页
7.10KafakaUtils. createDstream方式
网页
7.11KafakaUtils. createDirectStream方式
网页
教学视频
7.1什么是实时计算
云视频资源
7.2常用的实时计算框架
云视频资源
7.3Spark Streaming工作原理
云视频资源
7.4Spark Streaming工作原理
云视频资源
7.5Dstream简介
云视频资源
7.6Dstream编程模型
云视频资源
7.7Dstream转换操作
云视频资源
7.8Dstream窗口操作
云视频资源
7.9Dstream案例输出操作
云视频资源
7.10KafakaUtils. createDstream方式
云视频资源
7.11KafakaUtils. createDirectStream方式
云视频资源
课程讨论
单元测试
第八章 章节:Spark MLlib 机器学习算法库
教学内容
8.1什么是机器学习
网页
8.2机器学习应用
网页
8.3Spark机器学习工作流程
网页
8.5本地向量
网页
8.6标注点
网页
8.7本地矩阵
网页
8.8摘要统计
网页
8.9 相关统计
网页
8.10分层抽样
网页
8.1线性支持向量机
网页
8.12逻辑回归
网页
8.13推进模型分类
网页
8.1线性支持向量机
云视频资源
教学视频
8.1什么是机器学习
云视频资源
8.2机器学习的应用
云视频资源
8.3Spark机器学习工作流程
云视频资源
8.5本地向量
云视频资源
8.6标注点
云视频资源
8.7本地矩阵
云视频资源
8.8摘要统计
云视频资源
8.9相关统计
云视频资源
8.10分层抽样
云视频资源
8.11线性支持向量机
云视频资源
8.12逻辑回归
云视频资源
8.13推荐模型分类
云视频资源
课程讨论
单元测试