跳到主要内容
Responsive image
  • 您正在用访客帐号访问 (登录)
当前访问位置：
  • 首页
  • 课程
  • 大数据快速运算（共享）

大数据快速运算（共享）

共享课程

授课老师：徐永春

课程简介：

通过学习课程使得学生掌握Spark对大规模数据的交互式分析、编写Spark应用以及使用SparkStreaming处理高速数据流的主要思想和基本步骤；同时对Spark平台的应用与开发的理论知识有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。

已有 43784 人浏览此课程

    • 新闻通告 讨论区
    • 教师团队
    • 课程说明
    • 学习内容
    • 形成性考核
    • 实操实训
    • 拓展资源
    折叠/展开down
    • 第一章 章节：Scala语言基础up
      • 教学内容：
        • 第一章 Scala语言基础 图书
          学生必须
          查看
        • 1.1 初识scala 网页
          学生必须
          查看
        • 1.2 Scala的基础语法 网页
          学生必须
          查看
        • 1.3 scala数据结构 网页
          学生必须
          查看
        • 1.4 Scala面向对象的特性及模式匹配 网页
          学生必须
          查看
      • 教学视频
        • 1.1初始Scala 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 1.2scala的基础语法 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 1.3scala数据结构 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 1.4 Scala面向对象的特性及模式匹配 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
      • 单元测试1
    • 第二章 章节：Spark基础up
      • 教学内容:
        • 2.1 spark概述 网页
          学生必须
          查看
        • 2.2 spark特点 网页
          学生必须
          查看
        • 2.3 spark应用场景 网页
          学生必须
          查看
        • 2.4 spark与hadoop对比 网页
          学生必须
          查看
        • 2.5 搭建spark开发环境 网页
          学生必须
          查看
        • 2.6 spark运行架构与原理 网页
          学生必须
          查看
        • 2.7 体验第一个spark程序 网页
          学生必须
          查看
      • 教学视频
        • 2.1spark概述 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.2spark特点 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.3spark应用场景 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.4Spark与Hadoop对比 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.5搭建spark开发环境 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.7体验第一个Spark程序 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 2.7体验第一个Spark程序 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
        • spark运行架构及原理如何 讨论区
          学生必须
          查看
      • 单元测试
    • 第三章 章节：Spark RDD弹性分布式数据集up
      • 教学内容：
        • 3.1 RDD简介 网页
          学生必须
          查看
        • 3.2 RDD创建方式 网页
          学生必须
          查看
        • 3.3 RDD的处理过程_转换算子 网页
          学生必须
          查看
        • 3.4 RDD的处理过程_行动算子 网页
          学生必须
          查看
        • 3.5 RDD的分区 网页
          学生必须
          查看
        • 3.6RDD的依赖关系 网页
          学生必须
          查看
        • 3.7 RDD机制 网页
          学生必须
          查看
        • 3.8 spark的DAG概念 网页
          学生必须
          查看
        • 3.9 spark的任务调度及运行流程 网页
          学生必须
          查看
      • 教学视频
        • 3-1RDD简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.2RDD的创建方式 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.3RDD处理过程_转换算子 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.4RDD处理过程_行动算子 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.5RDD的分区 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.6RDD的依赖关系 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.7RDD机制 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.8sparkDAG概念 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 3.9RDD在spark中的运行流程 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
        • RDD的任务调度流程如何实现？ 讨论区
          学生必须
          查看
      • 单元测试
    • 第四章 章节：Spark SQL结构化数据文件处理up
      • 教学内容
        • 4.1 Spark SQLl的简介 网页
          学生必须
          查看
        • 4.2 Spark SQL的架构 网页
          学生必须
          查看
        • 4.3 DataFrame简介 网页
          学生必须
          查看
        • 4.4 DataFrame的创建 网页
          学生必须
          查看
        • 4.5 DataFrame的常用操作 网页
          学生必须
          查看
        • 4.6 DataSet简介 网页
          学生必须
          查看
        • 4.7 DataSet对象的创建 网页
          学生必须
          查看
        • 4.8 RDD转换为DataFrame 网页
          学生必须
          查看
        • 4.9 Spark SQL 操作MySQL 网页
          学生必须
          查看
        • 4.10 操作Hive数据集 网页
          学生必须
          查看
      • 教学视频
        • 4.1Spark SQL的简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.2Spark SQL的架构 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.3DataFrame简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.4DataFrame的创建 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.5DataFrame的常用操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.6DataSet简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.7Dataset对象的创建 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.8RDD转换DataFrame 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.9Spark SQL操作MySQL 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 4.10 操作Hive数据库 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
        • HBASE读写数据流程有哪些？ 讨论区
          学生必须
          查看
      • 单元测试
    • 第五章 章节：HBase分布式数据库up
      • 教学内容
        • 5.1HBase的基础知识 网页
          学生必须
          查看
        • 5.2HBase的数据模型 网页
          学生必须
          查看
        • 5.3HBase的集群部署 网页
          学生必须
          查看
        • 5.4HBase的Shell操作 网页
          学生必须
          查看
        • 5.5 Hbase的Java AP操作 网页
          学生必须
          查看
        • 5.6HBase的架构 网页
          学生必须
          查看
        • 5.7 物理存储 网页
          学生必须
          查看
        • 5.8 寻址机制 网页
          学生必须
          查看
        • 5.9 HBase读写数据流程 网页
          学生必须
          查看
      • 教学视频
        • 5.1HBase简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.2Hbase的数据模型 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.3Hbase的集群部署 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.4Hbase的shell操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.5Hbase的Java API操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.6Hbase的架构 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.7物理存储 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.8寻址机制 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 5.9Hbase读写数据流程 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
      • 单元测试
    • 第六章 章节：Kafka分布式发布订阅消息系统up
      • 教学内容
        • 6.1消息传递模式简介 网页
          学生必须
          查看
        • 6.2Kafka简介 网页
          学生必须
          查看
        • 6.3Kafka的核心组件介绍 网页
          学生必须
          查看
        • 6.4 Kafka工作流程分析 网页
          学生必须
          查看
        • 6.5安装 Kafka 网页
          学生必须
          查看
        • 6.6启动 Kafka服务 网页
          学生必须
          查看
        • 6.7基于命令行方式使用 Kafka 网页
          学生必须
          查看
        • 6.8基于java API方式使用 Kafka 网页
          学生必须
          查看
        • 6.9Kafka Streams概述 网页
          学生必须
          查看
        • 6.10 Kafka Streams开发单词计数 网页
          学生必须
          查看
      • 教学视频
        • 6.1消息传递模式简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.2Kafka简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.3Kafka核心组件介绍 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.4Kafka工作流程分析 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.5安装Kafka 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.6启动Kafka服务 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.7基于命令行方式使用Kafka 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.8基于java API方式使用Kafka' 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.9Kafka Streams概述 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 6.10Kafka Streams开发单词计数 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
        • kafka工作流程如何实现？ 讨论区
          学生必须
          查看
        • 如何利用生产和消费者实现Kafka？ 讨论区
          学生必须
          查看
      • 单元测试
    • 第七章 章节：Spark Streaming实时计算框架up
      • 教学内容
        • 7.1什么是实时计算 网页
          学生必须
          查看
        • 7.2常用的实时计算框架 网页
          学生必须
          查看
        • 7.3Spark Streaming简介 网页
          学生必须
          查看
        • 7.4 Spark Streaming工作原理 网页
          学生必须
          查看
        • 7.5 DStream简介 网页
          学生必须
          查看
        • 7.6 DStream的编程模型 网页
          学生必须
          查看
        • 7.7 DStream的转换操作 网页
          学生必须
          查看
        • 7.8DStreaming窗口操作 网页
          学生必须
          查看
        • 7.9DStreamin实例输出操作 网页
          学生必须
          查看
        • 7.10KafakaUtils. createDstream方式 网页
          学生必须
          查看
        • 7.11KafakaUtils. createDirectStream方式 网页
          学生必须
          查看
      • 教学视频
        • 7.1什么是实时计算 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.2常用的实时计算框架 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.3Spark Streaming工作原理 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.4Spark Streaming工作原理 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.5Dstream简介 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.6Dstream编程模型 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.7Dstream转换操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.8Dstream窗口操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.9Dstream案例输出操作 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.10KafakaUtils. createDstream方式 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 7.11KafakaUtils. createDirectStream方式 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
      • 单元测试
    • 第八章 章节：Spark MLlib 机器学习算法库up
      • 教学内容
        • 8.1什么是机器学习 网页
        • 8.2机器学习应用 网页
        • 8.3Spark机器学习工作流程 网页
        • 8.5本地向量 网页
        • 8.6标注点 网页
        • 8.7本地矩阵 网页
        • 8.8摘要统计 网页
        • 8.9 相关统计 网页
        • 8.10分层抽样 网页
        • 8.1线性支持向量机 网页
        • 8.12逻辑回归 网页
        • 8.13推进模型分类 网页
      • 教学视频
        • 8.1什么是机器学习 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.2机器学习的应用 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.3Spark机器学习工作流程 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.5本地向量 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.6标注点 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.7本地矩阵 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.8摘要统计 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.9相关统计 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.10分层抽样 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.11线性支持向量机 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.12逻辑回归 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
        • 8.13推荐模型分类 云视频资源
          学生必须
          学生必须观看视频达到该视频总时长的 70 时才能完成此活动
      • 课程讨论
      • 单元测试
授课老师

徐永春

版块

跳过 历史课程档案

历史课程档案

本课程过往学期报表
点击查看

广东开放大学版权所有    粤ICP备05008834号-3

广东开放大学信息化建设处    服务电话：020-83495072    技术服务邮箱：course@gdrtvu.edu.cn

  • 简体中文 ‎(zh_cn)‎
    • 简体中文 ‎(zh_cn)‎
    • English ‎(en)‎