• • 新闻通告 Forum
• • 教师团队
  • 课程说明
  • 学习内容
  • 形成性考核
  • 实操实训
  • 拓展资源
• Fold/Unfold

  • 第一章 章节：Scala语言基础

    • 教学内容：

      • 第一章 Scala语言基础 Book
      • 1.1 初识scala Page
      • 1.2 Scala的基础语法 Page
      • 1.3 scala数据结构 Page
      • 1.4 Scala面向对象的特性及模式匹配 Page
    • 教学视频
    • 课程讨论
    • 单元测试1
  • 第二章 章节：Spark基础

    • 教学内容:

      • 2.1 spark概述 Page
      • 2.2 spark特点 Page
      • 2.3 spark应用场景 Page
      • 2.4 spark与hadoop对比 Page
      • 2.5 搭建spark开发环境 Page
      • 2.6 spark运行架构与原理 Page
      • 2.7 体验第一个spark程序 Page
    • 教学视频
    • 课程讨论

      • spark运行架构及原理如何 Forum
    • 单元测试
  • 第三章 章节：Spark RDD弹性分布式数据集

    • 教学内容：

      • 3.1 RDD简介 Page
      • 3.2 RDD创建方式 Page
      • 3.3 RDD的处理过程_转换算子 Page
      • 3.4 RDD的处理过程_行动算子 Page
      • 3.5 RDD的分区 Page
      • 3.6RDD的依赖关系 Page
      • 3.7 RDD机制 Page
      • 3.8 spark的DAG概念 Page
      • 3.9 spark的任务调度及运行流程 Page
    • 教学视频
    • 课程讨论

      • RDD的任务调度流程如何实现？ Forum
    • 单元测试
  • 第四章 章节：Spark SQL结构化数据文件处理

    • 教学内容

      • 4.1 Spark SQLl的简介 Page
      • 4.2 Spark SQL的架构 Page
      • 4.3 DataFrame简介 Page
      • 4.4 DataFrame的创建 Page
      • 4.5 DataFrame的常用操作 Page
      • 4.6 DataSet简介 Page
      • 4.7 DataSet对象的创建 Page
      • 4.8 RDD转换为DataFrame Page
      • 4.9 Spark SQL 操作MySQL Page
      • 4.10 操作Hive数据集 Page
    • 教学视频
    • 课程讨论

      • HBASE读写数据流程有哪些？ Forum
    • 单元测试
  • 第五章 章节：HBase分布式数据库

    • 教学内容

      • 5.1HBase的基础知识 Page
      • 5.2HBase的数据模型 Page
      • 5.3HBase的集群部署 Page
      • 5.4HBase的Shell操作 Page
      • 5.5 Hbase的Java AP操作 Page
      • 5.6HBase的架构 Page
      • 5.7 物理存储 Page
      • 5.8 寻址机制 Page
      • 5.9 HBase读写数据流程 Page
    • 教学视频
    • 课程讨论
    • 单元测试
  • 第六章 章节：Kafka分布式发布订阅消息系统

    • 教学内容

      • 6.1消息传递模式简介 Page
      • 6.2Kafka简介 Page
      • 6.3Kafka的核心组件介绍 Page
      • 6.4 Kafka工作流程分析 Page
      • 6.5安装 Kafka Page
      • 6.6启动 Kafka服务 Page
      • 6.7基于命令行方式使用 Kafka Page
      • 6.8基于java API方式使用 Kafka Page
      • 6.9Kafka Streams概述 Page
      • 6.10 Kafka Streams开发单词计数 Page
    • 教学视频
    • 课程讨论

      • kafka工作流程如何实现？ Forum
      • 如何利用生产和消费者实现Kafka？ Forum
    • 单元测试
  • 第七章 章节：Spark Streaming实时计算框架

    • 教学内容

      • 7.1什么是实时计算 Page
      • 7.2常用的实时计算框架 Page
      • 7.3Spark Streaming简介 Page
      • 7.4 Spark Streaming工作原理 Page
      • 7.5 DStream简介 Page
      • 7.6 DStream的编程模型 Page
      • 7.7 DStream的转换操作 Page
      • 7.8DStreaming窗口操作 Page
      • 7.9DStreamin实例输出操作 Page
      • 7.10KafakaUtils. createDstream方式 Page
      • 7.11KafakaUtils. createDirectStream方式 Page
    • 教学视频
    • 课程讨论
    • 单元测试
  • 第八章 章节：Spark MLlib 机器学习算法库

    • 教学内容

      • 8.1什么是机器学习 Page
      • 8.2机器学习应用 Page
      • 8.3Spark机器学习工作流程 Page
      • 8.5本地向量 Page
      • 8.6标注点 Page
      • 8.7本地矩阵 Page
      • 8.8摘要统计 Page
      • 8.9 相关统计 Page
      • 8.10分层抽样 Page
      • 8.1线性支持向量机 Page
      • 8.12逻辑回归 Page
      • 8.13推进模型分类 Page
    • 教学视频
    • 课程讨论
    • 单元测试