返回列表 发新帖

Flink大数据实时计算系统实践

  [复制链接]

0

好友

3

主题

0

精华

注册会员

积分
9
学分
1600
发表于 2019-1-26 18:36:52 | 显示全部楼层 | 阅读模式
006tNbRwly1fw6nryof95j31kw0uv49p.jpg

课程简介:

本次的课程主要包括三大部分:
1.  Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API,介绍大数据实时流计算相关生态体系,着重梳理清楚Flink上下游体系,掌握Flink的核心技术原理,建立大数据实时流计算的方法论思维。
2.  Flink实战生产技术。从实战出发,围绕实时流计算业务场景分析、基本编程模型、高级特性等系统性介绍Flink实时流计算的实战技术,使得学员具备研发Flink实时流计算相关应用的基础能力。
3.  Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景,是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特性与原理,以及在性能调优以及最佳实践经验。

面向人群:

1.  希望学习大数据实时流计算和实时OLAP的学生;
2.  希望了解大数据实时流计算和OLAP实战技术的IT从业人员;
3.  未来希望成为大数据实时流计算的求职者;
4.  想在大数据实时流计算方向和OLAP方面进行深入研究者。

学习收益:

通过本课程的学习,学员将会收获:

1.  学员将系统性的了解并掌握大数据实时流计算的基本技术原理,结合Flink的生产技术案例,可基本实现独立开发、业务场景分析能力;
2.  了解大数据实时流计算上下游生态;
3.  理解Druid基础特性与正确使用方式,基本工作原理,并了解Druid面向的问题域以及典型的使用场景;
4.  对有志于从事大数据实时流计算以及OLAP研发的学员,提供系统实现原理的讲解与指导。

【课程内容】

第一课:  Flink基本概念与部署

   1.  Flink 简介
   2.  编程模型
   3.  运行时概念
   4.  应用部署与原理
        a. 部署模式
        b. On-Yarn 启动设置与原理
        c. Job 启动设置与原理

第二课: DataStream

   1.  DataStreamContext环境
   2.  数据源(DataSource)
   3.  转化(Transformation)
   4.  数据Sink

第三课:Window & Time

   1.  Window介绍
        a.  为什么要有Window
        b.  Window类型
   2.  Window API的使用
        a.  Window的三大组件
        b.  Time&watermark
        c.  时间语义
        d.  乱序问题解决WaterMark
        e.  AllowLateness正确设置与理解
        f.   Sideoutput在Window中的使用
   3.  Window的内部实现原理
        a.  Window的处理流程
        b.  Window中的状态存储
   4.  生产环境中的Window使用遇到的一些问题

第四课:  Connector

   1.  基本Connnector
   2.  自定义Source 与 Sink
        a.  Kafka简介
        b.  Kafka Consumer 与Sink 的正确使用方式
        c.  Kafka-Connector 内部机制与实现原理

第五课:  状态管理与恢复机制

    1.  基本概念
    2.  KeyState 基本类型及用法
         a.  ValueState
         b.  ListState
         c.  ReduceState
         d.  FoldState
         e.  AggregatingState
    3.  OperatorState基本用法
    4.  Checkpoint
         a.  概念
         b.  开启checkpoint
         c.  基本原理

第六课:  Metrics 与监控

   1.  Metrics的种类
   2.  Metrics的获取方式
        a.  Web Ui
        b.  Rest API
        c.  MetricReporter
   3.  用户自定义Metric指标方式
   4.  监控和诊断:Metric和Druid 实时OLAP联合使用
        a.  Metric上报
        b.  Metric指标聚合
        c.  Metric的分类和格式定义
   5.  Druid查询和指标系统
        a.  Flink作业反压监控
        b.  Flink作业的延迟监控
        c.  其他
   6.  Metric系统的内部实现
   7.  生产环境中的案例分析 -- 通过指标来排查应用问题

第七课:  Flink应用案例介绍

   1.  数据清洗:map/flatmap等
   2.  监控告警系统
        a. 数据拉平
        b. 基础窗口计算等
   3.  线上运营系统
   4.  风控系统   

第八课:Druid基本概念与架构设计

  1.  Druid与OLAP VS Kylin、ES等
  2.  Druid与指标系统 VS 各种时序数据库
  3.  Druid特性
  4.  基本架构:角色节点与基本职责
       a.  角色行为
       b.  角色暴露的API
  5.  基本架构:外部依赖
        a.  MySQL数据结构
        b.  ZK数据结构
        c.  HDFS数据结构

第九课: Druid数据写入与查询

   1.  数据流向与存储格式
         a.  数据写入流程
         b.  存储与索引格式
   2.  实时数据写入
         a.  Firehose
         b.  Realtime Node
         c.  Index-Service原理介绍
         d.  Tranquility原理介绍
         e.  Kafka-index-service原理
   3.  离线数据写入
         a.  Indexer
         b.  MR Indexer
   4.  查询模式与查询类型介绍

第十课: Druid实践介绍

   1.  容错设计
   2.  指标监控
        a.  基于Graphite搭建指标监控系统
        b.  重要的指标项
   3.  运维实践
        a.  数据修复
        b.  集群升级实践
        c.  Segment元数据管理
        d.  JVM调优
        c.  资源隔离

【下载地址】

游客,本付费内容需要支付 60学分 才能浏览
点击查看获取学分的方法支付

0

好友

1

主题

0

精华

注册会员

积分
334
学分
110
发表于 2019-8-9 11:04:22 | 显示全部楼层
先mark一下
快速回复 返回顶部 返回列表