返回列表 发新帖

Flink大数据实时计算系统实践

[复制链接]
  • TA的每日心情
    开心
    2019-1-26 20:14
  • 签到天数: 2 天

    连续签到: 2 天

    [LV.1]初来乍到

    0

    好友

    3

    主题

    0

    精华

    LV.1 码农

    Rank: 1

    积分
    28
    经验
    11
    元宝
    920
    发表于 2019-1-26 18:36:52 | 显示全部楼层 | 阅读模式

    006tNbRwly1fw6nryof95j31kw0uv49p.jpg

    课程简介:

    本次的课程主要包括三大部分:
    1.  Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API,介绍大数据实时流计算相关生态体系,着重梳理清楚Flink上下游体系,掌握Flink的核心技术原理,建立大数据实时流计算的方法论思维。
    2.  Flink实战生产技术。从实战出发,围绕实时流计算业务场景分析、基本编程模型、高级特性等系统性介绍Flink实时流计算的实战技术,使得学员具备研发Flink实时流计算相关应用的基础能力。
    3.  Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景,是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特性与原理,以及在性能调优以及最佳实践经验。

    面向人群:

    1.  希望学习大数据实时流计算和实时OLAP的学生;
    2.  希望了解大数据实时流计算和OLAP实战技术的IT从业人员;
    3.  未来希望成为大数据实时流计算的求职者;
    4.  想在大数据实时流计算方向和OLAP方面进行深入研究者。

    学习收益:

    通过本课程的学习,学员将会收获:

    1.  学员将系统性的了解并掌握大数据实时流计算的基本技术原理,结合Flink的生产技术案例,可基本实现独立开发、业务场景分析能力;
    2.  了解大数据实时流计算上下游生态;
    3.  理解Druid基础特性与正确使用方式,基本工作原理,并了解Druid面向的问题域以及典型的使用场景;
    4.  对有志于从事大数据实时流计算以及OLAP研发的学员,提供系统实现原理的讲解与指导。

    【课程内容】

    第一课:  Flink基本概念与部署

       1.  Flink 简介
       2.  编程模型
       3.  运行时概念
       4.  应用部署与原理
            a. 部署模式
            b. On-Yarn 启动设置与原理
            c. Job 启动设置与原理

    第二课: DataStream

       1.  DataStreamContext环境
       2.  数据源(DataSource)
       3.  转化(Transformation)
       4.  数据Sink

    第三课:Window & Time

       1.  Window介绍
            a.  为什么要有Window
            b.  Window类型
       2.  Window API的使用
            a.  Window的三大组件
            b.  Time&watermark
            c.  时间语义
            d.  乱序问题解决WaterMark
            e.  AllowLateness正确设置与理解
            f.   Sideoutput在Window中的使用
       3.  Window的内部实现原理
            a.  Window的处理流程
            b.  Window中的状态存储
       4.  生产环境中的Window使用遇到的一些问题

    第四课:  Connector

       1.  基本Connnector
       2.  自定义Source 与 Sink
            a.  Kafka简介
            b.  Kafka Consumer 与Sink 的正确使用方式
            c.  Kafka-Connector 内部机制与实现原理

    第五课:  状态管理与恢复机制

        1.  基本概念
        2.  KeyState 基本类型及用法
             a.  ValueState
             b.  ListState
             c.  ReduceState
             d.  FoldState
             e.  AggregatingState
        3.  OperatorState基本用法
        4.  Checkpoint
             a.  概念
             b.  开启checkpoint
             c.  基本原理

    第六课:  Metrics 与监控

       1.  Metrics的种类
       2.  Metrics的获取方式
            a.  Web Ui
            b.  Rest API
            c.  MetricReporter
       3.  用户自定义Metric指标方式
       4.  监控和诊断:Metric和Druid 实时OLAP联合使用
            a.  Metric上报
            b.  Metric指标聚合
            c.  Metric的分类和格式定义
       5.  Druid查询和指标系统
            a.  Flink作业反压监控
            b.  Flink作业的延迟监控
            c.  其他
       6.  Metric系统的内部实现
       7.  生产环境中的案例分析 -- 通过指标来排查应用问题

    第七课:  Flink应用案例介绍

       1.  数据清洗:map/flatmap等
       2.  监控告警系统
            a. 数据拉平
            b. 基础窗口计算等
       3.  线上运营系统
       4.  风控系统   

    第八课:Druid基本概念与架构设计

      1.  Druid与OLAP VS Kylin、ES等
      2.  Druid与指标系统 VS 各种时序数据库
      3.  Druid特性
      4.  基本架构:角色节点与基本职责
           a.  角色行为
           b.  角色暴露的API
      5.  基本架构:外部依赖
            a.  MySQL数据结构
            b.  ZK数据结构
            c.  HDFS数据结构

    第九课: Druid数据写入与查询

       1.  数据流向与存储格式
             a.  数据写入流程
             b.  存储与索引格式
       2.  实时数据写入
             a.  Firehose
             b.  Realtime Node
             c.  Index-Service原理介绍
             d.  Tranquility原理介绍
             e.  Kafka-index-service原理
       3.  离线数据写入
             a.  Indexer
             b.  MR Indexer
       4.  查询模式与查询类型介绍

    第十课: Druid实践介绍

       1.  容错设计
       2.  指标监控
            a.  基于Graphite搭建指标监控系统
            b.  重要的指标项
       3.  运维实践
            a.  数据修复
            b.  集群升级实践
            c.  Segment元数据管理
            d.  JVM调优
            c.  资源隔离

    【下载地址】

    游客,如果您要查看本帖隐藏内容请回复
  • TA的每日心情
    开心
    2019-2-1 10:12
  • 签到天数: 9 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    1

    好友

    1

    主题

    0

    精华

    终身VIP

    积分
    89
    经验
    38
    元宝
    0

    终身VIP

    发表于 2019-1-26 20:43:27 | 显示全部楼层
    看了LZ的帖子,我只想说一句很好很强大!
  • TA的每日心情
    慵懒
    2019-2-10 14:10
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    1

    好友

    5

    主题

    0

    精华

    LV.7 CTO

    Rank: 10Rank: 10Rank: 10

    积分
    4612
    经验
    1928
    元宝
    377

    灌水之王活跃会员

    发表于 2019-1-26 21:06:50 | 显示全部楼层
    看了LZ的帖子,我只想说一句很好很强大!
  • TA的每日心情

    昨天 00:00
  • 签到天数: 42 天

    连续签到: 4 天

    [LV.5]常住居民I

    1

    好友

    0

    主题

    0

    精华

    终身VIP

    积分
    828
    经验
    191
    元宝
    0

    终身VIP

    发表于 2019-1-26 21:37:15 | 显示全部楼层
    不管你信不信,反正我是信了。
  • TA的每日心情
    郁闷
    2019-1-26 21:43
  • 签到天数: 12 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    0

    好友

    1

    主题

    0

    精华

    终身VIP

    积分
    208
    经验
    83
    元宝
    2

    终身VIP

    发表于 2019-1-26 21:43:34 | 显示全部楼层
    啥也不说了,楼主就是给力!
  • TA的每日心情
    奋斗
    2019-1-26 08:36
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    0

    好友

    10

    主题

    0

    精华

    终身VIP

    积分
    966
    经验
    418
    元宝
    0

    终身VIP

    发表于 2019-1-26 21:48:28 | 显示全部楼层
    啥也不说了,楼主就是给力!
  • TA的每日心情
    无聊
    前天 10:19
  • 签到天数: 39 天

    连续签到: 3 天

    [LV.5]常住居民I

    3

    好友

    5

    主题

    0

    精华

    终身VIP

    积分
    1727
    经验
    699
    元宝
    0

    终身VIP

    发表于 2019-1-26 22:58:20 | 显示全部楼层
    哥顶的不是帖子,是寂寞!
  • TA的每日心情
    无聊
    3 天前
  • 签到天数: 14 天

    连续签到: 1 天

    [LV.3]偶尔看看II

    1

    好友

    1

    主题

    0

    精华

    终身VIP

    积分
    158
    经验
    56
    元宝
    0

    终身VIP

    发表于 2019-1-26 23:27:02 | 显示全部楼层
    不错,又占了一个沙发!
  • TA的每日心情
    慵懒
    4 小时前
  • 签到天数: 62 天

    连续签到: 1 天

    [LV.6]常住居民II

    1

    好友

    12

    主题

    0

    精华

    LV.7 CTO

    Rank: 10Rank: 10Rank: 10

    积分
    6748
    经验
    2761
    元宝
    1723

    灌水之王活跃会员

    发表于 2019-1-26 23:35:46 | 显示全部楼层
    看了LZ的帖子,我只想说一句很好很强大!
  • TA的每日心情
    郁闷
    14 小时前
  • 签到天数: 75 天

    连续签到: 8 天

    [LV.6]常住居民II

    0

    好友

    1

    主题

    0

    精华

    LV.7 CTO

    Rank: 10Rank: 10Rank: 10

    积分
    3665
    经验
    1191
    元宝
    561
    发表于 2019-1-26 23:45:19 | 显示全部楼层
    看了LZ的帖子,我只想说一句很好很强大!
    快速回复 返回顶部 返回列表