09、大数据/云计算 计算机IT系 ·

Flink+ClickHouse 玩转企业级实时大数据开发

Flink+ClickHouse 玩转企业级实时大数据开发 09、大数据/云计算 第1张

第1章 Flink认知篇 7 节 | 58分钟
本章中,将带领大家来一起认识大数据处业界中主流的分布式计算框架有哪些,进而引出为什么要学习的Flink框架、Flink是什么、发展史、特点;了解业务常见的实时处理框架有哪些,并知道在大厂中都在使用Flink做什么。帮助大家对Flink有初步得认识~~ …
1-1 课前须知,这里有你需要了解得一切 (09:02)
1-2 课程目录 (01:39)
1-3 业界大数据分布式计算框架 (04:22)
1-4 初识Flink (10:47)
1-5 什么是Flink (12:12)
1-6 【科普小贴士】Flink发展史&特点&行业应用
1-7 学习一个新框架的方法论 (19:58)
第2章 Flink本地开发快速上手篇 17 节 | 78分钟
本章中,将带领大家,通过Maven+IDEA构建基于Flink的开发环境,快速构建我们的第一个基于Flink的实时和离线分析案例。
2-1 课程目录 (01:38)
2-2 Maven部署 (09:20)
2-3 IDEA社区版和旗舰版区别 (03:17)
2-4 基于官方提供的命令来构建Flink项目 (10:25)
2-5 基于IDEA构建多module的Flink项目 (11:31)
2-6 Flink编程模型 (04:19)
2-7 基于Flink开发第一个实时处理案例之需求分析 (04:41)
2-8 基于Flink开发第一个实时处理案例之功能实现一 (11:44)
2-9 基于Flink开发第一个实时处理案例之功能实现二 (01:38)
2-10 基于Flink开发第一个实时处理案例之功能实现三 (05:14)
2-11 基于Flink开发第一个批处理案例之需求分析 (01:11)
2-12 基于Flink开发第一个批处理案例之功能实现 (03:52)
2-13 基于Flink开发第一个批处理案例之功能实现重构 (02:39)
2-14 基于Flink编程套路总结 (03:14)
2-15 本章重难点总结 (02:20)
2-16 【讨论题】关于数据结果的思考
2-17 【任务题】Lambda 表达式版案例实现
第3章 Flink部署篇10 节 | 53分钟
本章中,将带领大家一起来完成Flink环境的部署,理解Flink的架构,如何提交作业到Flink集群运行,并认识Flink UI上核心参数的含义和使用策略。
3-1 课程目录 (01:51)
3-2 【环境配置】云主机开通及配置
3-3 Flink架构 (11:59)
3-4 Flink部署 (16:38)
3-5 Flink UI参数讲解 (04:53)
3-6 通过命令行方式提交&展示&取消Flink作业 (09:53)
3-7 通过UI方式提交&展示&取消Flink作业 (03:56)
3-8 关于并行度的补充 (03:02)
3-9 【讨论题】知识梳理
3-10 【任务题】Flink集群部署应用
第4章 Flink实时处理核心API基础篇21 节 | 100分钟
本章中,将向大家介绍,基于Flink的DataStream API内置的三大核心要素的编程:Source、Tranformation、Action
4-1 课程目录 (01:24)
4-2 DataStream API概述 (07:38)
4-3 StreamExecutionEnvironment详解 (07:45)
4-4 Source概述 (08:56)
4-5 Source API编程之Socket及并行度 (05:11)
4-6 Source API编程之并行集合及并行度 (06:13)
4-7 【核心组件部署】ZooKeeper&Kafka部署
4-8 Source API编程之对接Kafka数据 (07:18)
4-9 Transformation概述 (06:41)
4-10 Transformation算子之map (11:12)
4-11 Transformation算子之filter (05:19)
4-12 Transformation算子之flatMap (05:18)
4-13 Transformation算子之keyBy (06:47)
4-14 Transformation算子之reduce (08:42)
4-15 Sink概述 (02:31)
4-16 Sink之print&printToErr及并行度 (09:00)
4-17 【任务题】词频统计
4-18 【任务题】Kafka消息的发送和接收
4-19 【任务题】readTextFile的并行度
4-20 【面试讨论题】Flink中的并行度
4-21 【面试讨论题】Task Slot的理解
第5章 Flink实时处理核心API进阶篇 20 节 | 100分钟
本章中,将向大家介绍,基于Flink的DataStream API的三大核心要素的的高级特性,以及如何进行自定义功能的开发。
5-1 课程目录 (03:18)
5-2 MapFunction&RichMapFunction认识 (06:19)
5-3 通过RichMapFunction认识对应的生命周期方法 (07:25)
5-4 SourceFunction代码层级 (03:23)
5-5 自定义单并行度Source (09:15)
5-6 自定义多并行度Source (01:44)
5-7 自定义Source读取MySQL数据 (13:15)
5-8 Transformation算子之union (04:14)
5-9 Transformation算子之connect (07:37)
5-10 Transformation算子之CoMapFunction (06:10)
5-11 Transformation算子之CoFlatMapFunction (02:17)
5-12 自定义分区器 (10:22)
5-13 自定义MySQLSink功能实现 (10:33)
5-14 自定义MySQLSink需求分析 (04:20)
5-15 RedisSink功能实现 (09:02)
5-16 【核心组件部署】Redis部署
5-17 【任务题】自定义RedisSink
5-18 【任务题】自定义数据源
5-19 【面试讨论题】Flink中的分区策略
5-20 【面试讨论题】Flink DataStream中使用得算子
第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战23 节 | 92分钟
本章节将实现项目实战的第一篇,从实时项目的架构、选型出发,介绍项目背景以及需求,并使用Flink已学知识点进行数据清洗、各种不同维度的功能开发、结果入库、自定义函数开发等
6-1 课程目录 (03:17)
6-2 同类产品分析 (06:07)
6-3 项目架构 (06:15)
6-4 项目子工程创建 (01:41)
6-5 字段说明 (05:25)
6-6 用户行为日志类定义 (03:01)
6-7 功能一需求分析 (03:18)
6-8 功能一实现之数据清洗 (04:59)
6-9 功能一实现之统计分析 (04:56)
6-10 功能一实现之统计结果入Redis (05:30)
6-11 功能一实现之拓展 (04:08)
6-12 需求二之功能分析 (06:51)
6-13 需求二之IP解析测试 (06:30)
6-14 功能二实现之自定义UDF函数解析IP地址 (04:55)
6-15 功能二实现之统计分析及入库 (03:35)
6-16 需求二之异步IO补充 (14:09)
6-17 前面两个需求可能会遇到的问题提炼 (04:55)
6-18 重难点总结 (02:22)
6-19 【任务题】统计新老用户的数据分布(1)
6-20 【任务题】统计新老用户的数据分布(2)
6-21 【任务题】统计结果存储
6-22 【面试讨论题】在数据清洗过程中做过的处理
6-23 【面试讨论题】使用Flink做实时处理项目架构选型
第7章 Flink时间语义及Window API篇23 节 | 94分钟
本章中,我们将从流处理过程中的三大时间语义出发,通过场景及案例分析帮助大家理解时间三兄弟是什么意思、三兄弟对于业务逻辑处理的影响、Window的分类、以及基于增量的全量的Window Function编程。
7-1 课程目录 (04:09)
7-2 时间三兄弟 (10:16)
7-3 时间三兄弟举例解释 (05:31)
7-4 初识Window (03:55)
7-5 Window分类 (08:19)
7-6 Window Assigner (04:16)
7-7 滚动窗口 (03:40)
7-8 滑动窗口 (03:20)
7-9 会话窗口 (03:04)
7-10 窗口生命周期 (04:45)
7-11 基于ProcessingTime的Non-Keyed滚动窗口实战 (11:03)
7-12 基于ProcessingTime的Keyed滚动窗口实战 (04:21)
7-13 WindowFunction概述 (04:02)
7-14 WindowFunction之ReduceFunction实战 (05:12)
7-15 WindowFunction补充 (03:04)
7-16 WindowFunction之ProcessWindowFunction实战 (10:19)
7-17 重难点总结 (04:14)
7-18 【任务题】会话窗口编程
7-19 【任务题】滑动窗口编程
7-20 【面试讨论题】数据倾斜解决方案
7-21 【面试讨论题】对WindowFunction的认识
7-22 【面试讨论题】对于时间语义的理解
7-23 【面试讨论题】Flink中的窗口分析
第8章 Flink Watermark11 节 | 64分钟
本章中将对Flink的Window编程中最核心的Watermark进行介绍。会带领大家认识,基于EventTime、Window、Watermark的综合使用,以及如何处理延迟或者乱序数据 。
8-1 课程目录 (02:57)
8-2 Watermark概述 (12:53)
8-3 基于EventTime和Watermark结合滚动窗口综合案例之没有延迟 (14:27)
8-4 基于EventTime和Watermark结合滚动窗口综合案例之有延迟 (15:16)
8-5 基于EventTime和Watermark结合滚动窗口综合案例之延迟数据丢失 (05:01)
8-6 基于EventTime和Watermark结合滚动窗口综合案例之捕获到延迟数据 (08:05)
8-7 重难点总结 (04:31)
8-8 【任务题】会话窗口编程
8-9 【任务题】滑动窗口编程
8-10 【面试讨论题】乱序数据解决方案
8-11 【面试讨论题】Flink中水印得理解

相关下载

点击下载