Java大数据实战,巧用Storm快速切入实时流处理领域

课程链接:点击获取
1. 所有课程百分百高清,完整,原画,包含所有的视频+素材+课件+源码,官方同步体验!
2. 所有课程格式MP4格式无密 可以通过网盘在线学习也可下载到本地,方便快捷!
3. 官方品质,信誉保证,本站包含全网二十多家IT机构,累计3000+课程!感谢同学们的信任与支持,保证让同学们满意
4. 所有课程都会包更新,只要官方更新本站延迟2-3天就会更新。
全网二十多家IT机构课程大全:点击获取

Java大数据实战 Storm构建实时流处理

全方位解剖大数据实时处理利器Storm,让你在流式处理领域得心应手

 

〖课程介绍〗:

Storm是实时流处理领域的一柄利器,本课程采用最新的Storm版本1.1.0,从0开始由浅入深系统讲解,深入Storm内部机制,掌握Storm整合周边大数据框架的使用,从容应对大数据实时流处理!

〖课程目录〗:

第1章 课程导学 试看3 节 | 33分钟

介绍课程相关背景,学习建议等等

  • 视频:1-1 -导学 (20:17)试看
  • 视频:1-2 -OOTB环境使用演示 (08:49)
  • 视频:1-3 -授课习惯与学习建议 (03:39)

 

第2章 初识实时流处理Storm10 节 | 66分钟

Storm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架,是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识:什么是Storm、Storm的发展史、Storm对比Hadoop的区别、Storm对比Spark Streaming的区别、Storm的优势、Storm应用现状及发展趋势、Storm应用案例分享…

  • 视频:2-1 -课程目录 (02:08)
  • 视频:2-2 -Storm是什么 (14:40)
  • 视频:2-3 -Storm发展历史之从Twitter说起 (05:47)
  • 视频:2-4 -Storm发展历史之Storm的成长 (02:52)
  • 视频:2-5 -Storm技术网站介绍 (10:38)
  • 视频:2-6 -Storm和Hadoop的区别 (06:01)
  • 视频:2-7 -Storm和Spark Streaming的区别 (06:15)
  • 视频:2-8 -Storm的优势 (04:46)
  • 视频:2-9 -Storm当前现状与发展趋势 (04:57)
  • 视频:2-10 -Storm应用案例分享 (07:29)

 

第3章 Storm核心概念 试看8 节 | 56分钟

本章节将从如下几个方面带大家深入理解Storm的核心概念:初识Storm核心概念、通过日常生活的案例来理解Storm的核心概念、根据官网的描述来理解Storm核心概念、最后通过画图讲解的方式讲解Storm的核心概念。相信通过多角度对比进行讲解Storm的核心概念,让大家掌握的更加深刻。因为Storm的核心概念的理解是后续Storm课程学习…

  • 视频:3-1 -课程目录 (01:21)
  • 视频:3-2 -初识Storm核心概念 (06:52)
  • 视频:3-3 -Storm核心概念理解记忆概述 (04:07)试看
  • 视频:3-4 -Storm核心概念理解记忆之地铁运行模型 (06:56)
  • 视频:3-5 -Storm核心概念理解记忆之Storm (05:05)
  • 视频:3-6 -Storm核心概念小结 (02:11)
  • 视频:3-7 -Storm核心概念官网详解 (20:39)
  • 视频:3-8 -图解Storm核心概念 (08:20)

 

第4章 Storm编程12 节 | 103分钟

本章节将手把手带大家搭建基于IDEA+Maven的Storm的开发环境,通过案例融合Storm编程中常用API的使用以及开发过程中的注意事项。

  • 视频:4-1 -课程目录 (02:25)
  • 视频:4-2 -Storm开发环境搭建 (18:01)
  • 视频:4-3 -Storm核心接口ISpout详解 (14:39)
  • 视频:4-4 -Storm核心接口IComponent详解 (03:12)
  • 视频:4-5 -Storm核心接口IBolt详解 (08:33)
  • 视频:4-6 -Storm求和案例编程之Spout功能实现 (11:31)
  • 视频:4-7 -Storm求和案例编程之Bolt功能实现 (04:18)
  • 视频:4-8 -Storm求和案例编程之Topology提交功能实现及测试 (11:21)
  • 视频:4-9 -Storm词频案例编程之Spout功能实现 (08:33)
  • 视频:4-10 -Storm词频案例编程之Bolt功能实现 (06:14)
  • 视频:4-11 -Storm词频案例编程之Topology提交功能实现及测试 (08:42)
  • 视频:4-12 -Storm编程注意事项 (04:26)

 

第5章 Storm周边框架使用13 节 | 113分钟

本章节将带领大家学习Storm周边常用框架的使用,比如:ZooKeeper、Kafka、Logstash、以及Logstash与Kafka的整合使用。

  • 视频:5-1 -课程目录 (01:49)
  • 视频:5-2 -JDK安装 (09:33)
  • 视频:5-3 -ZooKeeper概述及环境搭建 (17:05)
  • 视频:5-4 -ZooKeeper使用详解 (08:46)
  • 视频:5-5 -Logstash概述及部署 (06:05)
  • 视频:5-6 -Logstash使用之控制台输入输出 (04:16)
  • 视频:5-7 -Logstash使用之文件输入控制台输出 (07:36)
  • 视频:5-8 -Kafka概述 (11:34)
  • 视频:5-9 -Kafka架构及核心概念 (04:04)
  • 视频:5-10 -Kafka单节点单broker的部署及使用 (16:34)
  • 视频:5-11 -Kafka单节点多broker部署及使用 (09:55)
  • 视频:5-12 -Kafka容错性测试 (04:39)
  • 视频:5-13 -Logstash使用之整合Kafka (10:20)

 

第6章 Storm架构及部署 试看11 节 | 117分钟

本章节将学习Storm的架构以及各个核心组件的功能、并搭建Storm的单机环境和分布式环境、如何提交/查看/杀死Storm作业、Storm UI界面参数介绍

  • 视频:6-1 -课程目录 (03:41)
  • 视频:6-2 -Storm架构详解 (17:32)
  • 视频:6-3 -Storm单机部署之前置条件及解压 (08:45)
  • 视频:6-4 -Storm单机部署之启动Storm各节点及Storm UI界面详解 (16:52)
  • 视频:6-5 -改写Storm作业并提交到Storm单节点集群运行 (18:18)
  • 视频:6-6 -Storm常用命令介绍 (06:29)
  • 视频:6-7 -Storm集群部署规划 (06:05)试看
  • 视频:6-8 -Storm集群部署之软件包分发和jdk部署 (04:19)
  • 视频:6-9 -Storm集群部署之ZooKeeper分布式环境部署 (09:13)
  • 视频:6-10 -Storm集群部署之Storm集群部署及启动 (19:01)
  • 视频:6-11 -提交Storm作业到集群中运行&目录树介绍 (06:39)

 

第7章 并行度9 节 | 54分钟

本章节将重点讲解Storm的优化中的核心:并行度调整(worker数量、executor数量、task数量),将通过对代码的修改并提交到Storm环境上去运行,结合Storm UI上展示的参数效果来进行调优,让大家对于Storm的并行度有更加深入的理解,本章节是学习和面试过程中重中之重,务必掌握。

  • 视频:7-1 课程目录_ (01:44)
  • 视频:7-2 -并行度概念详解 (13:43)
  • 视频:7-3 -如何将Storm集群模式更改为单机模式 (03:37)
  • 视频:7-4 -Storm作业运行UI页面上的参数详解 (04:21)
  • 视频:7-5 -worker数量的设置 (06:52)
  • 视频:7-6 -executor数量的设置 (05:14)
  • 视频:7-7 -task数量的设置 (04:56)
  • 视频:7-8 -acker的设置 (03:27)
  • 视频:7-9 -并行度案例讲解及并行度动态调整 (09:53)

 

第8章 分组策略6 节 | 37分钟

本章节将带来大家通过代码以及UI参数展现的方式来学习Storm中的常用分组策略:Shuffle分组策略、Field分组策略、All分组策略。本章节也是Storm开发过程中务必要掌握的部分。

  • 视频:8-1 -课程目录 (01:06)
  • 视频:8-2 -Stream Grouping概述 (14:03)
  • 视频:8-3 -Shuffle Grouping开发详解 (07:28)
  • 视频:8-4 -FieldGrouping开发详解 (07:23)
  • 视频:8-5 -AllGrouping开发详解 (04:31)
  • 视频:8-6 -Stream Grouping其他 (01:42)

 

第9章 Storm可靠性3 节 | 25分钟

本章节将从如下方面来讲解Storm框架的可靠性:Worker进程、Supervisor进程、nimbus进程、节点、以及消息处理的确认机制(ack/fail)。本章节是面试过程中经常会被考核到的。

  • 视频:9-1 -课程目录 (01:53)
  • 视频:9-2 -Storm进程级别的容错 (10:18)
  • 视频:9-3 -Storm的ack和fail机制 (12:08)

 

第10章 DRPC6 节 | 69分钟

本章节将讲解什么是RPC机制、Hadoop中的RPC使用介绍、如何开发Storm的基于本地和远程模式的DPRC编程

  • 视频:10-1 -课程目录 (01:37)
  • 视频:10-2 -RPC原理图解 (13:56)
  • 视频:10-3 -基于Hadoop的RPC实现.mp4 (19:09)
  • 视频:10-4 -Storm DRPC概述 (09:55)
  • 视频:10-5 -Storm Local DRPC开发 (10:51)
  • 视频:10-6 -Storm Remote DRPC及客户端代码开发 (12:33)

 

第11章 Storm整合其他大数据框架的使用12 节 | 96分钟

本章节将讲解Storm如何整合Redis、JDBC、HDFS、HBase、ES等常用的大数据框架综合使用。在生产环境中,Storm都是需要整合周边框架一起配合使用,各自完成自己的职责,进而完成大数据的实时流处理项目

  • 视频:11-1 -课程目录 (01:24)
  • 视频:11-2 -Storm整合Redis使用概述 (11:12)
  • 视频:11-3 -Storm整合Redis编程开发 (09:37)
  • 视频:11-4 -Storm整合jdbc概述 (10:52)
  • 视频:11-5 -Storm整合JDBC编程开发 (06:24)
  • 视频:11-6 -Storm整合HDFS使用概述 (16:37)
  • 视频:11-7 -HDFS环境快速搭建 (03:22)
  • 视频:11-8 -Storm整合HDFS编程开发 (09:10)
  • 视频:11-9 -Storm整合HBase概述 (06:24)
  • 视频:11-10 -HBase环境快速搭建 (05:49)
  • 视频:11-11 -Storm整合HBase编程开发 (13:00)
  • 视频:11-12 -Storm整合Elasticsearch概述 (01:43)

 

第12章 Storm综合项目实战20 节 | 165分钟

本章节将带领大家使用Logstash+Kafka+Storm+高德地图来实现基于一个交通数据的热力图的实时展示项目,通过该项目使得大家能够具备和掌握如何使用Storm来架构一个实时流处理项目的能力

  • 视频:12-1 -课程目录 (01:50)
  • 视频:12-2 -项目概述 (06:58)
  • 视频:12-3 -如何采集实时区域人流量数据.mp4 (12:14)
  • 视频:12-4 -项目架构 (08:58)
  • 视频:12-5 -高德地图API基本使用 (17:25)
  • 视频:12-6 -高德地图API常用工具介绍 (06:32)
  • 视频:12-7 -高德地图热力图静态数据展示 (08:46)
  • 视频:12-8 -Storm整合Kafka原理 (09:37)
  • 视频:12-9 -Storm整合Kafka功能开发 (13:37)
  • 视频:12-10 -Storm整合Kafka功能测试 (11:55)
  • 视频:12-11 -Logstash和Kafka的整合注意事项详解 (09:23)
  • 视频:12-12 -数据源产生器开发 (04:58)
  • 视频:12-13 -打通整条实时流处理流程链路 (09:20)
  • 视频:12-14 -项目处理及表结构设计 (08:34)
  • 视频:12-15 -Storm处理结果存储到数据库中 (03:49)
  • 视频:12-16 -通过SQL完成我们的最终结果统计 (05:59)
  • 视频:12-17 -基于SpringBoot构建Web项目 (10:11)
  • 视频:12-18 -动态获取数据并在高德地图上展示出热力图 (05:40)
  • 视频:12-19 -添加统计的时间范围并在热力图上展示 (03:31)
  • 视频:12-20 -项目扩展 (04:55)

 

第13章 课程总结1 节 | 9分钟

对课程回顾总结

  • 视频:13-1 课程总结及后续课程计划 (08:58)

 

〖视频截图〗:

声明:1、IT王子是一个资源分享和技术交流平台,本站全部资料仅供个人学习和研究使用。 2、帖子内容作者同本站拥有相关版权 3、任何个人或组织,在未征得本站以及该贴作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。4、如若本帖作者内容侵犯了原著者的合法权益,请参考 侵权投诉 按要求提供相应版权证明材料,本站审核通过后会立即予以处理。

免责声明: 1、本站信息来自网络,版权争议与本站无关 2、本站所有主题由该帖子作者发表,该帖子作者与本站享有帖子相关版权 3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和本站的同意 4、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责 5、用户所发布的一切软件的解密分析文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。 6、您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。 7、请支持正版软件、得到更好的正版服务。 8、如有侵权请立即告知本站(邮箱:jaydao_cn@163.com),本站将及时予与删除 9、本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章和视频仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。
简道IT教程 » Java大数据实战,巧用Storm快速切入实时流处理领域

发表评论

提供最优质的资源集合

立即查看 了解详情