The Future

Stay hungry,stay foolish.


  • 首页

  • 归档125

  • 分类15

  • 标签63

  • 干货

  • 关于

  • 搜索

Apache Flink 零基础入门(七):Table API 编程

发表于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

文章概述:本文主要包含三部分:第一部分,主要介绍什么是 Table API,从概念角度进行分析,让大家有一个感性的认识;第二部分,从代码的层面介绍怎么使用 Table API;第三部分,介绍 Table API 近期的动态。文章结构如下:

阅读全文 »

Apache Flink 零基础入门教程(六):状态管理及容错机制

发表于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

本文主要分享内容如下:

  • 状态管理的基本概念;
  • 状态的类型与使用示例;
  • 容错机制与故障恢复;
阅读全文 »

Apache Flink 零基础入门(五):流处理核心组件Time

发表于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

1. Window & Time 介绍

Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。

阅读全文 »

Apache Flink 零基础入门(四):客户端操作的 5 种模式

发表于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

1.环境说明

在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行,今天的课程主要是讲 Flink 的客户端操作。本次讲解以实际操作为主。这次课程是基于社区的 Flink 1.7.2 版本,操作系统是 Mac 系统,浏览器是 Google Chrome 浏览器。有关开发环境的准备和集群的部署,请参考「开发环境搭建和应用的配置、部署及运行」的内容。

阅读全文 »

Apache Flink 全领域干货合集

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

【重要资讯】

《重磅揭晓!Flink Forward Asia 2019 议程完整出炉》
《史上超强阵容!大数据及人工智能领域顶级盛会,Flink Forward Asia 2019 不容错过!》
《阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点》
《修改代码150万行!与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更?》杨克特(鲁尼)
《Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能》Flink社区

阅读全文 »

流式处理术语解释Exactly-once与Effectively-once

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎(SPE)包括 Apache Storm、Apache Flink、Heron、Apache Kafka(Kafka Streams)以及 Apache Spark(Spark Streaming)等。处理语义是围绕 SPE 最受关注,讨论最多的话题之一,其中“严格一次(Exactly-once)”是很多引擎追求的目标之一,很多 SPE 均宣称可提供“严格一次”的处理语义。

阅读全文 »

流处理系统中的“exactly Once”语义保证

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

前言

最近在学习一些流处理相关的知识,对比与笔者接触比较多的离线处理系统,实时流处理的有些地方还是比较有意思的。在这里面,最常被人提到的词应该是“Exactly Once”语义 ,在工作面试中,如果做过实时流系统,肯定免不了被问到“xx框架是如何做到Exactly Once的”?笔者最近在阅读Spark Streaming的官方文档中,提到了这一点,于是来做个小小的总结归纳。如果感兴趣的同学,请继续往下阅读。

阅读全文 »

零基础入门:从0到1学会apache Flink

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:
  1. Flink是如何部署的

  2. Flink 和Spark、Storm区别

  3. Flink特点

    阅读全文 »

Apache Flink 零基础入门(三):DataStream API 编程

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

前面已经为大家介绍了 Flink 的基本概念以及安装部署的过程,从而希望能够帮助读者建立起对 Flink 的初步印象。本次课程开始,我们将进入第二部分,即 Flink 实际开发的相关内容。本次课程将首先介绍 Flink 开发中比较核心的 DataStream API 。我们首先将回顾分布式流处理的一些基本概念,这些概念对于理解实际的 DataStream API 有非常大的作用。然后,我们将详细介绍 DataStream API 的设计,最后我们将通过一个例子来演示 DataStream API 的使用。

阅读全文 »

Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

发表于 2021-01-19 | 更新于 2021-01-20 | 分类于 大数据 | 评论数: | 阅读次数:

前言

本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。

阅读全文 »
123…13
Daniel X

Daniel X

專注于大数据技術,分享干货
125 日志
15 分类
63 标签
GitHub E-mail Weibo QQ
粤ICP备18110871号 © 2017 – 2021 dudefu
0%