Flink-文章-Go语言中文社区

0推荐

4859浏览

Flink 远程提交任务 java.lang.ClassCastException LinkedMap

问题来源 Flink本地提交任务运行正常，然后打包成jar在远程的Flink上运行失败。注意：打包的jar不能通过java-jar运行，即使你的jar和Flink在一台机器上。例如 Flink安装在E:softwareflink-1.7.2-bin-scala_2.12flink-1.7.2， jar放在E:softwareflink-1.7.2-bin-scala_2.12flink-1.7.2examplesstreaming 需要先进入Windowscmd E:softwareflink-1.7

0

0推荐

1785浏览

弄清Flink1.8的远程过程调用(RPC)

基于Flink1.8版本，分析Flink各节点之间的RPC实现：介绍RPC相关的主要接口 RPC节点之间的通信方式 Flink老版本处理Rpc时，各节点通过继承FlinkActor接口，接收Actor消息，根据消息类型进行不同的业务处理。此种方式将流程业务和具体通信组件耦合在一起，不利于后期更换通信组件(如使用netty)，因此Flink引入了RPC调用，各节点通过GateWay方式回调，隐藏通信组件的细节，实现解耦。 RPC

0

0推荐

1405浏览

如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台？

Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好的驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会（北京站）2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测

0

0推荐

1324浏览

大数据架构如何做到流批一体？【对于Flink等流批一体的概念做了很好的澄清!】

导读：大数据与现有的科技手段结合，对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业，在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战？目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。大

0

0推荐

2254浏览

Flink原理,实战与性能优化读书笔记(三) 三种时间&水位线机制

第四章时间概念与Watermark flink根据时间产生的位置不同，把时间区分为三种时间概念事件生成时间(eventTime) 数据从终端产生，或者从系统中产生的时间事件接入时间(IngestionTime) 数据经过中间件传入到flink之后，在dataSource中接入的时候会生成时间接入时间。事件处理时间(ProcessingTime) 数据在各个算子实例执行转换操作过程中，算子实例所在系统的时间为数据处理时间。解决问

0

0推荐

1641浏览

Flink原理，实战与性能优化读书笔记(一)

面试官如果问道，为什么使用Flink? 1.Flink使用有状态流式计算模型实现了高吞吐，低延迟，高性能兼具实时流式计算框架。什么是有状态计算？流式计算中算子的中间结果数据保存在内存或者文件系统当中，等下一个事件进入算子的时候，可以从之前的状态中获取中间结果来计算当前结果。从而无须每次都基于全部的原始数据来统计结果。这种方法降低了数据计算过程中的资

0

0推荐

2307浏览

Flink原理，实战与性能优化读书笔记(四) watermark+window

遇到以下问题：把那个灰色的import引入就好指定TimeStamp与生成Watermarks 两种方法指定： SourceFunction直接定义Timestamps与watermarks collectWithTimestamp()生成时间戳第一个参数指数据，第二个参数是时间戳 emitWatermark创建watermark 在addSource中通过实现SourceFunction接口,复写run方法 sourcecode importorg.apache.flink.streaming.ap

0

0推荐

1746浏览

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度降低HDFS压力的方法--小文件合并。背景不管使用FsStateBackend、RocksDBStateBackend还是NiagaraStateBackend，F

0

0推荐

1462浏览

美团点评基于 Flink 的实时数仓平台实践

一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就已经基于Storm实时计算引擎实现了初步的平台化。2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。相比于Storm和SparkStreaming，Flink在很多方面都具有优势。这个阶段我们进行了深度的平台化，主要关注点是安全、

0

0推荐

5732浏览

年度回顾 | 2019 年的 Apache Flink

2019年即将落下帷幕，这一年对于ApacheFlink来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过1万封邮件，JIRA中超过4千个tickets，以及GitHub上超过3千个PR，ApacheFlink迎来了快速的发展。笔者作为一名全职在Flink社区工作的成员，表示想要跟上社区的最新状态着实不太容易。本文笔者将带大家一起回顾下Flink所经过的2019年，感受Flink蓬勃发展的同时，我们

0

0推荐

1614浏览

阿里、滴滴、顺丰技术专家：大数据处理引擎，为什么Flink独得恩宠？

ApacheFlink：一个面向分布式数据可以进行流处理和批量数据处理的开源计算平台。将批流统一，把批处理作为一种特殊的流处理，只是它的输入数据流被定义为有界的，这就是Flink的特别之处。如果说下一代大数据处理引擎，谁主沉浮？Flink必有一争之力！那么，为了跟进技术圈大佬的脚步，为了自己的技术人生，学习是不能停止的。8月26日13:00-17:30，由FlinkChina主办，【实时计

0

0推荐

1682浏览

【开源大数据处理技术】阿里、百度、腾讯都选择 Flink，它到底有什么魔力？

开源大数据处理技术从Hadoop开始，经历了Storm，Spark，现在又到Flink的发展过程，计算模型也经历了从批到流的转换，目前的新趋势也已经开始朝着批流融合方向演进。从媒体的最新资讯推送，到购物狂欢的实时数据大屏，实时计算已经应用到了多个生活、工作场景，随着业务的快速增长，我们对实时计算的需求越来越高。可用于实时计算的开源数据计算引擎去有多种选择，比

0

0推荐

1690浏览

阿里、腾讯、华为、滴滴等技术大牛，携Flink在国家会议中心等你，不仅仅是流计算！

十五年前，彼时Google的“三驾马车”初登舞台，一时间风头无两。关于GFS、MapReduce和BigTable的三篇技术论文，也成为后来大数据发展的重要基石。ApacheFlink（以下简称Flink），这款被普遍认为最有可能成为下一代大数据计算引擎的开源软件，之所以备受瞩目，正是因为它惊人的潜力：真正实现实时数据分析、分析海量历史数据、极大地简化数据处理流程。最让人惊喜的是，Flink用

0

0推荐

2008浏览

Flink：阿里、菜鸟、有赞、袋鼠云……技术界大牛齐聚，给程序员送门票+双肩包！

“Flink又去上海了！” 11月4日13:30-17:30，由FlinkChina主办，【计算之美，何止于快】FlinkChinaMeetup 将在上海市徐汇区田林路200号C座一楼举办！【报名见文末】一套组合拳打下来，Flink这个起步较晚的选手开始了冲刺，在流计算的赛道上被程序员所瞩目。 2018年8月21日，《Flink基础教程》出版； 2018年9月19日，Flink论坛首次加入云栖大会； 2018年10月12日，ApacheFlink商业公司dataA

0

0推荐

1068浏览

阿里巴巴为什么选择Apache Flink？

本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。合抱之木，生于毫末随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和

0