Flink-文章-Go语言中文社区

0推荐

1895浏览

Python一行代码搞定炫酷可视化，你需要了解一下Cufflinks

点击上方“Python数据科学”，选择“星标”公众号重磅干货，第一时间送达作者：xiaoyu，半路转行数据前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyternotebook可以非常灵活方便地展现

0

0推荐

3927浏览

Flink读取Kafka报错：KafkaException ByteArrayDeserializer is not an instance Deserializer

1.视界 2.背景做flink读取kafka报错 org.apache.kafka.common.KafkaException:Failedtoconstructkafkaconsumer atorg.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:765) atorg.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaC

0

0推荐

1848浏览

Apache Flink

ApacheFlink论文简读 ApacheFlink™:StreamandBatchProcessinginaSingleEngine Flink不同于Spark的batchprocessing，它着眼于datastreamingprocessing。它的输入可被看做一条无穷的stream，将函数应用到stream上，再输出。Flink底层是流式处理，延迟更小，但是在某些时候batchprocessing可能更有效，因此Flink在上层也基于流式处理构建了batch处理，它通过记录流式处理的startp

0

0推荐

1762浏览

如何正确使用Flink Connector？

本文主要分享Flinkconnector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下FlinkConnector有哪些。第二部分会重点介绍在生产环境中经常使用的kafkaconnector的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。 FlinkStreamingConnector Flink是新一代流批统一的计算引擎，它需要从不同的第三方存储引擎中把数据读过来，进行处理，然后再写出到另外的存

0

0推荐

1347浏览

Flink中异步AsyncIO的实现 (源码分析)

先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好然后来看一下，Flink中异步io主要分为两种　　一种是有序Ordered 　　一种是无序UNordered 主要区别是往下游output的顺序（注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的），有序的会按接收的顺序继续往下游output发送，无序就是谁先处理完

0

0推荐

1531浏览

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

简介：众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度降低HDFS压力的方法--小文件合并。作者：邱从贤（山智）背景不管使用FsStateBackend、Ro

0

0推荐

4864浏览

Flink 远程提交任务 java.lang.ClassCastException LinkedMap

问题来源 Flink本地提交任务运行正常，然后打包成jar在远程的Flink上运行失败。注意：打包的jar不能通过java-jar运行，即使你的jar和Flink在一台机器上。例如 Flink安装在E:softwareflink-1.7.2-bin-scala_2.12flink-1.7.2， jar放在E:softwareflink-1.7.2-bin-scala_2.12flink-1.7.2examplesstreaming 需要先进入Windowscmd E:softwareflink-1.7

0

0推荐

1794浏览

弄清Flink1.8的远程过程调用(RPC)

基于Flink1.8版本，分析Flink各节点之间的RPC实现：介绍RPC相关的主要接口 RPC节点之间的通信方式 Flink老版本处理Rpc时，各节点通过继承FlinkActor接口，接收Actor消息，根据消息类型进行不同的业务处理。此种方式将流程业务和具体通信组件耦合在一起，不利于后期更换通信组件(如使用netty)，因此Flink引入了RPC调用，各节点通过GateWay方式回调，隐藏通信组件的细节，实现解耦。 RPC

0

0推荐

1414浏览

如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台？

Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好的驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会（北京站）2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测

0

0推荐

1325浏览

大数据架构如何做到流批一体？【对于Flink等流批一体的概念做了很好的澄清!】

导读：大数据与现有的科技手段结合，对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业，在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战？目前，有哪些主流大数据架构模式及其发展？今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。大

0

0推荐

2260浏览

Flink原理,实战与性能优化读书笔记(三) 三种时间&水位线机制

第四章时间概念与Watermark flink根据时间产生的位置不同，把时间区分为三种时间概念事件生成时间(eventTime) 数据从终端产生，或者从系统中产生的时间事件接入时间(IngestionTime) 数据经过中间件传入到flink之后，在dataSource中接入的时候会生成时间接入时间。事件处理时间(ProcessingTime) 数据在各个算子实例执行转换操作过程中，算子实例所在系统的时间为数据处理时间。解决问

0

0推荐

1644浏览

Flink原理，实战与性能优化读书笔记(一)

面试官如果问道，为什么使用Flink? 1.Flink使用有状态流式计算模型实现了高吞吐，低延迟，高性能兼具实时流式计算框架。什么是有状态计算？流式计算中算子的中间结果数据保存在内存或者文件系统当中，等下一个事件进入算子的时候，可以从之前的状态中获取中间结果来计算当前结果。从而无须每次都基于全部的原始数据来统计结果。这种方法降低了数据计算过程中的资

0

0推荐

2315浏览

Flink原理，实战与性能优化读书笔记(四) watermark+window

遇到以下问题：把那个灰色的import引入就好指定TimeStamp与生成Watermarks 两种方法指定： SourceFunction直接定义Timestamps与watermarks collectWithTimestamp()生成时间戳第一个参数指数据，第二个参数是时间戳 emitWatermark创建watermark 在addSource中通过实现SourceFunction接口,复写run方法 sourcecode importorg.apache.flink.streaming.ap

0

0推荐

1755浏览

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用。在Alibaba内部我们使用的存储主要是HDFS，当同一个集群的Job到达一定数量后，会对HDFS造成非常大的压力，本文将介绍一种大幅度降低HDFS压力的方法--小文件合并。背景不管使用FsStateBackend、RocksDBStateBackend还是NiagaraStateBackend，F

0

0推荐

1466浏览

美团点评基于 Flink 的实时数仓平台实践

一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就已经基于Storm实时计算引擎实现了初步的平台化。2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。相比于Storm和SparkStreaming，Flink在很多方面都具有优势。这个阶段我们进行了深度的平台化，主要关注点是安全、

0

Python一行代码搞定炫酷可视化，你需要了解一下Cufflinks

Flink读取Kafka报错：KafkaException ByteArrayDeserializer is not an instance Deserializer

Apache Flink

如何正确使用Flink Connector？

Flink中异步AsyncIO的实现 (源码分析)

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

Flink 远程提交任务 java.lang.ClassCastException LinkedMap

弄清Flink1.8的远程过程调用(RPC)

如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台？

大数据架构如何做到流批一体？【对于Flink等流批一体的概念做了很好的澄清!】

Flink原理,实战与性能优化读书笔记(三) 三种时间&水位线机制

Flink原理，实战与性能优化读书笔记(一)

Flink原理，实战与性能优化读书笔记(四) watermark+window

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

美团点评基于 Flink 的实时数仓平台实践

相关标签

推荐用户