介绍对于Flink 来说，需要进行大部分的IO,以及保证更高的吞吐降低GC 压力，需要自己管理一套内存，以及还需要自己的序列化，因为序列化我们知道他的数据结构，所以自己实现一套来说性能会更好，序列化也是需要使用内存的，所以flink 创作了MemorySegment MemorySegmentM..

简介从单一数据源过来之后，需要跟具体的某个数据源，或者维度信息就行一个join操作，或者其他操作，就会涉及到Flink 与外部系统的交互。但是在与外部系统交互的过程中，难免会遇到一些耗时比较久的操作，所以异步IO 就显得有必要了，用于提高整个系统的吞吐 如下，flink async io 的一个..

Flink 作为一个流计算引擎,并且能够支持exactly once failure over ,中间状态起了不少的作用 ###State 的类型 Operator State 每一个算子自己的的一个状态,由系统来管理 KeyedStata 由使用方的状态 从State的存储来看,分为Hea..

回顾一下之前使用Netty 进行开发的一个百万物联网设备网关,其中我觉得里面最好用的就是Netty 的ByteBuf,从源码整体的设计回顾一下 ByteBuf 分类在Netty中他的ByteBuf 一共有 有4 种类型吧从他所在的内存区域来划分: Heap java 堆内存 Off Heap ..

Flink job 的流程As we knonw ,Flink 编写代码的一共就分为三步 定义 source 数据源 对source 进行操作(map,fliter,flatmap process etc) 定义一个sink,数据处理完结果输出地 当然这仅仅是一个大体主要的流程,还有一些去其..

流程flink 1.4 以前都是一直在宣传自己是能够保证 Exactly-Once,但是这里的exactly once 的语义是指的它自己的内部的一个保证,即是输入数据(source)然后计算(operator),最后输出(sink) 这个内部是不会有重复的计算或者漏掉数据没有计算的,直到1.4..

无约束优化–实践假设满足如下方程 f(x,y) = x² + 3y² 需要求得改方程的最小值使用梯度下降法进行求解 我们使用MATLAB 进行一个梯度下降求解一些初始化代码x=-3:0.1:3;y=-3:0.1:3;[X,Y]=meshgrid(x,y); fsurf=X.^2+3*Y..

自己实现数据库（4）优化器join cast核心 类 JoinOptimizer public double estimateJoinCost(LogicalJoinNode j, int card1, int card2, double cost1, double cos..