Clink

Clink 是一个采用现代 C++23 编写的嵌入式优先、Arrow 原生的流处理引擎，设计理念是将复杂的分布式流处理能力浓缩成一个可以直接在进程中运行的轻量库。开发者可以用一条命令 clink run pipeline.sql 在单机上执行完整的流处理管道，从启动到输出首个结果仅需约 155 毫秒，无需任何守护进程；同一份 SQL 文件不做任何修改即可提交到 Coordinator/Worker 分布式集群，获得水平扩展、故障转移和动态重缩容能力。引擎使用 Arrow 作为状态数据结构，检查点和快照以开放的 Arrow IPC 格式存储，可以直接被 pyarrow、DuckDB 或 Polars 打开，也支持导出为 Parquet 和 Iceberg 格式，运行中作业的实时状态还支持通过 HTTP 直接查询。Clink 支持精确一次（exactly-once）语义、事件时间处理和确定性重放，其飞行记录器会捕获每个检查点周期内各算子的输入记录，离线重放时能够字节级精确地复现历史任意时刻的作业状态。在五节点集群上运行 17 个 Nexmark 查询的基准测试中，Clink 处理每条事件的 CPU 消耗比同类 JVM 流处理器低 1.9 倍到 5.3 倍（中位数 2.45 倍），且输出结果完全一致。整个引擎仅包含一个静态二进制文件，冷启动毫秒级，无需任何托管运行时，适合对性能和运维复杂度有严格要求的实时数据场景。