Protocol Buffers

Protocol Buffers（简称 Protobuf）是 Google 开源的语言中立、平台中立的数据序列化机制，常被用于通信协议和数据存储场景。与传统 XML 相比，Protobuf 序列化后体积缩小 3~10 倍，解析速度快数十倍，同时通过强类型 Schema 定义保证了跨语言、跨平台的数据一致性。Google 内部从 2008 年起将 Protobuf 用于几乎所有内部 RPC 协议和数据存储，生态覆盖 C++、Java、Python、Go、Rust、Kotlin 等十余种主流语言。

项目简介

Protocol Buffers 由 Google 于 2008 年开源，其设计目标是用更紧凑、更快速的二进制格式替代 XML 和 JSON，提供从 Schema 定义到多语言代码生成的全链路解决方案。开发者只需在 .proto 文件中定义一次数据结构，Protobuf 编译器（protoc）即可为各语言生成对应的序列化/反序列化代码，确保不同服务之间数据格式的严格一致。gRPC、Envoy、TensorFlow 等大量基础设施项目均以 Protobuf 为核心数据格式。

核心功能

紧凑二进制序列化：Protobuf 将数据编码为高效的二进制格式（VarInt 变长整数、小端序编码），序列化后的字节数远小于等效 JSON，例如一个包含整型和字符串的消息体，Protobuf 序列化结果通常只有 JSON 的 1/5~1/3 大小，显著降低网络传输和存储成本。

多语言代码自动生成：定义好 .proto 文件后，运行 protoc 编译器即可生成 C++、Java、Python、Go、Rust、Kotlin、Objective-C、Dart、C#、Ruby、PHP 等语言的读写代码，无需手动编写序列化逻辑，各语言生成的代码接口一致，跨服务调用时无需关心对方使用何种语言。

强类型 Schema 定义：在 .proto 文件中定义字段编号、字段类型、默认值、必填/可选等约束，编译器在编译阶段即可检测字段类型不匹配、字段编号冲突等问题，比 JSON Schema 更严格，比 GraphQL Schema 更轻量。

向前兼容与向后兼容：Protobuf 通过字段编号而非字段名进行序列化，旧的 .proto 文件增加新字段时，已部署的服务在解析时只需忽略未知编号即可，不会因字段增删而崩溃，实现了无感知的向前向后兼容。

gRPC 原生支持：Protobuf 是 gRPC（Google 开源的高性能 RPC 框架）的默认数据格式和接口定义语言（IDL），一个 .proto 文件同时定义了服务接口（service）和数据结构（message），编译器可一键生成 gRPC 客户端/服务端骨架代码。

技术实现

Protobuf 的编码核心是基于 TLV（Tag-Length-Value）变体——每个字段由 (field_number << 3 | wire_type) 组成的 Tag、Length（仅可变长类型需要）、Value 三部分构成。整型采用 VarInt 变长编码（小值用 1 字节，大值自动扩展），字符串/字节数组用 Length-Prefixed 格式。

解析时按序读取 Tag 并查表获知字段编号和数据类型，再根据类型读取对应长度值。Tag 编码本身也是 VarInt，因此低编号字段极多的情况下也能保持紧凑。.proto 编译器是 Go 语言实现的单二进制工具（protoc），通过插件机制调用各语言后端生成代码，语言后端实际上是一组独立的 protoc 插件。

快速上手

第一步，编写 .proto 文件（定义数据结构）： syntax = "proto3"; message Person { string name = 1; int32 id = 2; string email = 3; }

第二步，安装 protoc 编译器（从 GitHub releases 下载对应平台版本）；

第三步，安装目标语言插件（如 go install google.golang.org/protobuf/cmd/protoc-gen-go@latest）；

第四步，生成代码并使用： protoc --go_out=. --go-grpc_out=. person.proto // 生成 person.pb.go，调用 Person{Name:"张三", Id:1}.Marshal() 序列化

适用人群

后端工程师：构建微服务间 RPC 通信时，用 Protobuf 定义跨语言接口格式，比 JSON 更高效、比 Thrift 文档更清晰； 基础架构工程师：设计二进制存储格式或网络协议时，Protobuf 的自描述性和多语言支持大幅降低实现成本； 全栈开发者：在前后端通信、数据持久化层使用 Protobuf，可显著降低数据传输量，尤其在移动端和弱网环境下效果明显。