解读核心Maintainer观点｜Presto 不只是版本升级！从查询引擎到湖仓执行层，AI Infra 新方向

最近看了InfoQ上的一篇文章《Presto 的再定位从查询引擎到下一代数据湖执行层》了解了从核心Maintainer视角观察到的Presto及整个数据基础设施行业范式的迁移深有感触。对于做数据开发、湖仓架构或AI工程的同学来说Presto的这次变化可能直接影响你未来的技术选型和工作效率——它不再是单纯的查询引擎而是正在重构数据处理的核心逻辑。但更让我在意的其实是它的“表达方式”。如果你平时看过不少数据基础设施相关的文章可能会有一种熟悉的感觉什么都能做什么都领先性能随便提升一个数量级架构没有边界能力几乎不需要取舍很多内容更像是能力罗列 结论先行但这篇文章很不一样。它给人的第一感受反而是克制。没有刻意放大能力没有回避系统边界也没有试图把 Presto 解释成“万能解”相反它反复在强调一件事系统是在“约束中设计”的。包括为什么是 execution layer而不是继续强化 query engine为什么引入一些能力同时明确放弃或延后另一些路径在数据湖、事务、AI workload 之间Presto 的边界如何被刻意“收紧” 这些内容其实比“新增了什么功能”更有价值。因为它提供的不是答案而是一种如何给系统“划边界做取舍”的思考方式。而这恰恰是我们平时最难获得、但最值得学习的部分。引言先简单铺垫一下背景PrestoDB 作为大数据领域主流的交互式查询引擎一直以“快速查询”为核心优势最早由 Meta 开源并在 Meta、Uber、ByteDance 等等公司实现大规模落地长期运行在全球最大规模的数据湖场景中支撑 PB 级数据的交互式分析与实时洞察。同时其社区汇集了来自 Meta、IBM、Uber、ByteDance、Alluxio、Denodo 等一众公司的核心贡献者是一个真正由多家大厂共治的开源社区并非由单一商业化公司来主导和推动。如果你近期只是扫了一眼Presto的最新release note很可能会得出一个简单结论无非是增加了很多厉害的特性比如向量检索、LanceDB connector、基于IVM的物化视图查询缝合算法、Iceberg 多语句事务等等。但如果把这两个版本的更新放在一起仔细分析你会发现一件更值得关注的事这些变化可能根本不是单纯的“feature 堆叠 增强”。而是Presto 正在悄悄改变自己的“物种”。这不是简单的优化不是局部的增强而是一种更根本的变化从“查询引擎”进化成了“湖仓数据执行层execution layer”并正在加速向“AI Data Infra”AI数据基础设施演化。简单说湖仓数据执行层就是从“只负责查数据”变成“能管数据、能处理复杂流程、能适配AI需求的核心执行中枢”这也是我们今天解读的核心重点。一、重点不是新增功能而是Presto的核心职责变了大多数系统的演进路径其实都很线性性能更高一点功能更全一点生态更丰富一点 但这一切演进都有一个通常不会被打破的前提系统的核心职责是什么而这一次Presto改变的恰恰是这个根本前提。过去它的角色很清晰一个“读数据”的系统你写SQL它负责把数据算出来仅此而已——这也是我们过去使用Presto的核心场景比如交互式查询、报表生成等。但现在这个前提正在被替换为系统不仅要读数据还要“控制数据、参与数据、塑造数据”。如果你做过数据湖会知道这意味着什么对新手同学也简单科普下数据不再只是存储在磁盘上的文件而是带事务、版本、分支的“结构化对象”——比如你可以像Git一样管理数据版本回滚错误操作数据修改与全生命周期管理成为系统的核心路径而不是“查询”的附属功能 一旦走到这一步系统的角色就不再是单纯的query engine查询引擎而是湖仓数据执行层execution layer对我们开发者来说这意味着未来用Presto不仅能查数据还能直接在上面做数据治理、版本管理不用再跨多个系统切换。二、比功能更关键的信号数据处理范式在变很多人会把注意力放在这些具体功能上MERGE语句支持多语句事务Iceberg V3适配rewrite_data_files操作但这些更像是这场变革的“表象”。真正更值得关注的是一个关键的设计选择Presto 没有继续把一切塞进 SQL而是引入了 Distributed Procedure分布式执行存储过程。表面上看只是一种语法形式例如CALLiceberg.system.rewrite_data_files(...)但它背后改变的是系统处理数据问题的范式——这对我们日常开发的影响很大。SQL的本质是描述“我要什么结果”不用关心系统怎么实现但现实中的数据问题越来越多是“过程式”的比如多阶段联动的复杂逻辑比如先清洗数据、再关联表、最后写入目标库需要维护中间状态的处理流程比如实时计算中的窗口统计多任务的编排与调度 这些本质上不是query查询而是job作业 / pipeline数据管道所以这里真正的变化是Presto 承认不是所有数据问题都应该用 SQL 表达。这一步对我们开发者的实际意义在于把“数据操作”从“查询语义”中解耦各司其职——查询用SQL复杂流程用Procedure为复杂数据流程提供承载空间不用再勉强用SQL拼凑逻辑比如多阶段清洗为AI / 数据工程workload打开入口后续可以直接在Presto上编排AI相关流程**⚠️ 重要提醒**如果不结合Presto的执行模型去理解这一变化很容易把它当成简单的“语法差异”但实际上这是系统能力边界的重构未来会直接影响我们的开发方式。三、另一个关键转折系统开始“替你做决定”减少手动操作过去我们使用SQL引擎本质是人负责决策写SQL、指定执行路径、选择查询方式系统负责执行但现在你会看到一组关键变化正在Presto中逐步落地对我们开发者来说最大的好处就是“省时间”查询自动改写不用手动优化SQL系统会自动调整语句提升执行效率多执行路径选择系统根据数据量、硬件情况自动选择最优执行方式物化视图自动匹配不用手动指定使用哪个物化视图系统会自动匹配加速查询staleness控制自动控制数据时效性平衡查询速度和数据新鲜度不用手动配置这些能力组合起来本质上是在做一件事把“如何执行”这件事从人的手中逐步收回交给系统自主决策。 这意味着系统正在从单纯的执行器executor演进为智能的决策者decision maker这不是简单的性能优化而是数据处理控制权的迁移——我们从“手动调优者”变成“需求定义者”效率会大幅提升。 但有一件事没有变放心在讨论这些变化时有一个问题很容易被误解Presto是否正在“放弃”自己作为查询引擎的核心优势答案其实很明确不会而且这一核心优势正在被持续强化。从最近的release note可以看到另一条同样重要但不那么显眼的主线是优化器能力持续增强——查询更快、更省资源执行性能不断提升——应对海量数据的能力更强查询路径持续被优化——减少手动调优的成本换句话说“交互式即时查询”这件事不仅没有被弱化反而在被持续打磨。这意味着Presto当前的演进并不是用新的能力替代旧的能力而是在保持查询引擎核心优势的前提下向更大的系统边界扩展——既保留“快查”的优势又新增“管数据、处理复杂流程”的能力。 这也是为什么它可以一边向execution layer执行层演进一边仍然保持在查询性能上的竞争力对我们来说相当于“一个工具多种用途”不用再部署多个系统。四、AI能力不只是新增功能更是数据形态的重构很多人看到Presto新增的向量能力会自然理解为“支持向量检索了没什么大不了”但如果只停留在这个层面其实是低估了这一变化的深层意义——对做AI相关开发的同学来说这是一个重要信号。更本质的改变是数据形态正在被重新定义我们可以通过一张表清晰看懂过去传统查询场景现在AI湖仓场景以结构化数据为主比如数据库表、CSV文件向量embedding成为核心数据形态AI模型的输入输出核心操作是filter过滤 / join关联核心操作是similarity相似度/ ANN近似最近邻核心目标是“查询数据”比如查某个指标、某条记录核心目标是“检索推理准备”为AI模型准备输入数据 这带来一个直接结果对AI开发者非常友好查询不再只是查询。甚至会出现DAG的一种新的执行模式在一次执行过程中同时完成三件事不用跨系统切换向量召回从海量向量中快速匹配目标数据比如AI推荐场景的用户兴趣匹配实时数据融合将向量数据与传统结构化数据联动比如把用户向量和用户基本信息关联推理输入构建直接为AI模型推理准备标准化输入省去中间数据转换步骤这件事如果落地成型本质上是在做把AI pipelineAI数据管道向执行层收敛所以这绝不是一个简单的feature新增而是系统边界的再次外扩——Presto正在从“湖仓执行层”进一步向AI Data InfraAI数据基础设施延伸未来会成为AI开发的核心工具之一。五、把所有信号合在一起只剩一个结论如果把前面提到的所有变化串起来你会发现它们从来都不是孤立的能力点而是围绕“重定位”的整体布局Iceberg深度适配 → 数据全生命周期管理进入系统核心不用再依赖外部工具Procedure引入 → 承载非SQL类型的复杂workload提升开发效率智能优化器升级 → 系统从执行器向决策者演进减少手动操作Native execution优化 → 面向未来算力架构提前布局支撑更大规模数据处理向量能力新增 → 适配AI时代的新型数据形态打通AI与湖仓的链路这些变化都在指向同一件事Presto 正在完成一次从“数据访问层”到“湖仓数据执行层”的根本性进化。并且它没有停下脚步正在进一步向AI Data InfraAI数据基础设施加速演化成为连接湖仓与AI的核心中枢。六、为什么这件事现在就值得你关注因为短期内所有数据系统看起来都在“收敛”——大家都在支持SQL、适配Iceberg、优化查询优化器表面上差异不大。但真正决定中长期行业格局的从来不是这些表层的“趋同”而是系统的能力边界在哪里能承载什么样的未来需求。而现在正在发生的正是这个边界正在被Presto重新定义——它不再局限于“查询”而是要成为数据处理、AI开发的“一站式执行中枢”。对我们开发者、架构师来说提前看懂这个趋势能帮你做好技术选型避免踩坑甚至领先一步布局未来的技术架构。七、建议不要只看release note一定要看InfoQ原文如果你只是想快速了解 “Presto 0.297 更新了什么功能”那官方的release note已经足够满足需求看一眼新增特性就够了。但如果你想真正理解Presto为什么要选择这样的演进路径核心maintainer的底层思考这些新增能力之间的内在逻辑与关联不是孤立的功能堆叠它未来可能会走向哪里会带来哪些行业影响影响你的技术选型 强烈建议直接去看InfoQ上的原文《Presto 的再定位从查询引擎到下一代数据湖执行层》。因为有些关键判断、底层思考在“总结提炼”的过程中会不可避免地流失——那些藏在字里行间的洞察比如Presto团队的演进考量、落地过程中的难点才是理解这次变革的关键也能帮你更精准地把握Presto的未来走向。结语用一句话总结这件事这不是一次普通的版本升级而是一场数据处理模式的根本性跃迁。如果你正在做数据湖、实时分析或者已经开始接触AI数据基础设施Presto这条演进路径值得你提前看懂、重点关注——它可能会重塑你对数据处理的认知也可能会影响你未来的技术选型与架构设计。最后再次推荐大家去阅读InfoQ原文深入了解核心maintainer视角下的Presto演进相信你会有更多收获。