Streaming Tool Execution(流式工具执行)
AI Agent 中的工具并行执行架构,允许模型在生成响应的同时并行执行多个工具。
核心设计
1 | ToolStatus = 'queued' | 'executing' | 'completed' | 'yielded' |
并发控制规则
- 并发安全工具(如
GlobTool,GrepTool,FileReadTool)可以彼此 并行 执行 - 非并发工具(如
BashTool,FileEditTool)必须 独占 执行 - 当一个 Bash 工具出错时,
siblingAbortController会取消所有兄弟工具,但 不会终止父级
关键特性
- 流式执行:边接收模型输出边执行工具,无需等待完整响应
- 智能调度:根据
isConcurrencySafe标记自动判断并行策略 - 错误隔离:兄弟工具失败不影响父级查询循环
- 性能优化:3 个文件读取操作真正并行执行,而非排队等待
与相关概念的关系
- [[agent-tool-design]] — 工具设计需要考虑并发安全性
- [[harness-engineering]] — 流式执行是 Harness 的性能优化手段
- [[multi-agent-coordination]] — 多 Agent 场景下的工具执行协调