Guidance：为大型语言模型打造的结构化控制语言

Guidance是微软研究院开发的专用编程语言，旨在解决传统提示工程难以精确控制大型语言模型（LLM）输出结构的痛点。它通过声明式语法实现结构化生成控制、多模态交互、流式处理等能力，让开发者能获得可靠、可预测的LLM输出，适用于生产环境中需要解析和结构化输出的场景。

随着LLM能力提升，开发者依赖其完成复杂任务，但传统提示工程生成的自由文本输出难以控制结构和格式，如生成JSON时易偏离预期或含额外解释，导致解析困难。Guidance正是为解决这一问题而生，提供声明式语言精确控制生成过程。

Guidance并非简单提示模板库，而是完整的语言系统，允许开发者以编程方式定义生成内容的结构和约束。它将生成视为受控可组合流程，支持变量、条件分支等编程元素，同时在需创造性生成的环节保留模型能力，平衡控制与灵活性。

1. 结构化生成控制：通过底层机制强制模型遵循指定格式（如JSON/XML），限制关键位置的token选择，提升输出可靠性；2. 多模态交互：原生支持文本、图像等混合处理，无缝集成多模态应用；3. 流式处理与实时交互：支持边生成边处理，允许生成中暂停干预，适用于实时场景；4. 主流模型兼容：支持GPT、Claude、Llama等主流模型，无需更换底层模型即可使用。

1. 结构化数据提取：如从简历提取信息并生成有效JSON，生成阶段确保格式正确；2. 多步骤推理与工具调用：精确控制每步输出格式，助力构建可靠Agent系统；3. 对话系统与角色扮演：约束模型保持角色风格，避免偏离主题或不当回复。

• 对比提示模板：提供程序性控制而非仅模板；- 对比LangChain：更专注生成控制而非全流程覆盖；- 对比JSON Schema：生成阶段施加约束而非事后验证，提升效率。

Guidance代表LLM生成控制的新范式，将提示工程提升至程序性控制层次，为生产环境LLM应用提供可靠工具。随着LLM能力增强，生成控制需求将更重要，Guidance的价值将愈发凸显，值得开发者深入尝试。