# AI 原生开发 ## 概述人工智能原生开发专注于构建人工智能是一等公民的应用程序，而不是事后的想法。该技能提供了集成法学硕士、实施 RAG（检索增强生成）、使用向量数据库、构建代理工作流程以及优化人工智能应用程序性能和成本的全面模式。 **何时使用此技能：** * 构建聊天机器人、问答系统或对话界面 * 实现语义搜索或推荐引擎 * 创建可以使用工具并采取行动的人工智能代理 * 将法学硕士（OpenAI、Anthropic、开源模型）集成到应用程序中 * 构建用于知识检索的RAG系统 * 优化人工智能成本和延迟 * 实施AI可观察性和监控 ** ** ## 为什么 AI 原生开发很重要传统软件是确定性的；人工智能原生应用程序是概率性的： * **背景就是一切**：法学硕士需要相关背景才能提供准确的答案 * **RAG Over Fine-Tuning** ：检索比微调更便宜、更灵活 * **嵌入启用语义搜索**：超越关键字匹配以理解含义 * **代理工作流程**：法学硕士可以自主推理、计划和使用工具 * **成本管理**：代币使用直接影响运营成本 * **可观察性**：调试概率系统需要新方法 * **即时工程**：您提出的问题与您提出的问题一样重要 ** ** ## 核心概念 ### 1\.嵌入和向量搜索嵌入是捕获语义的文本的向量表示。相似的概念有相似的向量。 **关键能力：** * 将文本转换为高维向量（1536或3072维） * 使用余弦相似度测量语义相似度 * 通过向量搜索查找相关文档 * 批处理以提高效率 **详细实现：**参见`references/vector-databases.md`： * OpenAI 嵌入设置和批处理 * 余弦相似度算法 * 分块策略（500-1000 个令牌，10-20% 重叠） ### 2\.矢量数据库大规模高效地存储和检索嵌入。 **热门选项：** * **Pinecone** ：无服务器、托管服务（0.096 美元/小时） * **Chroma** ：开源、自托管 * **Weaviate** ：灵活的模式，混合搜索 * **Qdrant** ：基于 Rust，高性能 **详细实现：**参见`references/vector-databases.md`： * 每个数据库的完整设置指南 * 更新插入、查询、更新、删除操作 * 元数据过滤和混合搜索 * 成本比较和最佳实践 ### 3\. RAG（检索增强生成） RAG 将检索系统与法学硕士相结合，提供准确、有根据的答案。 **核心模式：** 1.从向量数据库中检索相关文档 2. 根据最重要的结果构建上下文 3. 使用检索到的上下文通过 LLM 生成答案 **高级模式：** * RAG 带有引用和来源跟踪 * 混合搜索（语义+关键词） * 多查询RAG以更好地召回 * HyDE（假设文档嵌入） * 相关性的上下文压缩 **详细实现：** 请参阅 `references/rag-patterns.md`： * 带有完整代码的基本和高级 RAG 模式 * 引用策略 * 具有倒数排名融合的混合搜索 * 对话记忆模式 * 错误处理和验证 ### 4\.函数调用与工具使用使法学硕士能够可靠地使用外部工具和 API。 **能力：** * 使用 JSON 模式定义工具 * 根据LLM决策执行职能 * 处理并行工具调用 * 通过工具使用来流式响应 **详细实现：**参见`references/function-calling.md`： * 工具定义模式（OpenAI 和 Anthropic） * 函数调用循环 * 并行和流工具执行 * 使用 Zod 进行输入验证 * 错误处理和回退策略 ### 5\.代理工作流程使法学硕士能够推理、计划和采取自主行动。 **图案：** * **ReAct** ：推理+行动循环与观察 * **思想之树**：探索多种推理路径 * **多代理**：专业代理协作完成复杂任务 * **自主代理**：自我指导的目标实现 **详细实现：** 请参阅 `references/agentic-workflows.md`： * 完整的ReAct循环实现 * 思想之树探索 * 多代理协调器模式 * 代理内存管理 * 错误恢复和安全防护 ### 5.1 多代理编排（Opus 4.5）利用 Opus 4.5 的扩展思维能力的高级多智能体模式。 **何时使用扩展思维：** * 协调3+专业代理 * 代理输出之间复杂的依赖解析 * 基于代理能力的动态任务分配 * 当代理产生矛盾结果时解决冲突 **编排模式：** 接口代理任务{ id：字符串；类型：“研究”| '代码' | '评论' | '设计'; 输入：未知；依赖项：字符串[]； // 必须首先完成的任务 ID } 接口代理结果{ 任务ID：字符串；输出：未知；置信度：数量；推理：字符串； } 异步函数 OrchestrateAgents( 目标：字符串，可用代理：代理[] ): Promise { // 步骤1：利用扩展思维将目标分解为任务 const taskPlan = 等待 planTasks(目标, availableAgents); // 第2步：构建依赖图 const dependencyGraph = buildDependencyGraph(taskPlan.tasks); // 步骤 3：执行尊重依赖性的任务常量结果：AgentResult[] = []； const 已完成 = new Set(); while (completed.size < taskPlan.tasks.length) { // 查找具有满足依赖关系的任务 const Ready = taskPlan.tasks.filter(任务 => !completed.has(task.id) && task.dependency.every(dep => Completed.has(dep)) ）； // 并行执行就绪任务 const batchResults = 等待 Promise.all( Ready.map（任务=>执行AgentTask（任务，可用Agents）））； // 验证结果 - 使用扩展思维来解决冲突 const validResults = 等待 validateAndResolveConflicts( 批次结果，结果）；结果.push(...validatedResults); Ready.forEach(任务 => 完成.add(task.id)); } 返回结果； } **具有扩展思维的任务规划：** 基于 [Anthropic 的扩展思维文档]()：从“@anthropic-ai/sdk”导入 Anthropic； const anthropic = new Anthropic(); 异步函数 planTasks( 目标：字符串，代理人：代理人[] ): Promise<{ 任务: AgentTask[];基本原理：字符串 }> { // 扩展思维需要budget_tokens < max_tokens // 最低预算：1,024 个代币 const 响应 = 等待 anthropic.messages.create({ 型号: 'claude-opus-4-5-20251101', // 或 claude-sonnet-4-5-20250929 最大令牌数：16000，思考：{ 类型：'启用'， Budget_tokens: 10000 // 复杂规划的扩展思维 }, 消息：[{ 角色：'用户'，内容：` 目标：${目标} 可用代理及其能力： ${agents.map(a => `- ${a.name}: ${a.capability.join(', ')}`).join('\n')} 将这个目标分解为任务。对于每项任务，请指定： 1. 应该由哪个代理办理 2. 需要什么输入 3.它还依赖于哪些其他任务 4. 预期输出格式仔细想想： - 最佳并行化机会 - 代理输出之间的潜在冲突 - 需要在任务之间流动的信息 ` }] }); // 响应包含思考块，后跟文本块 // 内容: [{ type: 'thinking',thinking: '...' }, { type: 'text', text: '...' }] 返回parseTaskPlan（响应）； } **冲突解决：** 异步函数 validateAndResolveConflicts( 新结果：AgentResult[]，现有结果：AgentResult[] ): Promise { // 检查与现有结果的冲突 const冲突=检测冲突（newResults，existingResults）； if (conflicts.length === 0) { 返回新结果； } // 使用扩展思维来解决冲突 const 分辨率 = 等待 anthropic.messages.create({ 型号: 'claude-opus-4-5-20251101', 最大令牌数：8000，思考：{ 类型：'启用'，预算代币：5000 }, 消息：[{ 角色：'用户'，内容：` 以下代理输出冲突： ${conflicts.map(c => ` 冲突：${c.description} 代理 A (${c.agentA.name})：${JSON.stringify(c.resultA)} 代理 B (${c.agentB.name})：${JSON.stringify(c.resultB)} `).join('\n\n')} 分析每个冲突并确定： 1. 哪个输出更有可能是正确的以及为什么 2. 如果两者都有优点，如何综合它们 3. 可能需要哪些额外验证 ` }] }); 返回 applyResolutions(newResults, 分辨率); } **自适应代理选择：** 异步函数 selectOptimalAgent( 任务：代理任务，代理：代理[]，上下文：执行上下文 ): 承诺<代理> { // 根据以下条件对每个代理进行评分： // - 能力匹配 // - 当前负载 // - 类似任务的历史表现 // - 成本（模型层） const 分数 = Agents.map(agent => ({ 代理, 分数：calculateAgentScore（代理，任务，上下文） })); // 对于复杂的任务，使用 Opus；对于简单的任务，使用俳句 const 复杂度 =assessTaskComplexity(任务); 如果（复杂度 > 0.7）{ // 过滤出可以使用 Opus 的代理 const opusCapable = Scores.filter(s => s.agent.supportsOpus); return opusCapable.sort((a, b) => b.score - a.score)[0].agent; } return Scores.sort((a, b) => b.score - a.score)[0].agent; } **代理通信协议：** 接口代理消息{ 来自：字符串；至：字符串| '播送'; 类型：'请求' | '回应' | '更新' | '冲突'; 有效载荷：未知；时间戳：日期； } 类 AgentCommunicationBus { 私人消息：AgentMessage[] = []; 私有订阅者：Map void> = new Map(); 发送（消息：AgentMessage）：void { this.messages.push(消息); if (message.to === '广播') { this.subscribers.forEach(回调 => 回调(消息)); } 否则{ this.subscribers.get(message.to)?.(message); } } 订阅（agentId：字符串，回调：（msg：AgentMessage）=> void）：void { this.subscribers.set(agentId, 回调); } getHistory(agentId: string): AgentMessage[] { 返回 this.messages.filter( m => m.from === 代理 ID || m.to === 代理 ID || m.to === '广播' ）； } } ### 6\.流式响应提供实时 AI 响应以实现更好的用户体验。 **能力：** *逐个令牌流LLM输出 * Web 客户端的服务器发送事件 (SSE) * 通过函数调用进行流式传输 * 背压处理 **详细实现：**参见`../streaming-api-patterns/SKILL.md`了解流模式 ### 7\.成本优化 **策略：** * 使用较小的模型来完成简单的任务（GPT-3.5 与 GPT-4） * 实现提示缓存（Anthropic 的临时缓存） * 尽可能批量请求 * 设置max_tokens以防止生成失控 * 通过警报监控使用情况 **令牌计数：** 从“tiktoken”导入 {encoding_for_model} 函数 countTokens(text: string, model = 'gpt-4'): number { const 编码器=encoding_for_model(模型) const 标记 = 编码器.encode(text) 编码器.free() 返回 token.length } **详细实现：**参见`references/observability.md`： * 成本估算和预算跟踪 * 模型选择策略 * 提示缓存模式 ### 8\.可观察性和监控跟踪生产中的法学硕士绩效、成本和质量。 **工具：** * **LangSmith** ：追踪、评估、监控 * **LangFuse** ：开源可观察性 * **自定义日志记录**：带有指标的结构化日志 **关键指标：** * 吞吐量（请求/分钟） * 延迟（P50、P95、P99） * 代币使用和成本 * 错误率 * 质量得分（相关性、连贯性、真实性） **详细实现：**参见`references/observability.md`： * LangSmith 和 LangFuse 集成 * 自定义记录器实现 * 性能监控 * 质量评价 * 调试及错误分析 ** ** ## 搜索参考文献该技能包括详细的参考材料。使用 grep 查找特定模式： # 查找 RAG 模式 grep -r“RAG”参考/ # 搜索特定向量库 grep -A 10“松果设置”参考文献/vector-databases.md # 查找代理工作流程示例 grep -B 5“反应模式”参考文献/agentic-workflows.md # 定位函数调用模式 grep -n "parallel.*tool" 参考文献/function-calling.md # 搜索成本优化 grep -i "成本\|定价\|预算" 参考文献/observability.md # 查找嵌入的所有代码示例 grep -A 20“异步函数。*嵌入”引用/ ** ** ## 最佳实践 ### 上下文管理 * ✅ 将上下文窗口保持在模型限制的 75% 以下 * ✅ 使用滑动窗口进行长时间对话 * ✅ 在旧消息滚动之前对其进行总结 * ✅ 删除多余或不相关的上下文 ### 嵌入策略 * ✅ 将文档分块为 500-1000 个令牌 * ✅ 重叠块 10-20% 以保证连续性 * ✅ 包含元数据（标题、来源、日期）和块 * ✅ 源数据更改时重新嵌入 ### RAG 质量 * ✅ 使用混合搜索（语义+关键字） * ✅ 重新排列结果的相关性 * ✅ 在上下文中包含引文/来源 * ✅ 将温度设置为较低（0.1-0.3）以获得事实答案 * ✅ 根据检索到的上下文验证答案 ### 函数调用 * ✅ 提供清晰、简洁的功能描述 * ✅ 对参数使用严格的 JSON 模式 * ✅ 优雅地处理丢失或无效的参数 * ✅ 限制 10-20 个工具以避免混淆 * ✅ 返回 LLM 之前验证函数输出 ### 成本优化 * ✅ 使用较小的模型来完成简单的任务 * ✅ 对重复内容实施提示缓存 * ✅ 尽可能批量请求 * ✅ 设置 max_tokens 防止生成失控 * ✅ 监控使用情况并发出异常警报 ### 安全 * ✅ 验证和清理用户输入 * ✅ 切勿在提示中包含秘密 * ✅ 实施速率限制 * ✅ 过滤输出中的有害内容 * ✅ 每个环境使用单独的 API 密钥 ** ** ## 模板使用常见 AI 模式提供的模板： * **`templates/rag-pipeline.ts`** \- 基本 RAG 实现 * **`templates/agentic-workflow.ts`** \- ReAct 代理模式 ** ** ## 示例 ### 完整的 RAG 聊天机器人有关全栈实现，请参阅“examples/chatbot-with-rag/”： * 带文档摄取的矢量数据库设置 * 带引用的 RAG 查询 * 流媒体聊天界面 * 成本跟踪和监控 ** ** ## 清单 ### 人工智能实施清单请参阅“checklists/ai-implementation.md”以获取全面的验证，涵盖： * 向量数据库设置和配置 * 嵌入生成和分块策略 * 具有质量验证的 RAG 管道 * 带有错误处理的函数调用 * 流式响应实现 * 成本监控和预算警报 * 可观察性和记录 * 安全和输入验证 ** ** ## 常见模式 ### 语义缓存通过缓存类似查询来降低成本： const 缓存 = new Map() 异步函数cachedRAG（查询：字符串）{ const queryEmbedding = 等待 createEmbedding(query) // 检查缓存中是否存在相似的查询 for (const [cachedQuery, 缓存] of cache.entries()) { const 相似度 = cosineSimilarity(queryEmbedding, cached.embedding) 如果（相似度 > 0.95）{ 返回缓存的响应 } } // 不缓存，执行RAG const 响应 = 等待 ragQuery(查询) 缓存.设置（查询，{嵌入：queryEmbedding，响应}）返回响应 } ### 会话记忆维护多个回合的上下文：接口对话内存{ messages: Message[] // 最后 10 条消息 Summary?: string // 旧消息摘要 } 异步函数 getConversationContext(userId: string): Promise { const 内存 =等待 db.memory.findUnique({ 其中：{ userId } }) 返回[ { role: 'system', content: `之前的对话摘要：${memory.summary}` }, ...memory.messages.slice(-5) // 最后 5 条消息 ] } ** ** ## 快速工程 ### 少样本学习提供示例来指导 LLM 行为： const FewShotExamples = ` 示例1：输入：“我喜欢这个产品！” 情绪：积极示例2：输入：“没关系，没什么特别的” 情绪：中性 ` // 包含在系统提示中 ### 思想链 (CoT) 要求LLM展示推理： const提示 = `${问题}\n\n让我们一步步思考：` ** ** ## 资源 * [OpenAI API 文档]() * [人类克劳德 API]() * [LangChain文档]() * [Pinecone 文档]() * [Chroma 文档]() * [LangSmith 可观测性]() ** ** ## 后续步骤掌握 AI-Native 开发后： 1. 探索实时 AI 响应的**流 API 模式**技能 2. 使用 **类型安全和验证** 技能进行 AI 输入/输出验证 3. 应用**边缘计算模式**技能进行全球人工智能部署 4. 生产监控参考**可观察性模式**

人工智能原生开发

包含技能