第 27 期 | 生产环境排坑：处理超长响应与重试策略

⏱ 预计阅读 20 分钟 更新于 2026/5/7
💡 进群学习加 wx: agentupdate
(申请发送: agentupdate)

🎯 本期学习目标

嘿，各位未来的 AI 大师们！我是你们的老朋友，一个在 AI 领域摸爬滚打十年的老兵，也是你们最热心的导师。欢迎来到《LangChain 全栈大师课》的第一期！这可不是什么泛泛而谈的理论课，我们要手把手地把一个生产级的“智能客服知识库”给撸出来。今天，我们就要直捣黄龙，揭开这个智能客服最核心的秘密——它的大脑，也就是大型语言模型（LLM）。

学完本期，你将：

  1. 洞悉 LLM 的本质： 不再只是听说，而是真正理解 LLM 在智能客服中扮演的“大脑”角色和其核心工作原理。
  2. 掌握 LangChain 接入 LLM： 学会如何通过 LangChain 这个“操作系统”轻松地连接和调用各种主流 LLM，让你的客服助手瞬间拥有思考能力。
  3. 理解 LLM 参数调优： 明白 temperature 等关键参数对 LLM 行为的影响，并能初步为你的客服场景选择合适的策略，让回复更精准、更人性化。
  4. 构建 AI 应用的基石： 为后续更复杂的 AI 应用开发打下坚实的基础，知道如何从最底层启动你的智能系统。

📖 原理解析

好了，废话不多说，直接上干货！

智能客服的“大脑”：LLM 究竟是什么？

想象一下，一个优秀的客服代表需要什么？倾听、理解、思考、给出准确且有帮助的答案，对吧？现在，我们把这些能力“数字化”，就得到了 LLM。

LLM (Large Language Model)，顾名思义，是“大型语言模型”。这里的“大”体现在两个方面：

  • 数据量大： 它们在海量的文本数据上进行训练，这些数据包含了人类社会几乎所有的知识、表达方式和逻辑关系。
  • 参数量大： 模型内部的参数数量惊人，通常达到数十亿甚至数万亿，这使得它们能够捕捉到语言中极其复杂和细微的模式。

在我们的“智能客服知识库”项目中，LLM 就是那个坐在中央，负责“思考”和“决策”的核心大脑。用户的问题扔过来，它首先要理解用户的意图（比如是问订单、问售后还是问产品功能），然后根据这些理解，去知识库里找答案，最后用人类能理解的语言组织出来。

Transformer：LLM 强大的秘密武器

你可能会问，以前也有各种自然语言处理模型啊，为什么 LLM 突然就这么牛了？答案是 Transformer 架构。

在 Transformer 出现之前，主流的模型（如 RNN、LSTM）处理文本时，像是一个个“短视”的工人，一次只能看一个词，记住前面一点点信息，但对长篇大论就容易“忘事儿”。但客服场景中，用户的问题可能很长，包含很多细节，甚至前言不搭后语。如果模型不能“总览全局”，那它就没法理解上下文。

Transformer 最核心的创新是 “自注意力机制 (Self-Attention)”。你可以把它想象成：当 LLM 在处理一个词的时候，它不是只看这个词本身，而是会同时“扫视”整个句子，甚至整个段落，并给每个词分配一个“注意力权重”。哪些词跟当前处理的词关系更紧密，注意力就更高。

举个例子：用户问“我的订单号是 XYZ123，昨天下的，现在发货了吗？” LLM 在处理“发货了吗”这个词时，通过自注意力机制，能够立刻把注意力集中到“订单号 XYZ123”、“昨天下的”这些关键信息上，从而理解这是一个关于特定订单状态的查询。这种机制让 LLM 能够高效地捕捉长距离依赖关系，真正“读懂”上下文。

LangChain：LLM 的“操作系统”

理解了 LLM 的强大，那 LangChain 又是什么角色？ LangChain 并不是一个 LLM，它更像是一个为 LLM 量身定制的“操作系统”和“工具箱”。它提供了一套标准化的接口、组件和链式（Chain）结构，让你能够：

  1. 统一接入： 不管是 OpenAI 的 GPT、Google 的 Gemini、还是 HuggingFace 上的开源模型，LangChain 都能用统一的方式去调用。
  2. 管理上下文： 让 LLM 记住多轮对话历史，就像一个有记忆的客服。
  3. 集成工具： 让 LLM 不仅仅是“说话”，还能“动手”，比如调用外部 API 查询订单、搜索知识库、发送邮件等等。
  4. 构建复杂流程： 把多个 LLM 调用、工具使用、数据处理等步骤串联起来，形成一个复杂的智能工作流。

在我们的智能客服项目中，LangChain 就是那个把 LLM 的大脑、外部知识库、用户界面、订单系统等所有组件连接起来的“神经系统”。

LLM 工作流在智能客服中的简化图解

下面这个 Mermaid 图表，简单地展示了 LLM 在我们智能客服项目中的位置和工作流：

graph TD
    A[用户提问] --> B{LangChain 框架}
    B --> C[LLM 模型 (如 OpenAI GPT)]
    C -- 理解意图 & 生成回答 --> D[智能客服助手核心]
    D --> E[回复用户]

    subgraph LLM内部简化流程
        C --> C1[Tokenizer: 文本切分]
        C1 --> C2[Embedding: 语义向量化]
        C2 --> C3[Transformer Blocks: 核心推理]
        C3 --> C4[Output Layer: 文本生成]
        C4 --> C
    end

    style A fill:#f9f,stroke:#333,stroke-width:2px
    style E fill:#f9f,stroke:#333,stroke-width:2px
    style C fill:#ccf,stroke:#333,stroke-width:2px
    style B fill:#bbf,stroke:#333,stroke-width:2px
    style D fill:#ddf,stroke:#333,stroke-width:2px

用户的问题通过 LangChain 传递给 LLM。LLM 内部经过分词、向量化和复杂的 Transformer 推理，最终生成回复，再通过 LangChain 返回给用户。在这个最基础的阶段，LLM 就像一个可以理解并回答问题的“万事通”。

💻 实战代码演练 (客服项目中的具体应用)

理论说了这么多，是时候让我们的“智能客服”动起来了！本期，我们先为客服助手构建最基础的“大脑”——直接调用 LLM 来回答问题。

我们将使用 langchain-openai 包来连接 OpenAI 的模型。如果你想用其他模型，LangChain 也提供了类似的接口，比如 langchain-google-genai、langchain-huggingface 等。

准备工作：

  1. 确保你有一个 OpenAI API Key。如果没有，请前往 OpenAI 官网 注册并获取。
  2. 强烈建议将 API Key 设置为环境变量，而不是直接写在代码里，以保证安全。
    • Linux/macOS: export OPENAI_API_KEY='你的API密钥'
    • Windows (CMD): set OPENAI_API_KEY='你的API密钥'
    • Windows (PowerShell): $env:OPENAI_API_KEY='你的API密钥' 或者，你可以在项目根目录下创建一个 .env 文件，内容为 OPENAI_API_KEY='你的API密钥'，然后使用 python-dotenv 或 dotenv 加载。

Python 实战代码

首先，安装必要的库：

pip install langchain-openai python-dotenv

然后，创建 basic_llm_copilot.py 文件：

import os
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage

# 1. 加载环境变量 (确保 .env 文件在项目根目录)
load_dotenv()

# 检查 API Key 是否已设置
if not os.getenv("OPENAI_API_KEY"):
    raise ValueError("OPENAI_API_KEY 环境变量未设置，请检查 .env 文件或系统环境变量。")

# 2. 初始化 LLM 模型
# 我们使用 ChatOpenAI，因为它更适合处理对话场景。
# model_name 可以是 "gpt-3.5-turbo", "gpt-4", "gpt-4o" 等。
# temperature 参数控制输出的随机性/创造性。
# 对于客服场景，我们通常希望回复准确、稳定，所以 temperature 设为较低值。
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0.3)

print("智能客服助手已启动！输入 '退出' 结束对话。")

# 3. 模拟智能客服对话循环
def run_copilot():
    while True:
        user_query = input("\n[你]: ")
        if user_query.lower() == '退出':
            print("[客服助手]: 感谢您的使用，再见！")
            break

        print("[客服助手]: 思考中...")

        try:
            # 构建消息列表。SystemMessage 用于设定助手角色和行为。
            # HumanMessage 是用户的输入。
            messages = [
                SystemMessage(
                    content="你是一个专业的智能客服助手，专注于回答用户关于产品、订单、售后等问题。请用友好、简洁、专业的语气进行回复。"
                ),
                HumanMessage(
                    content=user_query
                ),
            ]

            # 调用 LLM 模型生成回复
            response = llm.invoke(messages)

            # 打印 LLM 的回复
            print(f"[客服助手]: {response.content}")

        except Exception as e:
            print(f"[客服助手]: 抱歉，处理您的请求时发生错误：{e}")
            print("请检查您的网络连接或 API Key 是否有效。")

if __name__ == "__main__":
    run_copilot()

运行 Python 代码：

python basic_llm_copilot.py

示例对话：

智能客服助手已启动！输入 '退出' 结束对话。

[你]: 你们产品有什么特点？
[客服助手]: 思考中...
[客服助手]: 您好！我们的产品主要特点包括高性能、易用性强以及出色的稳定性。它专为提升用户体验而设计，能够满足您在XXX方面的需求。请问您对哪个具体功能感兴趣呢？

[你]: 我的订单号是 X123456789，请问发货了吗？
[客服助手]: 思考中...
[客服助手]: 您好！关于订单号 X123456789，目前系统显示正在处理中，预计将在24小时内完成发货。发货后您会收到短信通知，并可在订单详情页查看物流信息。请您耐心等待。

[你]: 退出
[客服助手]: 感谢您的使用，再见！

TypeScript 实战代码

首先，创建新的 Node.js 项目并安装必要的库：

mkdir langchain-copilot-ts && cd langchain-copilot-ts
npm init -y
npm install @langchain/openai langchain dotenv readline-sync
npm install -D typescript @types/node @types/readline-sync
npx tsc --init

修改 tsconfig.json：

  • "target": "es2021"
  • "module": "commonjs" (或 esnext 根据你的项目配置)
  • "outDir": "./dist"
  • "esModuleInterop": true
  • "forceConsistentCasingInFileNames": true
  • "strict": true

然后，创建 src/basic_llm_copilot.ts 文件：

import 'dotenv/config'; // 导入dotenv配置，确保在其他导入之前
import { ChatOpenAI } from '@langchain/openai';
import { HumanMessage, SystemMessage } from '@langchain/core/messages';
import * as readlineSync from 'readline-sync'; // 用于同步读取用户输入

// 1. 检查 API Key 是否已设置
if (!process.env.OPENAI_API_KEY) {
    throw new Error("OPENAI_API_KEY 环境变量未设置，请检查 .env 文件或系统环境变量。");
}

// 2. 初始化 LLM 模型
// 使用 ChatOpenAI 实例，它更适合对话。
// modelName 可以是 "gpt-3.5-turbo", "gpt-4", "gpt-4o" 等。
// temperature 参数控制输出的随机性/创造性。
// 客服场景通常需要稳定且准确的回复，所以我们会设置较低的 temperature。
const llm = new ChatOpenAI({
    modelName: "gpt-3.5-turbo",
    temperature: 0.3,
});

console.log("智能客服助手已启动！输入 '退出' 结束对话。");

// 3. 模拟智能客服对话循环
async function runCopilot() {
    while (true) {
        const userQuery = readlineSync.question("\n[你]: ");
        if (userQuery.toLowerCase() === '退出') {
            console.log("[客服助手]: 感谢您的使用，再见！");
            break;
        }

        console.log("[客服助手]: 思考中...");

        try {
            // 构建消息列表。SystemMessage 用于设定助手角色和行为。
            // HumanMessage 是用户的输入。
            const messages = [
                new SystemMessage(
                    "你是一个专业的智能客服助手，专注于回答用户关于产品、订单、售后等问题。请用友好、简洁、专业的语气进行回复。"
                ),
                new HumanMessage(
                    userQuery
                ),
            ];

            // 调用 LLM 模型生成回复
            const response = await llm.invoke(messages);

            // 打印 LLM 的回复
            console.log(`[客服助手]: ${response.content}`);

        } catch (e: any) {
            console.error(`[客服助手]: 抱歉，处理您的请求时发生错误：${e.message}`);
            console.log("请检查您的网络连接或 API Key 是否有效。");
        }
    }
}

// 运行客服助手
runCopilot();

运行 TypeScript 代码：

npx ts-node src/basic_llm_copilot.ts

或者先编译再运行：

npx tsc
node dist/basic_llm_copilot.js

示例对话： (与 Python 类似)

智能客服助手已启动！输入 '退出' 结束对话。

[你]: 你们产品有什么特点？
[客服助手]: 思考中...
[客服助手]: 您好！我们的产品主要特点包括高性能、易用性强以及出色的稳定性。它专为提升用户体验而设计，能够满足您在XXX方面的需求。请问您对哪个具体功能感兴趣呢？

[你]: 我的订单号是 X123456789，请问发货了吗？
[客服助手]: 思考中...
[客服助手]: 您好！关于订单号 X123456789，目前系统显示正在处理中，预计将在24小时内完成发货。发货后您会收到短信通知，并可在订单详情页查看物流信息。请您耐心等待。

[你]: 退出
[客服助手]: 感谢您的使用，再见！

通过这段代码，我们已经成功地让我们的智能客服拥有了一个能够理解并初步回答用户问题的“大脑”！虽然它目前还不能访问真实的订单系统，但它已经展现了 LLM 的强大语言理解和生成能力。

坑与避坑指南

作为一名有十年经验的架构师，我见过太多新手在这里踩坑。别担心，我把这些坑给你挖出来，让你避开它们！

  1. API Key 安全：硬编码是万恶之源！

    • 坑： 直接把 OPENAI_API_KEY = "sk-xxxxxxxx" 写在代码里，然后把代码推到 GitHub。恭喜你，你的密钥很快就会被盗用，然后你的钱包就会“大出血”。
    • 避坑： 永远使用环境变量或配置文件来管理敏感信息。 我们代码中 load_dotenv() 和 process.env.OPENAI_API_KEY 就是最佳实践。在生产环境中，更应该使用云服务提供商的密钥管理服务（如 AWS Secrets Manager, Azure Key Vault）。

  2. 模型选择：不是越贵越好，也不是越新越好！

    • 坑： 一股脑儿地冲向最新、最强大的模型（比如 gpt-4o），觉得这样效果肯定最好。
    • 避坑： 不同的模型有不同的能力、成本和延迟。
      • gpt-3.5-turbo：性价比之王，速度快，适合大部分日常客服问答、文本摘要等场景。
      • gpt-4 / gpt-4o：能力更强，逻辑推理、复杂任务处理更出色，但价格更高，延迟也相对较高。
    • 建议： 从 gpt-3.5-turbo 开始测试，如果效果不满足需求，再考虑升级到更强的模型。根据你的客服场景，选择最适合的“算力-成本”平衡点。

  3. temperature 参数：客服不是写诗，要严谨！

    • 坑： 随便设置 temperature，或者为了“创新”设得很高。
    • 避坑： temperature 控制模型输出的随机性和创造性。
      • temperature = 0 (或接近 0)：输出最确定、最保守，适合需要精确事实、避免幻觉的场景（如查询订单状态、知识库问答）。
      • temperature = 0.7 或更高：输出更具多样性、创造性，适合内容创作、头脑风暴等场景。
    • 客服场景： 我们的目标是提供准确、一致的答案。所以，temperature 通常建议设在 0.0 到 0.5 之间，避免 LLM 自由发挥，编造不存在的信息。

  4. 幻觉问题 (Hallucination)：LLM 会“一本正经地胡说八道”！

    • 坑： 盲目相信 LLM 的所有输出，认为它无所不知。
    • 避坑： LLM 是基于概率预测下一个词，它并不真正“理解”事实。当它缺乏真实信息时，它会根据训练数据中的模式“编造”听起来很合理但实际上是错误的内容。
    • 初步缓解：
      • 明确的系统指令 (SystemMessage)： 严格限定 LLM 的角色和行为，比如“你是一个客服，只能根据提供的信息回答，不能猜测。”
      • 低 temperature： 降低随机性。
      • 未来方案 (RAG)： 这是解决幻觉问题的终极武器，我们会在后续课程中深入讲解如何结合外部知识库来提供准确信息，敬请期待！

  5. Token 限制与成本：每一分钱都要花在刀刃上！

    • 坑： 不关注输入输出的 token 数量，导致对话一长就报错，或者账单爆炸。
    • 避坑： LLM 有输入 token 限制，超出就会报错。同时，每次 API 调用都是按 token 计费的（输入和输出都算）。
    • 建议：
      • 监控 token 使用量： LangChain 提供了回调机制可以监控 token 使用。
      • 精简提示词 (Prompt)： 避免冗余信息，直击核心。
      • 摘要历史对话： 在多轮对话中，定期对历史对话进行摘要，只保留关键信息，减少 token 占用。我们会在后续的“记忆管理”课程中深入探讨。

📝 本期小结

恭喜你，迈出了构建 LangChain 全栈 AI 应用的第一步！本期我们深入浅出地理解了 LLM 作为智能客服“大脑”的核心原理，特别是 Transformer 架构如何赋予它强大的语言理解能力。我们还学会了如何利用 LangChain 快速接入 LLM，并为我们的客服助手赋予了最基本的“思考”能力。

最重要的是，我们还一起预习了那些开发过程中最容易踩的坑，并掌握了初步的避坑指南，这可都是我用血汗钱换来的经验啊！

回顾一下本期核心：

  • LLM 是智能客服的“大脑”： 理解用户意图，生成回复。
  • Transformer 是 LLM 强大的基石： 核心是自注意力机制，能理解长上下文。
  • LangChain 是 LLM 的“操作系统”： 统一接口，连接一切。
  • 实战： 使用 ChatOpenAI 快速构建了一个能初步对话的智能客服。
  • 避坑： API Key 安全、模型选择、temperature 调优、幻觉问题和 Token 成本。

展望下一期： 虽然我们的客服助手现在能说话了，但它是个“金鱼记忆”，问完一句话就忘了上一句。这在实际客服场景中是远远不够的！下一期，我们将深入探讨 LangChain 的 Memory (记忆) 模块，让我们的智能客服真正拥有“长期记忆”，能够记住多轮对话的上下文，成为一个更智能、更连贯的对话伙伴！

准备好了吗？下期见！