Llm Powered Agent

技术方案	描述
Reinforcement Learning Agents	Utilize RL techniques for dynamic decision-making and task optimization.
Multi-Agent Systems	Collaborate among several agents, each specializing in different tasks to achieve complex goals.
Prompt Engineering	Use prompt design to guide LLMs for specific tasks.
Tool-Integrated Agents	Combine LLMs with external tools or APIs, enhancing their functionality with real-time data and capabilities.
Self-Improving Agents	Leverage feedback loops and fine-tuning to continually refine performance.

• query理解
• 复杂任务的规划
• 自主纠错
• 工具使用
• 记忆

我要找采购100件sunglasses，我的预算是$100

### **可执行步骤：寻找符合预算的太阳镜采购方案**

1. **明确采购需求**：
   - 数量：100件太阳镜
   - 预算：$100（每件 $1）

2. **访问采购平台**：
   - 登录批发网站如阿里巴巴、速卖通、DHgate等，搜索“sunglasses”。
   
3. **设置筛选条件**：
   - 单价：$1以下
   - 最小订单量：≥100件
   - 排序：按价格或好评度排序

4. **联系供应商**：
   - 查看低价的产品，联系供应商确认产品质量和运输费用。

5. **确认样品及物流**：
   - 申请样品，评估质量后下单。

帮我查看下最近的一个样品单物流到哪里了

要查看最近一个样品单的物流信息，请按以下步骤操作：

1. **登录物流系统或订单管理平台**：进入你所使用的物流跟踪系统或订单管理平台。
   
2. **查找最近的样品单**：根据时间或订单编号筛选，找到最近的样品单。

3. **查看物流跟踪信息**：点击订单详情页中的物流信息，查看当前的运输状态和到达地点。

4. **获取实时状态**：如果有跟踪号，可以直接访问物流公司官网输入跟踪号查看最新动态。

如果你能提供具体的物流系统名称或订单号，我可以帮你进一步指导如何查看物流状态。

传统的大型语言模型（LLM）在生成计划时缺乏结构和逻辑一致性，主要因为：

1. 缺少上下文跟踪：LLMs往往无法持续跟踪复杂任务的上下文，导致生成的计划在逻辑上不连贯。
2. 缺乏推理能力：LLMs是基于语言模式生成文本，而非基于任务推理，容易生成看似合理但实际不可行的步骤。
3. 没有明确的目标导向：LLMs生成计划时缺少明确的目标和中间步骤优化机制，难以保证计划的逻辑性和连贯性。

这些问题导致 LLM 在多步骤任务中表现不佳，无法提供可靠的行动指导。

### **例子：传统 LLM 计划生成的局限性**

**任务**：计划一个搬家流程，包括打包、租车、搬运和清理。

**传统 LLM 生成的计划**：
1. 打包物品。
2. 搬运家具。
3. 租用搬家车。
4. 清理房屋。

**问题**：
- **逻辑错误**：先搬运家具再租车是不合理的顺序。
- **缺乏细节**：打包过程没有细分为易碎物品、重物、衣物等不同类别。
- **缺乏连续性**：清理房屋应在所有物品搬出后进行，而不应与其他步骤混淆。

这种生成缺乏一致性和合理性的计划，难以在实际中执行，这就是 LLM 在复杂任务中的局限性。

### **如何用 LangGraph 改进传统 LLM 生成的搬家计划**

**传统 LLM 生成的问题**：
1. 打包物品。
2. 搬运家具。
3. 租用搬家车。
4. 清理房屋。

**LangGraph 的解决方案**：
1. **构建任务图**：将搬家任务分解为子任务节点，如“打包”、“租车”、“搬运”、“清理”。
2. **定义约束关系**：在任务图中建立任务依赖关系，如“打包”必须在“搬运”之前，“租车”在“搬运”之前。
3. **启发式优化**：通过学习已有的成功搬家计划，调整任务顺序，保证逻辑一致。
4. **反馈迭代**：对步骤的可行性进行检查并优化，确保计划合理且详细。

这种方式保证了步骤的逻辑顺序和任务间的合理关联，使得生成的计划更具执行性和结构性。

要输出采购任务中最优路径的具体步骤，可以结合 MCTS（蒙特卡洛树搜索）和 GPT-4 的评分机制来优化路径选择。最终，我们希望通过 MCTS 找到一条得分最高的路径，这条路径就是代理应该执行的最优步骤序列。

实现步骤

1. 定义采购任务和供应商信息：首先，需要有一个完整的采购任务描述和多个供应商信息。
2. 使用 GPT-4 打分：为每个步骤和供应商组合生成评分，这些评分将用于 MCTS 的模拟过程中。
3. 通过 MCTS 搜索最优路径：使用 MCTS 对所有可能的路径进行模拟、评分和选择，找到综合评分最高的路径。
4. 输出最优路径：根据 MCTS 的搜索结果，输出最优的任务执行步骤序列。

完整示例代码

以下代码展示了如何结合 MCTS 和 GPT-4 评分机制，输出最优的采购执行路径：

import openai
import random
import math
from pymcts import mcts

# 设置 OpenAI API 密钥
openai.api_key = 'YOUR_OPENAI_API_KEY'

# 定义供应商信息
suppliers = [
    "Supplier 1: Cost = $500, Delivery Time = 5 days, Quality = High, Risk = Low",
    "Supplier 2: Cost = $450, Delivery Time = 7 days, Quality = Medium, Risk = Medium",
    "Supplier 3: Cost = $600, Delivery Time = 3 days, Quality = High, Risk = Very Low"
]

# 使用 GPT-4 对采购步骤和供应商进行打分
def evaluate_with_gpt4(query, supplier):
    prompt = (
        f"Evaluate the suitability of the supplier based on the following procurement task:\\n\\n"
        f"Task: {query}\\n\\n"
        f"Supplier Info: {supplier}\\n\\n"
        f"Provide a score from 0 to 1 based on how well the supplier meets the task requirements, "
        f"considering factors such as cost, delivery time, quality, and risk."
    )

    response = openai.Completion.create(
        engine="gpt-4",  # 确保使用 GPT-4 或适当的引擎
        prompt=prompt,
        max_tokens=50,
        temperature=0.5,
        n=1,
        stop=None
    )

    # 提取评分
    score_text = response.choices[0].text.strip()
    try:
        score = float(score_text)
    except ValueError:
        score = 0.5  # 默认值，如果 GPT-4 返回的不是数字

    return score

# 定义采购状态类
class ProcurementState:
    def __init__(self, state=None, steps=None, suppliers=None):
        self.state = state or []  # 当前路径
        self.steps = steps or []  # 剩余步骤
        self.current_step = 0     # 当前步骤索引
        self.suppliers = suppliers or []  # 供应商信息

    def is_terminal(self):
        # 判断是否达到终端状态（所有步骤已执行完毕）
        return self.current_step >= len(self.steps)

    def get_possible_moves(self):
        # 获取当前状态下的可能动作（剩余步骤）
        if self.is_terminal():
            return []
        return [self.steps[self.current_step]]

    def apply_move(self, move):
        # 执行动作并返回新的状态
        new_state = self.state + [move]
        new_step = self.current_step + 1
        return ProcurementState(new_state, self.steps[new_step:], self.suppliers)

    def get_result(self):
        # 计算当前路径的总得分，结合步骤和供应商信息进行打分
        total_score = 0
        for step in self.state:
            for supplier in self.suppliers:
                score = evaluate_with_gpt4(step, supplier)
                total_score += score

        # 返回平均得分
        avg_score = total_score / (len(self.state) * len(self.suppliers))
        return avg_score

# 使用 MCTS 进行搜索，找出最优路径
def search_optimal_path(steps, suppliers):
    # 初始化状态
    initial_state = ProcurementState(steps=steps, suppliers=suppliers)
    tree = mcts.MCTS(time_limit=2000)  # 设置时间限制为 2000 毫秒
    best_node = tree.search(initial_state)

    return best_node.state

# 主函数：解析采购任务并输出最优路径
def main():
    query = "Procure 100 units of electronic components with the best price and delivery time."
    steps = ["Search for suppliers", "Compare prices", "Evaluate delivery time", "Assess quality and risk"]

    # 搜索最优路径
    optimal_path = search_optimal_path(steps, suppliers)
    print("Optimal Path:", optimal_path)

    # 执行最优路径上的每一步
    for action in optimal_path:
        execute_step(action)

# 执行步骤的函数（示例）
def execute_step(action):
    print(f"Executing: {action}")
    # 实际执行逻辑，如调用供应商 API，检查库存等
    # response = external_api_call(action)
    # print(f"Result: {response}")

if __name__ == "__main__":
    main()

代码详解

1. evaluate_with_gpt4() 方法：
   • 利用 GPT-4 对每个步骤和供应商的组合进行打分。
   • 生成的 prompt 将采购任务和供应商信息结合，GPT-4 会返回一个评分，反映供应商在当前任务情境中的适配性。
2. ProcurementState 类：
   • 用于管理采购状态，包括步骤、供应商和得分计算。
   • get_result() 方法结合 GPT-4 评分，计算路径的平均得分。
3. MCTS 搜索最优路径：
   • search_optimal_path() 使用 MCTS 搜索得分最高的路径。
   • MCTS 在搜索过程中会评估每个可能的路径，并根据 GPT-4 的评分来选择最优路径。
4. 输出最优路径：
   • 主函数 main() 调用 MCTS 进行路径搜索，并输出最优的执行路径。
   • 可以按顺序执行每个步骤，确保采购代理做出最佳的采购决策。

优化与扩展

• 优化 prompt：根据实际业务需求优化 GPT-4 的提示词，使得评分更贴近真实情况。
• 集成供应商 API：通过调用供应商的 API 获取实时数据，如报价、交期等，增强评分的精准性。
• 权重调整：根据企业实际的业务重点（如成本、风险）调整得分计算中的权重，使得决策更加符合企业战略。

如何利用 LLM-MCTS 实现智能客服功能

您的问题是如何将 LLM-MCTS 应用于智能客服，使其能够完成商品搜索、订单查询、物流跟踪等功能。以下将结合您提供的资源和之前的对话内容进行分析：

1. 智能客服场景分析:

智能客服需要理解用户的自然语言输入，并根据用户的意图和电商平台的知识库，提供准确、高效的服务。 这涉及到以下几个关键步骤：

• 意图识别: 准确理解用户的咨询目的，例如是想搜索商品、查询订单还是跟踪物流信息。
• 实体识别: 识别用户咨询内容中涉及的关键实体，例如商品名称、订单号、物流公司等。
• 对话管理: 根据用户的意图和对话历史，决定下一步的行动，例如是直接给出答案、询问更多信息还是跳转到人工客服。
• 答案生成: 根据用户的需求，从电商平台的知识库中检索相关信息，并生成自然流畅的回复。

2. LLM-MCTS 的应用:

LLM-MCTS 可以被用来构建一个强大的智能客服系统，因为它结合了 LLM 的语言理解和生成能力以及 MCTS 的推理规划能力。

• LLM 用于意图识别和实体识别: 可以通过对大量的客服对话记录进行训练，使 LLM 能够准确地识别用户的意图和咨询内容中的关键实体。
• LLM 和电商平台知识库结合用于答案生成: LLM 可以根据用户的需求，从电商平台的知识库中检索相关信息，并生成自然流畅的回复。 例如，对于商品搜索， LLM 可以根据用户提供的商品名称或描述，在商品数据库中检索匹配的商品，并返回商品信息；对于订单查询， LLM 可以根据用户提供的订单号，在订单数据库中检索订单信息，并返回给用户；对于物流跟踪， LLM 可以根据用户提供的订单号和物流公司信息，调用物流公司的接口查询物流信息，并返回给用户。
• MCTS 用于对话管理: MCTS 可以根据用户的意图、对话历史和电商平台的规则，模拟不同的对话路径，并选择最佳的行动策略。 例如，如果用户咨询的问题不够清晰，MCTS 可以引导用户提供更多信息；如果用户需要人工客服的帮助， MCTS 可以将用户转接到人工客服。

3. 具体应用示例:

以下列举一些 LLM-MCTS 在智能客服中具体的应用方式：

• 商品搜索:
  • 用户: “我想买一款轻薄的笔记本电脑，预算 1 万元左右。”
  • LLM-MCTS:
    • 意图识别：商品搜索
    • 实体识别：笔记本电脑，轻薄，1 万元
    • MCTS 模拟：根据用户的需求，模拟不同的搜索条件组合（例如，品牌、屏幕尺寸、处理器等），并评估每种组合下找到用户满意商品的概率。
    • LLM 生成回复：”我们为您推荐以下几款轻薄本，价格都在 1 万元左右: …”
• 订单查询:
  • 用户: “我想查一下我上周买的衣服到哪了？”
  • LLM-MCTS:
    • 意图识别: 订单查询
    • 实体识别: 衣服, 上周
    • MCTS 模拟: 根据用户的描述，尝试查找用户的历史订单信息。 如果信息不足，可能会询问用户一些问题，例如 “请问您的手机号是多少？”
    • LLM 生成回复: “您查询的订单已于 [日期] 发货，物流单号是 [单号]，您可以点击链接 [链接] 查看物流信息。”
• 物流跟踪:
  • 用户: “我的快递怎么还没到？”
  • LLM-MCTS:
    • 意图识别: 物流跟踪
    • 实体识别: 快递
    • MCTS 模拟：尝试获取用户的订单信息和物流信息。 如果信息不足，可能会询问用户 “请问您的订单号是多少？”
    • LLM 生成回复: “您的快递目前在 [地点]，预计 [时间] 送达，请耐心等待。”

4. 优势和挑战:

• 优势: LLM-MCTS 能够将 LLM 的语言理解和生成能力与 MCTS 的推理规划能力结合起来，构建更加智能、人性化的智能客服系统。
• 挑战:
  • 计算复杂度: LLM-MCTS 的计算复杂度较高，需要大量的计算资源来进行训练和推理。
  • 数据需求: LLM-MCTS 的训练需要大量的客服对话数据，而这些数据的获取和标注成本较高。

总的来说，LLM-MCTS 在构建智能客服系统方面具有很大的潜力，但要克服其计算复杂度和数据需求方面的挑战，还需要进一步的研究和探索。

---

<

Blog Archive

Archive of all previous blog posts

>

Next Post

Discussion on Loss Functions in NLP, Search, and Recommendation Systems