在过去几个月中，我们企业内部进行了一些尝试，旨在通过引入大型模型技术来提升研发效率。我们逐渐认识到，无论对企业还是个人而言，未来将是大型模型应用的时代。对于有意采用这些技术的企业来说，开发大型模型应用是一种稳健的接纳策略。
这并不意味着大型模型的重要性在减弱。实际上，应用的广泛应用归功于大型模型的进步。在未来几年，大型模型领域的一些值得关注的发展趋势包括：AI向AGI的转变、开源大型模型的普及、以及可在移动设备上运行的轻量级大型模型。
尽管如此，大型模型的发展主要由少数人和公司推动。对每个人和每个企业产生实质影响的将是大型模型应用的广泛普及和应用生态的完善。这篇博客简要概述了我和我的团队在使用大型语言模型和其应用方面的一些尝试，以及我们对未来的一些看法。
大模型应用的范式
下面我将简单介绍一些我们在AI Agent和知识库方面做过的一些尝试。
在利用大模型解决问题的过程中，我们总结出四种主要范式。这些范式按难易程度排序分别为：Fine-tuning、AI Agent、私有知识库和Prompt Engineering。下表列出了这四种范式的特点和适用场景：
| 范式 | Fine-Tuning | AI Agent | 私有知识库 | Prompt Engineering |
|---|---|---|---|---|
| 应用场景 | 针对特定垂直领域需要精准推理能力时 | 自动化标准业务流程 | 适用于精确场景的聊天机器人，如客服、教学 | 适用于对准确度要求不高的对话场景 |
| 数据需求 | 需要大量垂直领域数据 | 需要详细的业务流程描述和事务性数据 | 需要产品、服务数据构建知识库 | 不适用 |
| 实施挑战 | 需要具备算法和业务知识的高端人才，成本高，结果不可预测性大 | 需要业务和软件工程知识，成本低于Fine-Tuning，效果明显但技术成熟度不高 | 成本和难度较低，但收益难以量化，且大数据量场景下缺乏成功案例 | 需要了解业务和掌握提示词技能，成本低，结果可控 |
| 案例 | 如政府税务部门和医疗领域应用 | 软件集成和自动化测试案例设计 | 在线客服、AI教学（虚拟老师） | 提供情感、旅行、学习等领域信息的聊天机器人，用户需判断内容准确性 |
预计，仅有少数头部公司会投入Fine-Tuning领域。对大多数企业而言，AI Agent和私有知识库是进入大模型时代性价比较高的方式。而Prompt Engineering更适合个人使用，不建议应用于企业关键业务。
我们认为AI Agent在企业内部产生的影响更大；尽管私有知识库易于构建，但其商业价值对许多决策者来说不甚明确，因此其发展可能相对缓慢。
AI Agent
在推动企业自动化的道路上，我们的初步尝试聚焦于利用AI Agent优化软件集成流程。在这个过程中，团队间的沟通、数据协同以及周期性的发布动作通常涉及繁杂的会议和文档工作，特别是在处理软件包的位置、版本和配置数据等细节时。
为了精简和优化这一流程，我们通过一系列工作坊，对集成过程的关键步骤进行了精细梳理，并开发了针对性的AI Agent。例如，其中一个AI Agent能够处理从邮件中自动提取[OS Release]主题信息的任务，以及通过CMDB系统的RESTful API获取配置数据等功能。
在实际应用中，这些AI Agent不仅显著提高了效率，还减少了人工操作的错误。例如，原本需要Release Manager亲自检查邮件的环节，现在可以轻松地由AI Agent自动处理。
1 | |
我们完成了几个类似的案例。这些实例不仅展示了AI技术在自动化方面的潜力，更重要的是，它们预示了AI Agent在企业级应用中的广泛前景。从实施的角度看，AI Agent取得的效果是十分惊人的，即对于流程自动化的提升是显而易见的。我们的经验表明，AI Agent不仅是大模型在企业中落地的有效方式，更是推动业务流程自动化和创新的强大动力。
然而…
在AI Agent技术的发展道路上，收益与风险总是并存的。目前，企业面临两个主要的技术选择：一是OpenAI的Assistant API，二是基于开源大模型的解决方案，如LangChain或AutoGen。这两个选项具有各自的挑战和不兼容性。
从技术成熟度和易用性角度来看，OpenAI的Assistant API展现出显著优势。它能够在几分钟内完成许多开源技术需要数小时才能解决的任务。然而，对于构建企业内部应用而言，选择自行部署开源大模型可能是唯一的路径。尽管如此，开源大模型的技术生态尚不成熟，特别是在实现和测试外部功能调用方面的挑战颇为显著。
此外，在技术成熟度方面，AI Agent尚未达到生产就绪（production-ready）状态。在调用外部功能（如邮件查询、数据库访问、邮件发送等）时，我们经常遇到一些不确定性。例如，在实现OpenAI与Zapier的集成时，我们遇到了相同调用失败的概率问题。
因此，当前阶段，AI Agent更像是企业流程自动化的一种替代方案，而不是首选解决方案。在可能的情况下，标准化数据流程和治理是更可取的选择。只有在这些方法无效时，我们才会考虑使用AI Agent。在此之前，我们可能不得不依赖繁重的人工操作。
私有知识库
私有知识库的实现比AI Agent要简单很多，这让我们在相同的时间内，开发出更多实用案例。以下是其中两个引人注目的应用：
飞书虚拟项目经理
在复杂的软件项目管理中，信息的集中和传递始终是一项挑战。我们创新性地创建了一个基于LLM的虚拟项目经理，它能够集成Jira、飞书文档等多种数据源，为项目提供实时的背景、进展、需求和Bug报告等关键信息。
虽然信息源的多样性导致虚拟项目经理在初期可能无法回答所有问题，但其对项目背景等常见问题的处理能力，为新成员提供了极大的on-boarding支持。
工具产品客服
面对用户在使用我们开发的工具时的常见疑问，我们将使用手册内容进行向量化处理，并基于此创建了一个能够解答基本问题的客服机器人。这个机器人大大减轻了我们的工作负担，并提高了用户满意度。
然而…
私有知识库的初期效果虽然令人惊叹，但随着时间的推移，用户的热情可能会逐渐降低。关键问题在于，私有知识库的及时、准确更新。
此外，支持私有知识库的技术，如RAG和Embedding Model，尽管理论上充满潜力，但在实际应用中，随着数据量的增加，我们发现Vector Storage和Embedding模型选择会显著影响效果。而这个行业显然还是缺乏这面的经验和人才的。
总结
经过数月的密集实验，我们对未来几年企业中大模型应用的趋势提出以下观点：
- 对企业和个人而言，聚焦于大模型的应用将比大模型本身更为关键。
- 在企业中落地大模型应用，AI Agent是最行之有效的方式，其次是私有知识库。AI Agent由于能够更直观地展示大模型技术的商业价值，更有可能得到决策层的认可。
- 技术上尚未完全达到生产就绪（production-ready）状态，且在人才储备上存在挑战，这是实施过程中需要着重应对的两大难题。