大模型产品化第一年​：战术、运营与战略

本文分享了在过去一年中使用大型语言模型（LLMs）进行产品开发的经验教训，涵盖了从实战技巧、日常运营到战略规划的各个方面。

在过去的一年里，大型语言模型（LLMs）已经成为实际应用中的一个重要工具。随着LLMs的不断改进和成本的降低，预计到2025年将有2000亿美元的投资。

LLMs的API使得它们更加易于访问，允许非机器学习工程师和科学家也能够将智能功能融入到他们的产品中。尽管进入门槛降低，但构建有效且超越示例的产品仍然具有挑战性。

作者分享了以下几个方面的经验：

• 实战技巧：包括提示工程（prompting）、信息检索/生成（RAG）、调优和优化工作流程、评估和监控等。提示工程是构建LLMs应用的基础，它包括基本的提示技巧、结构化输入和输出、以及避免过于复杂的提示。信息检索（RAG）通过提供知识来引导LLMs，它的质量取决于检索文档的相关性、密度和细节。调优和优化工作流程可以帮助提高性能和减少延迟/成本。评估和监控是确保LLMs应用质量的关键。

• 日常运营：涉及数据、模型、产品和团队及角色等方面。数据的质量限制了机器学习系统的性能，而输出数据是判断产品是否正常运行的唯一方式。在使用LLMs时，需要注意开发和生产环境之间的数据偏差。模型方面，应该选择最小的模型来完成任务，同时需要考虑模型的版本控制和迁移问题。产品开发应该围绕用户需求来构建，而团队构建则需要跨学科的合作。

• 战略规划：包括不要在PMF之前使用GPU、以及构建LLMs应用的策略。在产品市场适应度（PMF）之前使用GPU和自行训练模型通常不是最佳选择。应该专注于构建产品，而不是模型。

文章强调，LLMs应用的构建不仅仅是技术问题，还需要考虑产品设计、团队构建和战略规划等多个方面。作者们希望通过分享他们的经验，帮助社区在未来的年份中更好地利用LLMs技术。

要点

1. LLMs的实际应用：LLMs已经足够强大，可以用于实际应用，并且随着时间的推移，它们的性能将进一步提升，成本也将降低。

2. API的重要性：LLMs的API使得它们更加易于被广泛应用，不再局限于机器学习专家。

3. 提示工程的关键性：提示工程是构建LLMs应用的基础，它对模型的性能有着直接的影响。

4. RAG的作用：信息检索（RAG）通过提供相关的知识来引导LLMs，有助于提高输出的质量。

5. 数据的核心作用：数据的质量直接影响到机器学习系统的性能，因此需要对数据进行严格的管理和监控。

6. 模型选择和管理：选择合适的模型，并对模型进行版本控制和迁移，是构建稳定LLMs应用的关键。

7. 产品设计的重要性：产品设计应该以用户需求为中心，并且要有明确的产品愿景和目标市场。

8. 团队构建的多学科合作：构建LLMs应用的团队需要多学科的合作，包括产品、设计、工程等领域的专家。

9. 战略规划的必要性：在投入大量资源构建LLMs应用之前，需要进行战略规划，确保技术投资与产品和市场目标相匹配。

10. 从演示到产品的转变：构建LLMs应用不仅仅是创建一个有趣的演示，更重要的是将其转化为可靠且可扩展的产品。