5亿个token之后，我们得出关于GPT的七条宝贵经验

初创公司 Truss 的 CTO Ken Kantzer 分享了其公司使用大型语言模型（LLM）的经验，并总结出了七条宝贵经验：

Truss在过去六个月内发布了一些依赖于LLM的功能，在通过处理超过5亿个令牌后，我们发现LLM的现实应用与Hacker News上的讨论开始出现分歧。以下是我们从实际应用中得到的一些“令人惊讶”的教训。

首先，我们使用的是OpenAI模型，主要是GPT-4和GPT-3.5，并且只处理文本数据。作者提出了以下几点经验：

1. 提示（prompts）的简洁性：作者发现，如果某些指令已经是常识，那么在提示中不过多列举具体列表或指令会产生更好的结果。这与编程中必须明确所有事项的原则不同。

2. 对于某些功能，只需要使用OpenAI的Chat API即可，不需要其他额外的功能，如Langchain。作者指出，一个强大的通用模型可以简化开发流程。

3. 使用流式API和向用户显示可变速度输入的文本字符是ChatGPT用户体验的一个重要创新。

4. GPT在生成空假设（null hypothesis）方面的不足：GPT倾向于产生幻觉而不是返回空输出，这会导致它缺乏信心，返回空白的次数比应该的要多。

5. “上下文窗口”（context windows）的局限性：虽然GPT-4可能有128k令牌的输入窗口，但其输出窗口仅为4k。此外，GPT在返回多个JSON对象的列表时存在限制，通常无法返回超过10个项目。

6. 向量数据库和RAG/嵌入（embeddings）对于大多数普通用户来说是不必要的：作者认为这些技术更适合用于搜索引擎，而不是普通的商业应用程序。

7. 幻觉（hallucination）的发生并不常见：在Truss公司的用例中，GPT在提取文本中的公司名称时并不会随机生成公司名。

最后，对于未来的发展方向我们的看法是：

• 我们不会通过现有的 Transformer模型、互联网数据和基础设施实现通用人工智能（AGI）。
• GPT-4是非常有用的，它降低了进入机器学习和人工智能领域的门槛。
• 当前对LLMs/AI的关注并不需要太多，重要的是关注GPT-5的发布。
• 对于GPT-5的期望，我们认为可能会是渐进式的改进，但不会是革命性的改变。