TypeSafe 基础AI 入门

大多数 AI 产品围绕模型与人之间的对话构建。TypeSafe 出发于一个不同的判断：大规模自动化将由 AI 与 AI、AI 与软件之间的交互主导，因此机器接口比聊天接口更重要。

我们称之为机器原生智能（Machine Native Intelligence）：

具备类软件属性的 AI，例如结构化、可靠性、可观测性、可测试性、速度、一致性以及低成本。

构建生产级系统，而不是造神

TypeSafe 并不试图构建一个无所不能的模型。它面向的是生产系统——代码需要一个它可以检查并据以行动的狭窄决策。

我们预计，大规模 AI 自动化将接近 99% 的机器间交互加 1% 的人机交互。这将设计目标从“读起来感觉很好的回复”转向“在软件中行为可预测的输出”。

阅读 TypeSafe 宣言。

三种后训练方法

预训练语言模型此前已有两种主要的适配方式，TypeSafe 增加了第三种。这里展示 RLHF 和 RLVR 作为背景；TypeSafe 的训练路径是 RLCD。

RLHF

基于人类反馈的强化学习（Reinforcement learning from human feedback）把预训练模型变成了聊天机器人。它训练模型生成人们偏好的回复。

RLVR

基于可验证奖励的强化学习（Reinforcement learning with verifiable rewards）造就了推理模型，它们擅长数学等任务，但更慢也更贵。

RLCD

面向校准决策的强化学习（Reinforcement learning for calibrated decisions）训练 TypeSafe 返回决策和校准的概率，而不是生成的文本。

RLHF 曾用于训练 InstructGPT 和 ChatGPT，其共同发明人之一 Diogo Almeida是 TypeSafe 的联合创始人。

Pretrained language models branch into muted RLHF and RLVR paths and an emphasized RLCD decision-model path.

RLCD 与校准的决策

RLCD 针对一种不同的输出契约进行优化：

  • 模型不生成文本。
  • 它返回决策和概率。
  • 更高的概率应当对应答案正确的更大可能性。

校准让不确定性变得可供软件使用。对于校准良好的模型的大量预测：

  • 被赋以 0.2 概率的结果应在约 20% 的情况下发生。
  • 被赋以 0.8 概率的结果应在约 80% 的情况下发生。
  • 被赋以 1.0 概率的结果应 100% 发生。

这些比率描述的是成组的预测，并不是对任何单个答案的保证。关于何时应让软件采取行动、何时应升级的指导，请参见置信度。

RLHF 的问题

RLHF 教会模型说人们偏好听的话。这个目标对聊天机器人很有效，但它也可能奖励谄媚和听起来很自信的幻觉。

偏好优化还会导致模式丢失（mode dropping）：模型学会偏爱某种特定风格（例如遵循指令），同时降低其他可能输出的概率。

The probability distribution of a base model compared with a narrowed, mode-dropped distribution after RLHF.

一个输出可能对人很有说服力，却不足以可靠到可以在无人值守的自动化中使用。人类偏好和机器可信度是不同的优化目标。

模式丢失是模式坍缩（mode collapse）的较轻版本。在生成对抗网络的这种经典失败模式中，生成器学会反复生成同一类输出，因为这类输出能持续骗过判别器。

Mode collapse analogy
Repeated characters illustrate a GAN suffering from mode collapse.

RLHF 依然适合会话模型。TypeSafe 的立场是：生产自动化需要一种不同的训练目标——一种以受约束的决策和校准的不确定性为中心的目标。