原文标题:OpenAI makes its Jev competitor widely available as decision model competition heats up

OpenAI 首次向用户广泛提供其决策 API 模型,进入了快速、廉价的智能市场,最近使得 TypeSafe(一家由前沿实验室前研究员创立的初创公司)成为一家价值 76 亿美元的公司。

TypeSafe 的 Jev 模型为深度学习模型创建了一个类别,充当超级分类器:给定一组选项,他们可以快速做出选择并为其决策提供置信度评级。软件开发人员很快发现,这些决策或系统一模型可以在各种工作流程中取代法学硕士,运行速度更快,成本也大大降低。

OpenAI 的 API 产品负责人 Nikunj Handa 告诉 TechCrunch,他的同事看到 Jev 后说:“哇,我们有大约一百万个这样的用例。” Handa 的团队迅速提供了自己的版本:该团队没有构建专门校准的决策模型,而是采用了 ChatGPT Luna 并重新配置它以加快推理速度并降低成本。

“Decisions API 最大的突破在于速度,将时间从 1 到 3 秒缩短到 100、120、180 毫秒,”Handa 说。 “将来,我们可能会接受专门的培训来使我们的

模型在这些方面更喜欢。但现在,只有普通的老卢娜才能完成这项工作。”

该决策 API 在 9 月 29 日的公司开发者日上宣布,于周四向所有客户开放。 OpenAI 在公共版本中添加了新的语音和视觉模式,并致力于通过在地理上定位其推理资源来确保世界各地较低的延迟。

在与 Box、Datadog、Ramp 和 Speak 等客户的初步试验中,工程师使用 API 来取代具有更高吞吐量的 OpenAI 的 LLM。打造人工智能语言导师的 Speak 首席技术官 Andrew Hsu 表示,Decisions API 使公司能够将操作之间的时间从 1.4 秒缩短到 0.13 秒。 OpenAI 还使用该产品来提高 Dots 语音助手的响应能力。

尽管如此,除了“它适合你”之外,还不清楚什么才是一个好的决策模型——智能、成本、校准和速度的优化似乎因工作负载而异。 TypeSafe 首席执行官 Diogo Almeida 不信任基准测试,并敦促人们在自己的工作中试用这些模型,但就连 TypeSafe 也在上周发布了最新的 Jev 的同时也发布了自己的排名

模型,其中包括新功能,包括对图像和智能 if 语句的支持。

AIM System One Index 和 Artificial Analysis Decision Index 等公共基准倾向于青睐 Liquid 上周发布的新决策模型 D1 Ultra 和 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上仍然具有竞争力,排名第七和第三,而 OpenAI 的决策模型分别下降到第八和第十四。然而,TypeSafe 的产品目前是 OpenRouter 上查询最广泛的。

然而,最有趣的 Jev 基准是 JevMan,这是决策模型玩 PacMan 的基准;最新的 JEV 车型位居榜首。建立基准的 Opper AI 首席增长官 Felix Wunderlich 表示,这款经典游戏“是一项有趣的测试,因为它会不间断地做出快速、高风险的决策。在每个路口,模型都必须在几百毫秒内决定去哪里。”

OpenAI 可以说功能更强大的模型可能在多模态方面具有优势——对于图像分类,“Luna 非常强大,并且已经表现出更好的校准,”Handa 告诉 TechCrunch,并补充说 OpenAI 客户希望 Decisions API

使用图像作为输出也更加灵活。

Handa 还看到了新用例的速度进一步提高:“我们能否将其达到 60 毫秒的速度,然后您可以想象像视频中的每一帧一样调用 API 之类的东西吗?”

随着这些服务变得更快、更便宜,我们可以预期它们将不辜负杰夫的同名经济学家,他解释了如何更有效地使用资源使其变得更加普遍。或者,正如 Handa 所看到的那样,将会有一个不断扩大的“疯狂的用例集”,这些用例一直隐藏在人们的视线中,直到决策模型揭示它们。