如果你的人工智能看起来更聪明,那要归功于更聪明的人类训练员

2024-09-28 23:26:17 科技 admin

  早年,要让人工智能模型(如 ChatGPT或 其竞争对手Cohere)做出类似人类的反应,需要大量低成本员工帮助模型分辨基本事实,如图像是汽车还是胡萝卜。但是,在激烈的竞争中,人工智能模型的更新越来越复杂,现在需要一个迅速扩大的人类培训师网络,这些培训师都具有专业知识,从历史学家到科学家,有些还拥有博士学位。

  Cohere 的联合创始人伊万·张(Ivan Zhang)在谈到公司内部的人工智能培训师时说 :“一年前,我们还可以雇用本科生,让他们教人工智能如何改进。现在,我们让有执照的医生教模型如何在医疗环境中表现,或者是金融分析师或会计师。”

  在更多培训方面,Cohere 公司与一家名为 Invisible Tech 的初创公司合作,该公司的最新估值超过 50 亿美元。 Cohere 是 OpenAI 的主要竞争对手之一,专门为企业提供人工智能服务。

  初创公司Invisible Tech雇用了数千名培训师,他们都是远程工作,并已成为从AI21到微软等人工智能公司的主要合作伙伴之一,负责训练他们的人工智能模型,以减少错误(在人工智能领域被称为幻觉)。

  “Invisible 创始人弗朗西斯·佩德拉萨(Francis Pedraza)说:”我们在全球 100 多个国家拥有 5000 名博士、硕士和知识工作专家。

  Invisible 的时薪高达 40 美元,具体取决于工人的工作地点和工作的复杂程度。Outlier等一些公司的时薪高达50美元,而另一家名为Labelbox的公司表示,它为量子物理学等 “高精尖 ”学科支付的时薪高达200美元,但为基础学科支付的起薪为15美元。

  Invisible 公司成立于 2015 年,是一家工作流程自动化公司,主要为食品外卖公司DoorDash 等提供外卖菜单数字化服务。但事情发生了变化,2022 年春天,在 ChatGPT 公开发布之前,一家名为 OpenAI 的相对不知名的研究公司联系了他们。

  “OpenAI向我们提出了一个问题,那就是当你向早期版本的ChatGPT提问时,它会产生幻觉。你无法相信它的答案,”Pedraza 告诉记者,“他们需要一个先进的人工智能训练合作伙伴,在人类反馈的基础上提供强化学习”。

  生成式人工智能根据过去用于训练它的数据生成新内容。不过,有时它无法区分真假信息,会产生被称为幻觉的错误输出。一个显著的例子是,2023 年,谷歌聊天机器人在一个宣传视频中分享了关于哪颗卫星首次拍摄到地球太阳系外行星照片的不准确信息。

  人工智能公司意识到,幻觉会破坏 GenAI 对企业的吸引力,因此正在尝试各种方法来减少幻觉,包括使用人类培训师来教授事实和虚构的概念。

  Invisible 表示,自从加入 OpenAI 以来, 它已成为大多数 GenAI 公司的人工智能培训合作伙伴,其中包括 Cohere、AI21 和微软。Cohere和AI21确认它们是客户。微软没有确认自己是 Invisible 的客户。

  Pedraza说:”这些公司都面临着培训方面的挑战,它们的首要成本是计算能力,其次才是高质量的培训。”

  它是如何运作的?

  OpenAI 掀起了 GenAI 的热潮,它有一个研究人员团队,被恰当地命名为 “人类数据团队”,该团队与人工智能培训师合作,收集专门的数据,用于训练 ChatGPT 等模型。

  一位熟悉该公司工作流程的消息人士说,OpenAI 的研究人员与来自 Invisible 和其他供应商的人工智能培训师合作,提出了各种实验方案,如减少幻觉或改进写作风格等。

  该人士说,在任何时候,都会有数十个实验在进行,其中一些使用 OpenAI 开发的工具,另一些则使用供应商的工具。

  根据人工智能公司的需求 --从更好地掌握瑞典历史到进行金融建模--Invisible 会为这些项目聘用拥有相关学位的员工,从而减轻人工智能公司管理数百名培训师的负担。

  佩德拉萨说:“OpenAI拥有世界上最令人难以置信的计算机科学家,但他们不一定是瑞典历史、化学问题、生物问题或任何你能问到的问题的专家。”他补充说,仅为OpenAI提供服务的合同工就超过1000人。

  Cohere公司的张先生说,他曾亲自使用Invisible公司的培训师,寻找一种方法来教GenAI模型从大数据集中寻找相关信息。

  竞争

  Scale AI 是这一领域的竞争者之一,它是一家私人初创公司,最新估值为 140 亿美元,为人工智能公司提供训练数据集。它还涉足提供人工智能培训师的领域,OpenAI 也是它的客户。 Scale AI 没有回应本报的采访请求。

  自 2021 年开始盈利的 Invisible 只筹集了 800 万美元的原始资本。Pedraza 说:”我们 70% 的股份归团队所有,只有 30% 的股份归投资者所有。“我们确实促成了第二轮融资,最近的交易价格是 5 亿美元估值。”

  人类培训师最初是通过数据标注工作进入人工智能培训领域的,这种工作对资质要求较低,报酬也较低,有时低至2美元,大多由非洲和亚洲国家的人完成。

  随着人工智能公司推出更先进的模型,对专业培训师和数十种语言培训师的需求也在增加,这就形成了一个高薪的利基市场,来自不同学科的工人甚至不懂代码就能成为人工智能培训师。人工智能公司的需求导致更多提供类似服务的公司应运而生。

发表评论: