钛媒体独家对话Amazon Bedrock总经理:大模型太多,也太早,客户需要有多个选择

客户需要有多个选择,去弥补模型参差。

  图片来源@pixabay

当下,多数云计算企业的生成式AI布局,往往局限于自家训练的基础大模型,然后招揽生态伙伴以拓宽能力边界。

这一举措出于企业自身商业利益考量可以理解,但是对于客户而言,却并不能完全接受。显然,能够有更多模型的选择对客户而言非常重要。这一方面在于,大模型创新的天花板还远远没有打开,不同模型提供商的能力自然也会有参差,另一方面也跟客户需求场景相关,没有任何一个模型能满足所有场景,那么针对不同的用例,客户需要有多个选择,可能还不是一两家,会有多个模型同时参与,去弥补这种参差。

不是以OpenAI为中心,也不是以其他任何一个模型为中心,而是以客户为中心。过去,亚马逊云科技90%以上的产品都是从客户需求推导而来。亚马逊云科技的生成式AI战略也基本跟随这种路径。

当然,亚马逊云科技也构建有自己的基础大模型Amazon Titan,于2023年4月发布。这源自亚马逊云科技自身在人工智能技术方面的积累,比如此前知名的语音助手Alexa、无人机Prime Air、无人零售Amazon Go等,就用到了大量语音、语义、视觉相关的机器学习技术。

亚马逊云科技Amazon Bedrock总经理Atul Deo指出,如果亚马逊云科技没有自己的一方模型,意味着必须完全依赖合作伙伴。而从头开始构建模型,其实也在给自己提供了“事必躬亲”的问题解决思路。

为此,我们能看到一个蛮有意思的现象:由于Amazon Bedrock提供了企业构建生成式AI应用程序所需的一系列功能,能够在实现简化开发的同时确保隐私性和安全性。在Amazon Bedrock上,客户能够找到Amazon Titan,也能够找到当前业内主流的大模型版本,包括Anthropic、Stability AI、AI21 Labs、Meta、Cohere、Mixtral的模型……这个名单仍在快速扩充。

北京时间4月23日晚间,亚马逊云科技公布了Amazon Bedrock的多项功能更新,这些能力整体上为客户提升了开发生成式AI应用的效率。包括:

1、全新专有模型导入功能推出预览版:可将客户的定制模型(包括使用Amazon SageMaker机器学习平台或其他工具开发的模型)集成至Amazon Bedrock,以完全托管的API形式进行访问,减少运营成本并加速应用程序的开发。Amazon Bedrock专有模型导入功能现已推出预览版并支持三种受欢迎的开放模型架构:Flan-T5、Llama和Mistral,并计划未来支持更多模型。

2、模型评估功能正式可用:为客户评估、比较和选择适合其应用程序的最佳模型,将评估模型的时间从几个星期缩短到几个小时,促使客户应用创新并改善用户体验。通过选择预定义的评估标准(如准确性和鲁棒性)并上传自有数据集/提示词库,或者从内置的、公开可用的资源中进行选择。对于主观标准或需要细致判断的内容,Amazon Bedrock将人工审核融入工作流程中,以根据特定应用场景的指标(如相关性、风格和品牌声音)对模型进行评估。评估后还会提供评估报告,以为更多模型使用者提供参考。

3、Guardrails安全功能正式可用:在基础模型的原生能力之上提供安全保护,能够阻止高达85%的有害内容。允许客户在单一服务中同时拥有内置和定制的防护机制,并可与Amazon Bedrock中的所有大语言模型以及经过微调的模型一起使用。可实施防护措施,去除个人信息和敏感信息、亵渎语言、特定词汇并屏蔽有害内容。

功能更新之外,亚马逊云科技此次还在Amazon Bedrock上提供了一系列新模型,包括正式可用的Amazon Titan Image Generator图像生成模型、Meta Llama 3(8B和70B),以及Amazon Titan Text Embeddings V2预览版,Cohere的Command R和Command R+三款模型也即将推出。

其中,Amazon Titan Text Embeddings V2预览版,针对使用RAG检索增强生成的应用场景进行了优化,非常适合如信息检索、问答聊天机器人和个性化推荐等任务。许多企业采用RAG技术,通过连接到知识源以增强基础模型的生成结果,但问题是运行这些操作可能会消耗大量计算和存储资源。Amazon Titan Text Embeddings V2在降低了存储和计算成本的同时,保持了使用RAG检索结果的准确性。

生成式AI不仅仅是大模型,同样也需要加速芯片、数据库、数据分析、数据安全服务等服务做支撑。从底层的加速层如加速芯片、存储优化,到中间层模型构建工具和服务,再到最上层的生成式AI相关应用,能够看到,亚马逊云科技试图为客户提供构建生成式AI所需的端到端技术栈。

在此次发布前夕,Atul Deo与钛媒体进行独家交流,Atul分享了对生成式AI的价值判断,技术方法论,以及Amazon Bedrock助力客户成功等看法。Atul目前负责Amazon Bedrock的产品管理和工程工作。在亚马逊云科技机器学习团队期间,Atul负责推出和发展了多项云服务,包括Amazon Q、Amazon CodeWhisperer、Amazon Transcribe和Amazon Connect的Contact Lens。

观点摘录:

1.“数据卫生这项工作非常具有挑战性”

2.“(改变的)一切都取决于客户以及我们试图解决的具体问题”

3.我们无法彻底消除幻觉,但会有越来越多的前沿研究涌现

4.“过早地指出哪些模型被广泛应用还为时尚早”

5.“技术所带来的颠覆性、对客户体验的改变及其可能性都是真实存在”

以下是对话实录,经钛媒体编辑整理。

钛媒体:大公司和小而精的团队,在当下实现AI技术创新、产业赋能方面,会有哪些不同优势?

Atul:就针对客户应用部署而言,我不认为大公司和小企业之间会存在哪些明显差异,它们之间有很多共通之处。我们都想为大公司尝试不同模式。当前Data Hygiene(数据卫生)这项工作非常具有挑战性。当你为较小的公司部署应用时,管理并确保模型训练所需的私域数据实现高质量和一致性相对容易。但对于规模较大的公司,有大量差异化数据,且数据更加分散,管理数据会更具挑战性。另一方面,初创企业可以通过承担更多的风险更快地行动,它们没有像大型客户这样的现有客户群,可能会出错,也会在试错中快速迭代创新。

钛媒体:AWS想要做GenAI这件事情,最终希望解决什么问题?

Atul:我们正在积极探索新的可能性。无论客户希望自主构建模型,还是希望对现有模型进行深度定制,我们希望构建一套生成式AI堆栈,让客户使用到丰富且一流的工具,除此之外,还有Amazon SageMaker,基于NVIDIA提供的丰富实例类型,我们还积极研发定制芯片,涵盖训练和推理两大领域,以满足更精细化的需求。

通过这一系列从底层到中间层的创新,我们的目标是:让企业内的任何开发人员都能够自由构建生成式AI应用,而无需关注复杂的机器学习或底层基础设施。我们坚信,所提供的工具将达到行业最高水准,帮助他们实现应用的创新突破。

目前,我们推出了Amazon Q business和Amazon Q developer两个版本。Amazon Q business旨在为企业中的每位员工配备一位专业顾问,确保他们能够快速获得解答并高效完成任务;而Amazon Q developer则专注于提升开发人员的工作效率,为之提供即时的解答,以顺利完成手头的具体工作。这正是Amazon Q的最终目标,也是我们不懈追求的方向。

钛媒体:对AWS自身的产品和业务结构真正意义上带来改变,可能需要多久?如何在这个领域建立我们的领导力?

Atul:实际上,一切都取决于客户以及我们试图解决的具体问题。我们已经看到数以万计的客户正在使用SageMaker来改变其客户体验。这些变化有的已经发生,有的则需要一些时间。因此,对于何时能够期待显著变化,确实没有一个固定的答案。

举例来说,纽约证券交易所正在利用Bedrock来分析处理众多监管文件,并将复杂的法规内容转化为易于理解的语言,这一举措将对最终用户产生深远影响;同时,电子健康记录技术供应商Netsmart通过应用相关技术,成功将患者健康管理记录的时间缩短了50%,这无疑为医生腾出了更多时间,使他们能够照顾到更多的病人。

今天我们已经看到了对最终用户的一些积极影响,但我相信这仍然是一个需要时间来逐步发展和普及的过程。然而,这一进程的进展速度是相对较快的,已经形成了不可小觑的势头。因此,我无法确切预测是在今年年底还是明年,生成式人工智能将变得非常普遍。不过,可以肯定的是,它正在逐步改变我们的世界,为我们带来更多的便利和可能性。

钛媒体:像RAG用于解决幻觉问题,但有些论文里提了幻觉仅靠RAG也无法解决,在企业级应用中,如何测评幻觉存在程度,以及在具体应用时的影响?

Atul:尽管我们无法彻底消除这个问题,但随着时间的推移,我相信会有越来越多的前沿研究涌现。你将看到客户在处理幻觉方面取得了更多的进步与改进。我可以明确地告诉你,这个问题虽然无法完全解决,但作为我们行动的一部分,它确实有助于减少其影响,只是无法彻底消除。随着时间的推移,无论是模型内部还是外部,都将出现创新,从而帮助客户更好地应对这种模式。

钛媒体:模型间的协作问题,客户在多个模型使用时,AWS目前有哪些比较好的解决思路?

Atul:对于客户而言,这个问题显而易见。因此,我们特别推出了一项名为模型评估的功能,该功能已于去年12月发布,并计划于明天全面上线。从本质上来说,这一功能旨在帮助客户在给定的一组提示上比较不同模型的性能,以便它们能够选择更符合自身特定用例的模型。

要实现这一目标,客户有三种方式可供选择。首先,他们可以在控制台中根据给定的提示比较不同模型的性能;其次,客户可以利用自动化评估功能,在不同数据集上运行不同的模型或使用标准行业数据集,从而查看哪些模型表现优异;最后,客户还可以借助公司内部的专业团队,以不同的方式评估模型,确定哪种模型符合他们的期望。最终,客户将从Bedrock获得一份详尽的报告,根据他们设定的标准,报告将展示模型的表现以及如何决定哪些模型对其有意义。

钛媒体:AWS在AI伦理方面的举措有哪些?

Atul:我们正与多个政府组织进行广泛合作。以我们推出的Titan图像生成器为例,该工具具备水印功能,能够添加不可见的水印,帮助客户判断生成的图像是否由人工智能生成。除此之外,我们还与一些列其他组织合作,确保以负责任的方式使用人工智能。

钛媒体:AWS在自研芯片方面的经验是什么?

Atul:多年来,我们一直在芯片领域进行投资,且早在2015年收购了芯片设计公司Annapurna Labs。尽管我们最初的重点是面向虚拟化和通用计算芯片,但随后我们专注于开发专门用于机器学习的AI芯片。例如,用于人工智能训练和推理的两款专用芯片Amazon Trainium和Amazon Inferentia。

得益于多年来对芯片开发的持续投资,我们有了更多机会对这些芯片进行迭代和改进,以确保其性能和稳定性。这些改进恰逢其时,因为生成式人工智能对计算能力的需求日益增长。

钛媒体:Bedrock上有很多模型,你是否观察到哪个模型最受客户欢迎,比如Meta和Anthropic?

Atul:目前,我们尚不会透露各模型提供商的具体性能表现。但我想说的是,这些模型受到了广大用户的青睐。这主要是因为模型的选择取决于具体的应用场景,人们会根据不同的需求来选用不同的模型。因此,过早地指出哪些模型被广泛应用还为时尚早。(本文首发于钛媒体APP, 作者|杨丽,编辑 | 盖虹达)  

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 【继续思考】AWS构建的大模型基础设施优势已经凸显,观点摘录4还是提到“过早指出哪些模型被广泛应用还为时尚早”,是因为跑的业务场景还不够多,即数据量不够做分析,是吗?

    回复 4月29日 · via pc
  • 【内容提炼】 AWS公布了Amazon Bedrock多项功能更新,包括: (1) 全新专有模型导入功能(预览版) (2) 模型评估功能(正式版,正式可用);效果:将模型评估时间从几周缩短到几小时 (3) Guardrails安全功能正式可用;效果:能够阻85%的有害内容 生成式AI不仅是大模型,同时需要加速芯片、数据库、数据分析和安全等服务做支撑。从底层的加速曾如加速芯片、存储优化,到中间层模型构建工具和服务,再到最上层的生成式AI应用,能够看到,AWS试图为客户提供构建生成式AI所需的端到端技术栈。 【继续思考】

    回复 4月29日 · via pc
  • 过去,AWS九成以上产品都是由客户需求推导而来。现在,生成式AI也遵循这条路径。希望有机会,能通过具体的案例,讲讲具体是怎么由客户需求推导而来的。

    回复 4月28日 · via pc
  • 大模型也还是在初级阶段,需要完善

    回复 4月26日 · via iphone
  • 如同改革之初也是摸着石头过河

    回复 4月26日 · via iphone
  • 大模型客户需要有多个选择是正常的诉求

    回复 4月26日 · via iphone
  • 现在的大模型是早期的,需要弥补完善

    回复 4月26日 · via android
  • 总有个过程,新车还有个磨合期呢

    回复 4月25日 · via iphone

快报

更多

2024-12-22 22:40

招商策略:展望2025年,建议关注政策十大领域

2024-12-22 22:20

巴克莱:预计美联储将于明年6月后暂停降息,直至2026年年中

2024-12-22 22:19

白云山再现高管接受调查

2024-12-22 22:14

下周(12月23日-29日)市场大事预告

2024-12-22 21:41

我国北方5省区拥有全国近四成耕地

2024-12-22 21:34

平均年化净值涨幅为3.64%,个人养老金理财全部斩获正回报

2024-12-22 21:21

惠云钛业:股东拟减持不超过3%公司股份

2024-12-22 21:06

险企今年发债创历史新高

2024-12-22 21:04

本周末6家上市公司或相关方被立案调查

2024-12-22 20:29

新疆电力中长期年度交易首破千亿千瓦时,新能源占比近三成

2024-12-22 20:27

本周20家上市公司公告披露回购增持再贷款相关情况

2024-12-22 20:21

12月22日新闻联播速览16条

2024-12-22 20:17

超20家A股上市公司本周披露并购重组最新公告

2024-12-22 20:16

爱科赛博:陕西省集成电路产业投资基金拟减持不超1%公司股份

2024-12-22 20:15

专家:金融体系需适应性调整,发展科技金融和多层次资本市场,满足科技创新融资需求

2024-12-22 19:09

宏柏新材:两股东拟合计减持不超4.97%公司股份

2024-12-22 19:01

中信建投策略陈果:跨年行情进行时,AI+是中期主线

2024-12-22 18:54

肖钢:加强金融AI算法和模型治理

2024-12-22 18:44

墨西哥总统:相信国会明年将禁止在该国种植转基因玉米

2024-12-22 18:32

星巴克员工在纽约等四个美国城市扩大罢工

9

扫描下载App