赵何娟:我们准备好面对GPT大模型的瓶颈期了吗?

这个瓶颈期会有多长,还很难判断,但无论是三个月、半年还是一年或更长,可能对于我们来说都会是比较难熬的一段时间。

我最近几个月都在忙着全球市场调研和钛媒体海外办公室的筹建,所以发布视频有一搭没一搭,但没想到我这样任性的博主,也能收到很多用户的催更和问询了,比如很多人在问我GPT-5为何还没发布啊,硅谷最近有爆发什么新的创业应用方向吗等等。

我能感受到大家很着急很焦虑,但我们现在需要更多的是耐心不是着急。几个月前我就在一个公开演讲里预言,大家期望的今年作为大模型应用爆发元年可能不会来到,说爆发还为时尚早,只能算开始。

大模型这几个月的发展验证了我的说法。包括硅谷最近在技术圈也一直流传一个说法那就是GPT-5的内部测试失败了,今年已不大可能推出。因为基于Transformer的GPT类模型已经进入了扩展瓶颈,且除了聊天和一些比如编程、文本、设计、办公等工作流辅助类应用,很难全面应用于市场,而这些GPT-4o已经足够支撑。原有架构再升级短期内很难有质的突破。这些瓶颈包括模型自身架构扩展能力,也包括数据瓶颈,甚至也包括安全和伦理需求的应对瓶颈,还有因为应用局限带来的市场需求本身的瓶颈。

而一贯更善于追随的中国大模型和应用创业者们又是否为此做好了变道的准备?

这个瓶颈期会有多长,还很难判断,但无论是三个月、半年还是一年或更长,可能对于我们来说都会是比较难熬的一段时间。

好消息是,基于美国一些科技媒体的报道猜测,还有我从多方面了解的信息,OpenAI可能正在考虑推出一个新的模型方向产品,不再局限于Transformer的架构,或被命名为“Orion”(也有人说或被命名GPT-NEXT),Orion是猎户座(Orion)的拉丁名称,象征着力量、探险和发现,具有强烈的探索未知的神话意义,NASA的猎户座飞船(Orion spacecraft)也以此命名,用于未来载人深空探索任务。

如果最终真的以此代号命名,或许暗示了OpenAI将此作为AI真正新纪元的开始,而非此前的GPT。但目前对于这一代号,OpenAI官方是既没有承认也没有否认的状态。Orion模型也是OpenAI内部代号为“草莓”(Strawberry)系统项目的一部分,有报道称在内部演示草莓系统,Orion模型的推理能力已经远高于GPT,幻觉极错误率却远低于GPT。

根据多方面的信息,我总结了几点Orion可能和GPT模型的不同,Orion虽然仍可以被归类为大语言模型(LLMs),但它可能在技术架构上与现有的GPT系列有显著的不同。以下是一些可能的技术差异和演进方向:

1. 基础架构的演进

  • 新型架构:Orion可能采用更新的模型架构,不再局限于GPT系列使用的Transformer架构。它可能引入更高效的模型组件或完全新的神经网络设计,以提升模型的计算效率、推理能力和生成质量。

  • 模块化设计:Orion可能采用更加模块化的设计,使其更容易集成不同类型的数据源(例如文本、图像、音频等),从而实现多模态处理能力。这与现有的GPT模型相比可能是一个重要的区别。

2. 多模态能力

  • 跨模态学习:Orion可能不仅仅是一个语言模型,而是一个能够处理和生成多种数据形式的模型,例如图像、声音和视频。这种多模态能力可能通过融合不同类型的数据来增强模型的理解和生成能力,使其适用于更广泛的应用场景。

  • 联合训练:Orion可能采用联合训练方法,让模型在多个模态上同时学习,从而在理解上下文和生成内容时更加全面和准确。这可能是与传统GPT模型的关键区别,后者主要专注于文本数据。

3. 安全性与可控性

  • 增强的控制机制:在安全性和可控性方面,Orion可能引入更多的内置控制机制,以避免生成有害或不适当的内容。这可能包括新的过滤算法、增强的上下文理解能力,以及更高层次的可解释性功能。

  • 动态调整能力:Orion可能具备更强的动态调整能力,根据用户的需求和反馈实时调整模型的输出风格和内容,这是GPT系列目前在某些方面仍做不到的。

4. 优化计算与能源效率

  • 计算效率:Orion可能会采用新的技术来提升计算效率,例如稀疏激活、压缩技术或其他形式的优化,以在保持模型性能的同时减少计算资源的消耗。这可能使得Orion比GPT模型在实际应用中更具成本效益。

  • 能源效率:在能源消耗上,Orion可能更加注重优化,考虑到环境影响和资源限制,这一点在未来的AI发展中会变得越来越重要。

5. 应用场景的扩展

  • 行业定制化:Orion可能更专注于行业定制化应用,提供针对不同行业需求的优化模型,而不仅仅是一个通用的大语言模型。这种定制化可能涉及更深入的行业知识整合和特定领域的数据训练。

  • 交互性增强:Orion可能在交互性上有显著提升,能够更好地理解用户意图和需求,提供更自然和智能的交互体验。

总之,Orion作为大语言模型的发展方向,可能会在架构、功能和应用场景上进行显著的拓展和改进。

至于未来Orion和GPT会是什么关系,是短期的应对瓶颈期的权宜之计,还是长期对GPT的替代,亦或是两种模型路线各自升级的并存,可能都要有待于在OpenAI的发展中确定了,我们只能拭目以待。

(本文首发于钛媒体App,作者赵何娟为钛媒体创始人&CEO)

关注“赵何娟”,更快了解全球经济、科技新趋势。

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

2024-11-02 23:03

融创服务:年内已购买6.5亿元理财产品,拟将尚未动用IPO募资购买理财

2024-11-02 22:33

步步高一购物中心发生火灾 :今日下午明火已扑灭 无人员伤亡

2024-11-02 22:21

河北发布大雾橙色预警,部分地区能见度不足200米

2024-11-02 22:21

山东兰陵县一铁矿发生事故,已造成3人死亡4人被困

2024-11-02 21:57

鄂尔多斯:可提取公积金付购房首付款,买保障房首付最低15%

2024-11-02 20:51

伯克希尔哈撒韦Q3继续减持苹果,减持幅度达25%

2024-11-02 20:50

工信部:全面精准开展关键核心技术攻关,加快实现高水平科技自立自强

2024-11-02 20:30

受雾大影响,首都地区环线高速公路双向北京段全线封闭

2024-11-02 20:23

伯克希尔哈撒韦持有价值699亿美元的苹果股份

2024-11-02 20:23

伯克希尔哈撒韦第三季度现金储备升至3252亿美元

2024-11-02 20:08

伯克希尔Q3总营收为929.95亿美元,去年同期为932.10亿美元

2024-11-02 19:56

11月2日新闻联播速览22条

2024-11-02 19:52

唐钱婷夺得游泳世界杯女子50米蛙泳金牌

2024-11-02 19:49

东阿阿胶声明:积极响应国家医保局有关公告

2024-11-02 19:48

广西南宁宾阳县发生房屋倒塌,已致3人遇难

2024-11-02 19:16

国家电投密集资本运作:打造水电和核电整合平台,黄河水电去向颇受关注

2024-11-02 19:10

日本四大车商10月在美新车销量增长1.8%

2024-11-02 18:43

二十届中央第四轮巡视开始进驻

2024-11-02 18:29

气象专家:我国暴雨日数在增多

2024-11-02 17:51

江苏神通:核电行业的发展及存量机组的增加,将带来更多稳定的业务机会和收入来源

扫描下载App