“大厂垄断大模型”,会被开源终结吗?

聚焦 >
阿尔法工场
分享

谷歌和OpenAI在AI方面的种种积累,最终真的会败给一群隐藏在民间的“草头侠”吗?

最近,正在进行AI大战的各个大厂,被谷歌泄漏的一份内部文件,翻开了窘迫的一面。

这份泄露的内部文件声称:“我们没有‘护城河’,OpenAI 也没有。当我们还在争吵时,第三个方已经悄悄地抢了我们的饭碗——开源。”


(资料图片仅供参考)

这份文件认为,现在的一些开源模型,一直在照搬谷歌、微软这些大厂的劳动成果,并且双方差距正在以惊人的速度缩小。开源模型更快、可定制性更强、更私密,而且功能性也不落下风。

比如,这些开源模型可以用 100 美元外加 13B 参数,加上几个礼拜的时间就能出炉,而谷歌这样的大厂,要想训练大模型,则需要面对千万美元的成本和 540B 参数,以及长达数月的训练周期。

那么,事实是否真的像这份文件所说的那样,谷歌和OpenAI在AI方面的种种积累,最终真的会败给一群隐藏在民间的“草头侠”?

所谓“大厂垄断大模型”的时代,真的要终结了吗?

要回答这个问题,我们就得先了解下目前开源模型的生态,看看这些如雨后春笋般涌现的开源模型,究竟是如何一步步蚕食谷歌这些“正规军”的江山的。

01 异军突起的开源模型

其实,最早的开源模型,其诞生完全是一场“偶然”。

今年2月,Meta发布了自家的大型语言模型LLaMA,参数量从70亿到650亿不等,并仅用130亿的参数,就在大多数基准测试下超越了GPT-3。

但万万没想到的是,刚发布没几天,LLaMA的模型文件就被泄露了。

至此之后,开源模型的浪潮就如决堤一般,变得一发不可收拾。

如八仙过海一般的ChatGPT开源替代品——「羊驼家族」,随即粉墨登场。

与ChatGPT这类大模型相比,此类开源模型最显著的特点,就是训练成本与时间都极其低廉。

以LlaMA的衍生模型Alpaca为例,其训练成本仅用了52k数据和600美元。

然而,如果开源光靠低成本,还不足以让谷歌这类大厂感到威胁,重要的是,在极低的训练成本下,这些开源模型还能屡次达到和GPT-3.5匹敌的性能。

这下谷歌和OpenAI就坐不住了。

斯坦福研究者对GPT-3.5(text-davinci-003)和Alpaca 7B进行了比较,发现这两个模型的性能非常相似。Alpaca在与GPT-3.5的比较中,获胜次数为90对89。

重点来了:这些开源模型,究竟是怎么做到这点的?

斯坦福团队的答案是两点:1、一个强大的预训练语言模型;2、一个高质量的指令遵循数据。

在这里,我们将强大的预训练语言模型(如LlaMA或GPT-3),比喻为一位有着丰富知识和经验的老师。

对于自然语言处理领域的任务,强大的预训练语言模型,可以利用大规模的文本数据进行训练,学习到自然语言的模式和规律,并且可以帮助指令遵循等任务的模型更好地理解和生成文本,提高模型的表达和理解能力。

这就相当于学生使用老师的知识和经验,来提高语言能力,指令遵循等任务的模型可以使用预训练语言模型的知识和经验来提高自己的表现。

除了借助这位“老师”的知识外,开源模型的另一“利刃”,就是指令微调。

指令微调,或指令调优,是指现有的大语言模型生成指令遵循数据后,对数据进行优化的过程。

具体来说,指令微调是指在生成的指令数据中,对一些不合适或错误的指令进行修正,使其更符合实际应用场景。

而指令调优是指在生成的指令数据中,对一些重要、复杂或容易出错的指令进行加重或重复,以提高指令遵循模型对这些指令的理解和表现能力。

凭借着这样的“微调”,人们可以生成更准确、更有针对性的指令遵循数据,从而提高开源模型在特定任务上的表现能力。

如此一来,即使只用很少的数据,开源社区也能训练出性能匹敌ChatGPT的新模型。

然而,又一个问题是:面对自己辛苦打下的江山,被开源社区用“四两拨千斤”的方式步步蚕食,谷歌和OpenAI为何一直没有予以反制呢?

哪怕是如法炮制,以毒攻毒,推出同样快速迭代的小模型,也不失为一种破局之策啊。

02 骑虎难下

实际上,谷歌这样的头部企业,不是没有意识到开源的优势。

在那份泄漏的文件中,谷歌就提到:几乎任何人都能按照自己的想法实现模型微调,到时候一天之内的训练周期将成为常态。以这样的速度,微调的累积效应将很快帮助小模型克服体量上的劣势。

可问题是,身为AI领域巨头的谷歌和OpenAI,既不能,也不愿完全放弃训练成本高昂的大参数模型。

从某种程度上说,这是其保证自身优势地位的必要手段。

作为AI领域的巨头,谷歌和OpenAI需要不断提升自己的技术实力和创新能力。而传统的大参数训练模型,则是提供这一探索和创新的必经之路。

因为大模型的底层技术若想取得突破,AI领域的研究者和科学家,就需要更深入地理解模型和算法的基本原理,探索AI技术的局限性和发展方向,这需要进行大量的理论研究、实验验证和数据探索,而不仅仅是微调和优化。

例如,在训练大参数模型时,AI领域的科学家,可以探索模型的泛化能力和鲁棒性,在不同的数据集和场景下评估模型的性能和效果。谷歌的BERT模型,也正是在此过程中得到了不断强化。

同时,大参数模型的训练,还可以帮助科学家探索模型的可解释性和可视化,

例如,对今天的GPT来说至关重要的Transformer模型,虽然在性能上表现出色,但其内部结构和工作原理却相对复杂,不利于理解和解释。

通过大参数模型的训练,人们可以可视化Transformer模型的内部结构和特征,从而更好地理解模型是如何对输入进行编码和处理的,并进一步提高模型的性能和应用效果。

因此,开源和微调的方式,虽然可以促进AI技术的快速发展和优化,但不足以替代对AI基础问题的深入研究和探索。

但话说到这,一个十分尖锐的矛盾又摆了出来:一方面,谷歌和OpenAI不能放弃对大参数模型的研究,并坚持对其技术进行保密。但另一方面,免费、高质量的开源替代品,又让谷歌等大厂的“烧钱”策略难以为继。

因大模型耗费的巨大算力资源和数据,仅是在 2022 年,OpenAI 总计花费就达到了 5.4 亿美元,与之形成鲜明对比的,则是其产生的收入只有 2800 万美元。

与此同时,开源社区的具有的灵活性上的优势,也让谷歌等大厂感到难以匹敌。

在那份泄漏的文件中,谷歌就认为:开源阵营真正的优势在于“个人行为”。

相较于谷歌这些大厂,开源社区的参与者可以自由地探索和研究技术,不受任何限制和压力,从而有更多机会发现新的技术方向和应用场景。

而谷歌研究和开发新技术时,则必须考虑产品的商业可行性和市场竞争力。这就对人才的研究方向产生了一定的限制和约束。

此外,由于保密协议的存在,谷歌的人才也难以像开源社区那样,与外界充分地交流和分享技术研究的成果。

如果说,低价、灵活的开源模型,终将成为一种不可阻挡的趋势,那么当谷歌等大厂面对这浩瀚的战场时,又该怎样在新时代生存下去呢?

03 另辟蹊径

倘若谷歌这样的头部企业,最终在开源阵营的攻势下,选择了“打不过就加入”的策略,那如何在开源的情况下,找到一条可行的商业路径,就成了一件头等大事。

毕竟,在目前的市场认知下,开源几乎就等于“人人皆可免费使用。”

之前,Stable Diffusion背后的明星公司——Stability AI,就因为在开源后,没有找到明确的盈利途径,目前正面临严重的财政危机,以至于到了快倒闭的地步。

不过,关于如何在开源的情况下实现盈利,业界也不是完全没有先例可循。

例如,之前谷歌对Android系统的开源,就是一个经典的案例。

当年,由谷歌主导开发和推广的Android系统开源后,谷歌仍然通过各种途径,从Android操作系统的设备制造商那里获取了收益。

具体来说,这些途径可分为以下几种:

1.收取授权费用:当设备制造商希望在其设备上预装Google Play商店等谷歌应用和服务时,他们需要遵守谷歌的授权协议,并支付相应的授权费用。

2.推出定制设备:谷歌通过与设备制造商合作,推出一些定制的Android设备,如Google Pixel智能手机和Google Nexus平板电脑等,并从中获得收入。这些定制设备通常具有更高的价值和更好的性能,而且会预装谷歌的应用和服务。

3.销售应用:当设备使用者在Google Play商店中购买应用、游戏或媒体内容时,谷歌会从中提取一定的佣金。

虽然这些途径的收益,也许并不像谷歌的主业——搜索和广告那样让其赚得盆满钵满,但谷歌仍然从中获得了各种“隐性收益”。

因为Android 的存在,避免了某一家企业垄断移动平台的入口,只要互联网是开放的,谷歌就能通过吸引更多人使用Android上的应用,来收集用户的行为数据,对这些数据进行加工,从而使得广告投放可以更加精准。

由此可见,开源模式并非与商业化的盈利模式完全冲突,这对于谷歌和开源社区的参与者而言,都是一种好事。

因为只有通过商业化途径,源源不断地为自身“造血”,谷歌和OpenAI等大厂,才能继续承担起训练大参数模型所需的巨额成本。

而只有大参数模型的持续研发,各大开源社区,才能继续以高性能、高质量的预训练语言模型为基础,微调出种类更多,应用场景更为丰富的开源模型。

基于这样的关系,开源模型与封闭的大模型之间,其实不仅仅只是对立与竞争,同时也是一种互助共生的生态。

原文标题:“大厂垄断大模型”,会被开源终结吗?

标签:

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表中国财投网的观点和立场。

相关热点

资讯播报

“大厂垄断大模型”,会被开源终结吗?
全球热门:电磁监测卫星、生命探测仪、无人机……防灾减灾有真招 科技手段挑大梁
csgo即开即取网站有哪些推荐 csgo免费开箱一次的网站免费取回
火灾、煤气爆炸?赣州两名短视频博主被罚
湖南怀化一银行起火 桌椅板凳被烧,钱和数据未受损
速讯:2023年中国品牌日活动开幕,首款氢动力市域列车在上海发布
今亮点!A股日报 | 5月11日沪指收跌0.29%,两市成交额达8959亿元
投行和投资公司有什么区别?成立投资公司的条件是什么?
不同的投资产品为什么收益不一样?互联网投资产品收益为何有高有低?
生钱资产的概念是什么?复利和生钱资产之间有什么关系?
期权一级投资者有哪些权限?期权开户权限有几个等级?
投资理财止盈不止损怎么理解?止盈止损如何设置比较合理?
投资机构的钱一般是从哪里来的?投资公司靠什么赚钱?
为什么投资组合不能消除全部风险?如何有效投资组合降低投资风险?
权益性投资是什么意思?权益性投资和股权投资的区别是什么?
投资所得的收益属于夫妻共同财产吗?婚后得到的遗产是夫妻共同财产吗?
如何杠杆投资国债?5万国债逆回购一年收益有多少?
商务部再次表态:如美国胁迫盟友共同遏华,将坚决反对!
硅业分会:本周硅片价格大幅下跌 M10单晶硅片周环比降幅16.4%
绿色和平组织警告全球车企:不加快电动化转型将失去中国市场
“宇宙级带货”实力升级 这群95后00后立功了
文旅政企对接会(天津站)成功举办 促进区域招商引资合作-当前观察
让A+级家轿卷的更猛烈!艾瑞泽8 2.0T运动版核心配置首曝,这不得卖爆?
观天下·美国枪患丨多少芝加哥人经历过枪支暴力? 环球热议
同比涨幅三连降 4月CPI涨幅跌至0.1% 二季度或触底回升
七彩虹RTX 4090 iGame LAB在Unigine测试中超至3.825GHz,取得项目最高得分
湖人官宣好消息!老詹历史第一人,浓眉浴血重生,勇士奸计难得逞|每日热闻
现货黄金交易策略:金价涨势受阻,关注初请和PPI数据
精彩看点:电脑屏幕如何截图保存 电脑屏幕如何截图
上海发布帐篷露营地管理指引征求意见引发热议:文明露营、安全管理、生态环境保护成关注焦点 最新快讯
PC、智能手机销量低迷 苹果(AAPL.US)台湾主要供应商营收连续第三个月下降_天天速递
月芽儿女鞋,穿出人的优雅与魅!|天天观速讯
中国充电联盟:近一年月均新增公共充电桩约5.8万台
自在赋格|恒基·天汇艺术联展即将亮相 焦点速读
中国品牌日丨行业唯一!冠珠华珍岩板闪现人民日报美好博物馆,彰显民族品牌魅力
描写夏天池塘的作文4(实用12篇)
维生素e油直接涂在脸上可以祛斑吗 维生素e油
绿的谐波:下游工业机器人需求承压 高管未回应高库存提问|直击业绩会
大行评级 | 花旗:永利澳门首季业绩符预期 评级买入
虚增营收超3亿!被罚5700万 前总经理10年市场禁入!
A股IPO保持常态化发行:年内已有109家企业上市!-观速讯
“中字头”个股出现震荡调整 机构锚定业绩精选标的
观热点:热热热!雨雨雨!这些地方将迎来今年首轮高温
一张图:2023/05/11黄金原油外汇股指"枢纽点+多空占比"一览 天天快报
华尔街大佬致信耶伦,敦促尽快解决债务上限问题,金价周线有望三连阳
多头小心了!经济担忧持续,基金经理削减看涨押注 环球热资讯
经济日报:财报补丁须清除 “零容忍”监管不可或缺
204家上市公司获得机构调研(附名单)
博爱县清化镇:军民共建一家亲
瞰雄安|梦起未来之城_环球时快讯
举办30多场活动,国际科技信息中心科技文献资源宣传月收官
全球要闻:海口空港特货承运人项目花落江东新区
CRO板块全线反弹!创新药ETF(159992)盘中涨超1%,近2个交易日连续资金净流入
扳倒特朗普,教女孩不再沉默,她列出一张丑男名单
环球今头条!日本央行修改意见摘要措辞,一词之差透露出转向之意?
okaidi是什么牌子_okaidi是什么牌子 实时
电动势和电压的区别在哪里_电动势和电压的区别_焦点短讯
史上投入最大天猫618:不追GMV,一心思变
怎么做蝴蝶结简单又漂亮
重点聚焦!闻香识女人电影时长_闻香识女人电影
titletexthere_","titletext":"
巴奴再回应重新上架“天价土豆”:搭建产业链需要花钱,土豆会继续迭代丨最前线
银行降息,对楼市有何影响? 每日热门
5只新能源汽车ETF透视:国泰基金旗下产品年内日跟踪误差同类垫底_世界时讯
全球热推荐:在“有福之州”畅享“数治”之福
南宁加强商品房预售资金监管 购房交款推行专用POS机
驰宏锌锗:公司具有年采选矿石 300 万吨、矿产铅锌金属产能 40 万吨、铅锌冶炼产能 63 万吨、银 150 吨、金 70 千克,镉、铋、锑等稀贵金属 400 余吨的综合生产能力
德方纳米涨超10%,宁德时代等跟涨,新能车ETF(515700)今日已涨2.14% 热消息
热点聚焦:世界银行行长呼吁G7重视解决发展中国家债务问题
期货公司观点汇总一张图:5月11日黑色系(螺纹钢、焦煤、焦炭、铁矿石、动力煤等)
期货程序化交易什么意思?2023年国内十大正规期货交易APP名单一览表
小微企业增值税优惠政策2019是什么?小微企业增值税怎么算?
黄金期货知识有哪些?为什么要进行黄金期货?影响黄金价格的因素
银行工作压力大吗?花20万安排进银行正式工合适吗?
新手该如何进行现货交易?现货交易一分钟买卖技巧?
中国贫富标准线是怎么划分的?年入15-30万真的属于中产吗?
怎么去开股票账户?500元炒股一天能赚多少钱?
外贸订单一般在哪个平台接?怎样做外贸生意?从哪几个方面入手?
英国征收数字税是怎么回事?英国征收数字税是哪一年?
无人超市试营业失败是什么原因?24小时无人超市怎么开?
李梦首秀6分展现最强技能,韩旭第二高分告负,看到姚明影子
深蓝智库年度峰会丨银联云闪付与北京商报达成战略合作 云端科技助力2023十大品牌评选_世界热推荐
理想,不跟蔚来小鹏做兄弟
快看:今日最新快报:江苏江阴枪击案最新进展 江阴枪击案两嫌犯已身亡
671家!成都这些药店买药可报销 环球观焦点
win10软件打不开没反应_win10软件打不开
焦点热议:振邦智能不超7.9亿元定增获深交所通过 中金公司建功
SensorTower:混合变现成手游盈利主流趋势 混合休闲手游依靠多元的变现策略成为近期市场热点-每日播报
国家粮食和物资储备局:我国标准粮食仓库完好仓容近7亿吨 政府粮食储备数量足质量好_环球消息
高考倒计时不足1个月,教育部部署这个重中之重-当前关注
微头条丨6月1日渐近 香港真的会向散户开放虚拟资产投资吗?
5月11日机构对金融市场观点汇总-天天简讯
世界热消息:国家统计局:2023年4月份居民消费价格同比上涨0.1% 环比下降0.1%
深圳公租房审核升级,拟核查申请人收入与财产
上一堂好课、论一场问答……东山国际小学敲响安全警钟!_当前动态
抓住旅游消费新机遇_快资讯
天天时讯:长安期货5月11日原油日报:美国CPI连续下降但衰退担忧升温,叠加库存增加油价上方承压
小摩CEO警告:美国债务上限僵局或引发恐慌_环球快看点
新手妈妈育儿课堂之——乳铁蛋白奶粉哪个牌子好
国家统计局:4月份CPI同比上涨0.1% 环比下降0.1%

相关推荐

精彩推送

3