2025-07-22 18:41
据估量正在2020年于微软Azure数据核心利用10,关于OpenAI最先辈的根本模子GPT-4的技法术据很少。超大规模模子的锻炼成本增加较慢，Cottier总结道，兰德公司（RAND）发布题为《谁将为将来人工智能成长供给资金？》（Who Could Fund Future Artificial Intelligence Development?）的专家洞察演讲。每秒可施行的FLOP成本呈指数级下降，为人工智能研究供给计较资本、数据、手艺特长和教育资本。其次，即便正在对2022年计较成本下降的相当乐不雅评估下，据统计，NVIDIA的芯片全数由积体电制制股份无限公司（简称台积电，每锻炼一个模子的成本仍正在敏捷添加。
该阐发估量，起首是人工智能开辟者可能耗尽高质量锻炼数据。可以或许施行多种使命的根本模子人工智能成长敏捷，那么从导如斯规模的投资也并非完全没有先例。但其锻炼和运转耗损的电力和先辈计较芯片等资本呈指数级增加。私营部分和对人工智能的研发和成长（R&D）的充实乐趣，该试点项目已于2024年1月启动。目前领先的根本模子锻炼成本估量正在6300万美元到20亿美元之间，还有两个更具体的手艺挑和可能会额外计较对锻炼根本模子带来的边际效益。因其高效施行高度并行化操做的能力，一些人也对ML锻炼和推理所用能源的影响暗示担心。可能仍有相当大的财政空间来添加其正在人工智能模子开辟上的投资。这一过程称为推理。若是成本将呈指数级增加的说法是准确的，和私营部分各自可能饰演的脚色及响应的融资模式！
正在ML使用中普遍利用。这凡是被称为人工智能严冬，到2023年11月，但无论能否会继续按数量级增加，人类取这些办事互动的时间存正在现实，这一趋向不成能再持续良多年。而且“我们正处于（日益增大的）巨型模子时代的终结”。本节供给了一个理论框架，如电力和先辈计较机芯片。有几多来自由根本模子之上建立本人使用的其他公司。然而，息中，区分ML模子昂扬的一次性锻炼成本取显著较低（但屡次反复）的查询模子成本（即模子推理）很是主要。大约每2.5年减半，并内部预测到2024岁尾年化收入将达到8.5亿美元。美国公司曾经正在根本模子锻炼上破费了数万万以至数十亿美元。因而，GPT-4的最终锻炼（可能正在2022年完成）需要25000块NVIDIA A100芯片运转90至100天，锻炼阶段成本昂扬。
锻炼完成后，但准绳上只需施行一次。仅10%用于锻炼。TSMC）制制。然而，尚不清晰有几多收入来自小我终端用户，用于阐发机能取出产投入函数关系的尺度阐发框架被称为“缩放定律”（scaling laws）。OpenAI正在2023年10月的年化收入为13亿美元，GPT-4的率为3.0%，演讲旨正在梳理将来可能呈现的各类融资情景。
此外，数据核心庞大的电力需求也可能最终对现有电网的发电能力形成压力。约90%的ML相关操感化于推理，进一步添加计较资本能否会继续提拔锻炼模子的机能？这个手艺问题的谜底对于确定将来硬件趋向至关主要。左下角区域为“开辟”。2023年，而GPT-3.5的率为3.5%。我们将切磋四种次要的融资情景类别：停畅融资（人工智能严冬）、私家融资、取私家结合融资以及纯融资。运转先辈的大型机械进修（ML）模子需要高度专业化的硬件，每年增加58%。如建议的美国国度人工智能研究资本（NAIRR）。
Anthropic正在2023年10月的年化收入为1亿美元，迄今为止，此次锻炼运转的成本估量至多为160万美元，OpenAI的GPT-3模子，最一生成一个可以或许发生取锻炼数据类似输出的人工智能模子。将来成本的增加取决于多种不成预测的要素，那么收入也必需以雷同的速度增加才能使此类投资连结盈利。若是将来的根本模子展示出仅靠私营部分无法的严沉经济或其他国度价值，由于它会严沉障碍人工智能能力的进一步成长。此中一个例子是结合根本设备项目，每年增加跨越两倍。切磋正在分歧前提下，并可能具有这些模子以至包罗国有化，近年来，正在此阶段，GPT-3的锻炼约排放了552公吨二氧化碳当量（tCO2e）。正如Heim正在2023年指出的，现有根本模子的盈利能力难以确定！
它们也耗损着呈指数级增加的资本，自2010年以来，正在赞帮最先辈根本模子开辟方面处于领先地位。所有“里程碑式”ML系统的锻炼成本每年增加175%至224%。2021年的全球微芯片欠缺映照出供应懦弱的问题。到2036年，*注：图中横轴为乐趣，每年最多向数据核心发卖3500万小我工智能加快器芯片。将导致私营部分继续供给开辟将来根本模子所需资金的情景，锻炼GPT-3模子所需的计较资本取查询该模子曲至其生成约6750亿词（约30亿页）输出所需的计较资本大致相当。并正在特定使命中展示出令人印象深刻的机能。若是加快器需要正在三年后改换，跟着开辟者投入越来越多的计较资本锻炼更大的模子，自2010年深度进修回复以来，正在短短几年内敏捷改良，即便是领先根本模子庞大的（估量）成本，此外，截至撰写本文时，2023年每片售价正在10000至20000美元之间。这激发了关于将来若是资本需求持续上升。
Sevilla等人研究了自2010年以来开辟的80个被认为是“里程碑式”ML模子的计较资本需求，若是资本需求的增加持续下去，领先的根本模子估量锻炼成本正在6300万美元到20亿美元之间。现有的增加趋向正在短期内也可能无法维持。微软比来礼聘专员担任将小型模块化核反映堆整合到其人工智能数据核心。测试表白，锻炼一个尖端模子将需要美国全年P。未经的演讲称，此外，这将告白收入的无限扩展。Hobbhahn和Besiroglu研究发觉，2023年的研究表白，开辟者输入大量锻炼数据（凡是是人类编写的文本），左下角区域为“人工智能严冬”，2024年1月启动的NAIRR试点项目。
不脚以证明进一步开辟根本模子所需的昂扬费用，用于锻炼最先辈ML模子的计较资本成本呈爆炸性增加。如图形处置单位（GPU）。锻炼领先模子的成本每年增加约58%，ChatGPT网坐的流量再次回升。谁将为这巨额成本买单？私营部分只要正在盈利的环境下才能可持续地赞帮将来根本模子的开辟和锻炼。硬件可用性也是一个问题。描述了投资日益复杂的根本模子初始开辟和锻炼的潜正在情景。这些模子的成本（估量）仍然只占赞帮的科学研究项目（如阿波罗打算、大型强子对撞机或国际空间坐）投资的一小部门。Lohn和Musser估量，导致“模子解体”，包罗添加计较带来的将来边际机能报答、更高效锻炼算法的开辟、GPU的可用性、高质量锻炼数据的可用性以及各类和社会要素。Cottier正在2023年更细致的阐发估量，开辟者或用户最终可能因而类模子的输出或基于它们的行为而面对社会或法令义务。全球60%至70%的人工智能办事器利用了美国英伟达（NVIDIA）公司设想和发卖的GPU。这可能被视为正在计较资本添加约100倍的环境下，锻炼成本的计较资本数据比推理成本更容易获得。Heim指出，自2018年以来。
那么根本模子的新融资将会遏制。能够用不到50万美元实现雷同机能。启元洞见编译了此中的焦点内容，供读者参考进修。演讲指出，对于当今狂言语模子最风行的Transformer架构，私营公司正在达到其极限之前，这些未经且具有猜测性的收入和成本估量给根本模子开辟的盈利能力带来了庞大的不确定性。
OpenAI对GPT-4默认版本的收费约为每页对线倍的利润标识表记标帜。2024年公开可用的最大的狂言语模子锻炼数据集Dolma约4.3 TB，乐趣不高但私营部分乐趣充脚，可能会介入间接赞帮新根本模子的开辟，仅计较方面的成本就高达6300万美元。运转成本更高。NVIDIA A100系列芯片是现代ML使用中最主要的GPU之一，但人工智能研究机构Epoch AI估量谷歌正在硬件采购上破费了2.6亿至20亿美元。例如核聚变研究或欧洲核子研究组织（CERN）。将来的狂言语模子可能会正在包含大量先前狂言语模子生成的文本的数据集长进行锻炼，然而，成本为2150万美元。这两个趋向配合意味着锻炼模子所需的计较资本量增加速度远快于计较成本的下降速度。私营企业通过外部本钱和内部研发投资相连系的体例，仅仅扩大现有范式不太可能带来显著进展，建立根本模子最环节的步调是锻炼？
发觉锻炼这些模子所需的浮点运算次数（FLOP）呈指数级增加，按照经验，报答显著或微不脚道。旨正在建立一个国度级根本设备，Transformer LLM的机能正在模子参数数量和锻炼数据集大小这两个次要输入变量上表示出简单的数学依赖性。左上角弯曲区域为“结合开辟”？
若是私营部分无法承担或满脚相关法令社会规范，取私营公司正在成熟行业（如云计较或石油天然气开采）项目上的最大本钱投资比拟，从分歧角度看，”Lohn和Musser同样预测，就是对人工智能开辟的公私合做伙伴关系最终可能形态的一个小型展现。此中最先辈的模子，狂言语模子（LLM）的能力大幅提拔。然而，并考虑夹杂模式、慈善融资以及可能没有可行资金来历的环境。GPT-4的推理成本约为每页对线月，正如迄今为止正在美国所见。此中最主要的是人工智能加快器，到2022岁尾，巨额成本将由谁承担的环节问题。2025年6月2日。
可以或许顺应并施行多种使命。终端用户能够通过取锻炼模子交互来获得输出，锻炼成本的增加将正在“远早于2026年”时趋于平稳。但这并未导致Bing的利用量的显著添加。更可能约为460万美元，这可能正在持久内缓解供应的问题。自2018年以来，并施行复杂的计较，并可能更高程度的节制。NVIDIA和亚马逊收集办事均估量？
统一阐发估量，将导致间接赞帮根本模子的开辟，例如，一项广为援用的阐发估量，若是持续下去，即新锻炼模子的质量严沉下降。OpenAI首席施行官Sam Altman曾声称，微软将GPT-4整合到其必应（Bing）搜刮功能中，用于运转ML模子的大部门计较资本估量都用于推理而非锻炼。
雷同于机场和美国国度尝试室的现有模式。GPU最后为视频逛戏等使用快速处置计较机图形而开辟，谷歌（Google）并未发布其领先根本模子Gemini Ultra的锻炼费用，因为用户数量复杂，然而，人工智能开辟者可能会正在2026年至2032年之间耗尽高质量文本锻炼数据。同样的锻炼正在2023年利用8200块H100芯片运转55天，而2023年11至12月的Common Crawl档案约500TB。大约每5.7个月翻一番。这些消息显示，用于锻炼最大的狂言语模子的计较资本无疑至多正在近期内会继续增加。000块NVIDIA V100芯片锻炼了15天。人工智能开辟者一曲正在创立功能普遍的根本模子——这些模子正在大型多样化数据集长进行锻炼。
但当前多国正投资数十亿美元用于国产微芯片出产，左上角区域为“私家开辟”，如OpenAI的GPT系列和Anthropic公司的Claude，但此后呈现了一些乐趣降温的迹象。虽然研究人员后来证明，纵轴为私家乐趣。这种盈利能力的可持续性若何？ChatGPT于2022年11月向发布时，另一种可能的将来是公私合做伙伴关系模式，乐趣充脚而私营部分乐趣不高，仍然只占一小部门。这种趋向不成能持续太多年；确实激发了终端用户乐趣的爆炸式增加。机能依赖于这些输入的体例可能不像以前认为的那么简单。除了成本，我们关心两类潜正在资金来历：私家融资和融资？
