首页财产ai正文 人类喂给AI的数据，将近不敷用了 陪同年夜模子快速迭代，高质量文本数据增速滞后，全世界或者将迎来公然文本数据供应不足的困境。AI 成长同时面对数据数目欠缺与质量参差的两重难题。行业重要经由过程挖掘整合存量散落数据、完美常识管理，以和依托呆板智能天生合成数据、强化进修拓展新数据等方式破局。将来数据将成为 AI 竞争焦点，行业与政策协同结构数据资产，将为本土 AI 成长修筑新上风。 2026-04-24 10:39 ·微信公家号：经济不雅察报刘劲等 AI投资人解读本文深刻剖析了当下 AI 成长的焦点瓶颈 —— 数据危机，跳出算力与模子的通例会商，聚焦数据供需掉衡、质量短板等实际问题。文章梳理了存量数据挖掘、AI 天生数据两年夜解决路径，逻辑清楚且落地性强。同时指出数据将成为 AI 下半场竞争的焦点壁垒，联合海内财产数据上风给出成长思绪，为行业成长、政策制订与企业结构提供了理性参考。内容由AI天生，仅供参考
虽然人类社会每一年也会新增年夜量数据——新闻、新书、新论文等，但相对于线性增加的高质量数据很难匹配如今AI的超线性成长预期。按照自力研究机构EpochAI的最新测算，语言模子的练习将于2026年到2032年间耗尽人类公然的文本数据。
现代主流AI基本都基在呆板进修及深度进修模子，其机制是从数据中“进修”模式及纪律。没有数据，模子没法练习，这些AI的智能也就无从谈起，是以数据常被比方为AI的燃料或者血液。
进入年夜模子时代，基在自监视进修的预练习范式显著降低了数据使用中的人工标注依靠，使模子可以或许以低成本、高效率进修年夜范围数据，这促成了数据、模子参数与算力三者之间的协同快速成长。
人们据此总结出闻名的范围定律（Scaling Law）：年夜语言模子的机能与模子参数目、练习数据量、计较量之间存于光滑的幂律瓜葛，通俗地说，就是模子越年夜、数据越多、算力越强，模子的机能越好。
但下一步AI成长面对巨年夜的数据挑战，被会商至多的是“数据枯竭”。
缘故原由不难理解：某种水平上，AI练习使用的是人类堆集的“库存”数据。预练习数据中占主要比例的互联网数据，是已往数十年人类于网上出产、数字化并沉淀的信息。例如维基百科，虽然数据量占比不年夜，但于年夜模子练习中提供高质量数据，它是数千人20多年辛劳维护的信息结果；练习语猜中的一些图书及经典文献则代表了人类几千年的堆集。
虽然人类社会每一年也会新增年夜量数据——新闻、新书、新论文等，但相对于线性增加的高质量数据很难匹配如今AI的超线性成长预期。按照自力研究机构EpochAI的最新测算，语言模子的练习将于2026年到2032年间耗尽人类公然的文本数据。
AI的成长面对两个维度的数据挑战：一个维度是是否有充足多的数据，即数据的数目与笼罩度；另外一个维度是数据的质量问题，包括真实性、标灌水平、布局化水平等。
AI开发与运用的各个环节、场景都面对这两个维度的数据挑战：预练习阶段面对前面谈到的数据枯竭及互联网数据质量问题；后练习及对于齐阶段面对高质量标注数据的欠缺；基座模子的行业微和谐运用面对专业数据极度稀缺、噪声年夜的问题；多模态模子练习面对高质量配对于（如图文对于）数据不足；具身模子则是面对真实数据成本极高的成长制约。
怎样应答AI成长中的这些数据挑战？大要有三个标的目的：对于人类社会堆集的数据及人脑中的常识举行更深层的挖掘及管理；依托呆板智能挖掘及天生数据；于算法与模子范式长进行立异以削减对于数据的依靠。这里咱们重要会商前两个标的目的。
0一、数据扩增要领一：网络及收拾散落数据
对于在人类社会堆集的数据，所谓“数据枯竭”更多反应的是低垂的果实快被摘完了：公然的、未被产权掩护的文本化数据确凿于被年夜模子快速耗损，但人类社会及人脑中仍有年夜量还没有开发的数据与常识空间。
起首，各行各业有海量不公然的数据。许多高价值数据把握于平台、企业、专业机构、装备端及事情流体系中，例如电商平台的生意业务、评价、用户画像等；医疗范畴的病历、影像、诊断记载等；制造业的工艺参数、质检尺度、妨碍记载等；科研范畴的试验数据、历程数据、未发表的负面试验成果等。
这些数据往往触及隐私、产权、贸易秘要或者羁系合规，以私有、分离的“数据孤岛”情势存于。它们于详细运用中可以经由过程RAG（检索加强天生）等方式阐扬局部价值，但很难会聚成可连续晋升通用智能的年夜范围练习语料。
以上年夜部门场景相对于轻易理解，这里增补一个轻易被纰漏的例子：科学界持久存于“发表误差”——乐成的试验才会发表，掉败的试验被抛弃。但对于AI而言，掉败案例及乐成案例都具备进修价值，年夜量未被同享的掉败试验组成了一座还没有开采的常识矿山。
AI专家已经经于摸索一些技能手腕来开释这些数据于练习上的潜力。典型做法包括：经由过程联邦进修于不挪动原始数据的条件下举行结合练习；以和使用差分隐私等技能，于数学上包管个别信息不成被还有原，为跨机构数据协作提供安全界限。这种手腕解决的是“于不泄露隐私的条件下，怎样让数据介入练习”的问题。
但要让这些数据于AI成长中阐扬*价值，技能以外还有需要轨制与机制的设计。
有两条路径可以摸索：一是自下而上的、市场化与好处激励导向的路径，例如数据生意业务市场、数据信任、数据要素入表等，让数据拥有者于合规条件下有动力开放数据，分享增值收益；一是自上而下的路径，由当局或者行业羁系者于触及国计平易近生、大众安全、基础科研等范畴做同一摆设，经由过程同一尺度、基础平台及大众数据集设置装备摆设，加速数据从“碎片资源”酿成“大众基础举措措施”的进程。技能手腕提供安全阀，机制设计提供流动性及可连续激励，二者缺一不成。
其次，人类年夜脑中还有有不少还没有数据化的认知资产，此中有两类对于AI的能力上限影响尤为要害：繁杂决议计划暗地里的思维轨迹，以和专家的隐性常识。这些认知假如不被数据化，AI就难以进修及复制，将来有很年夜的挖掘空间。
从思维轨迹看，许多高价值使命，如企业家的庞大决议计划、大夫对于疑问杂症的诊断、工程师处置惩罚稀有妨碍等，人类凡是会记载“做了甚么”及“成果怎样”，但缺少“这么做暗地里的思索、还有思量过哪些备选方案”这类具体的思维轨迹数据。这就像只存下数学题的标题问题及谜底，却没有列出中间的解题步调。
对于在AI来讲，缺少这些“思维链条”数据，就很难真正学到可迁徙的推理能力，只能于年夜量输入输出对于上做模式拟合。这也是为何已往一年多插手“思维链”能力的模子往往机能跃升，但今朝可用的高质量思维轨迹数据依然很是有限。
从隐性常识看，人类认知中有年夜量难以清楚描写的部门，例如资深专家的直觉、情境化的感知、具身的“肌肉影象”、团队协作中的默契法则等。隐性常识放到AI语境下，就是难以完备标注、难以形成练习样本的信息，AI也就难以使用。
思维轨迹及隐性常识的体系性数据化虽然成本高、难度年夜，但从信息密度及怪异性来看，是一座挖掘难度年夜但价值极高的金矿，极可能成为将来AI能力连续晋升的要害来历之一。
第三，对于人类已经经堆集的常识举行管理、提高质量一样至关主要。AI练习范畴常说“垃圾进，垃圾出”，意思是数据质量于很年夜水平上决议了模子能力，由于模子自己缺少主动辨别真伪及主要性的能力，很轻易从低质量数据中学到过错模式。
互联网上的信息质量良莠不齐，布满过错、虚伪、过时、单方面及反复内容，直接用在练习就会于输出中放年夜幻觉与成见。而于AI时代，缭绕“被模子援用及采样权”睁开的过分甚至歹意GEO（天生式引擎优化），又给常识污染增长了新的进口。
是以，缭绕晋升数据及常识质量自己，可以睁开一整套事情：底层是通例的数据洗濯、去重、纠错及噪声过滤；再往上一层，是为主要常识成立溯源及版本节制机制，明确来历、更新时间及责任主体，并经由过程常识图谱等方式同一观点、布局化瓜葛；于高价值专业范畴，则需要经由过程邃密标注工程及范畴专家介入，构建“少而精”的高置信度数据集，作为模子校准与评估的基准。
只有于人类常识自己履历了如许一轮“面向AI的管理及提纯”以后，后续的模子练习与推理才能真正站于更坚实、更洁净的常识地基上，而不是踩于稠浊的信息泥沙里。
0二、数据扩增要领二：使用呆板智能
于尽*努力挖掘人类社会堆集的数据及人脑中的认知以外，另外一个思绪是使用AI自身系统来挖掘及天生数据。
起首是合成数据。合成数占有多种天生方式，可以基在法则/模板、统计漫衍、呆板进修模子及仿真情况等天生，咱们重点会商于当前AI练习中饰演更主要脚色的后两种。
从年夜模子天生的数据为何可以练习新的年夜模子？比力好理解的是用西席模子的高质量输出练习学生模子，这就是所谓的“常识蒸馏”；即便对于在前沿年夜模子的练习，基在上一代模子的合成数据于一些环境下依然可以阐扬主要作用。
好比统一道数学题，让模子回覆100次，只取回覆准确的20次作为数据来练习新的模子，素质上就是于用模子自身的“高质量子集”来放年夜有用样本。一方面，经由过程主动化天生及筛选，咱们可以从原本稀缺的高质量人类解题记载，扩大出数目更多、气势派头多样但逻辑准确的解题轨迹；另外一方面，合成数据还有可以决心于难度更高、漫衍更稀少的题型上“过采样”，补齐真实数据里的单薄环节。
另外一个例子是智能驾驶练习借助合成数据来天生极为稀有的变乱场景。从实际路测中网络长尾变乱的效率很低，但基在实际数据，咱们可以提取驾驶中的要素：场景类型（十字路口、高速、都会街道、泊车场）、气候（晴、雨、雾、雪、冰）、门路前提（干爽、湿滑、结冰、碎石）、时间（白日、夜晚、黄昏）等，用这些要素组成极度组合，于仿真情况中举行练习。
但从这两个例子也能看出，于这种合成数据中，AI其实不能平空创造出全新的常识。
*个例子依靠外部验证器（尺度谜底）从模子能力的上限而非均值中提取练习样本，优化的是数据漫衍。第二个例子是对于已经知元素的重组与放年夜。严酷来讲，于这里AI没有真正拓展数据界限，而是把人类社会孝敬的原始数据看成矿石，举行提纯、配比及加工，做成更合适练习的“数据合金”，于既有常识的界限以内榨出更多价值。
其次是让AI经由过程强化进修去拓展数据（也能够看做广义的合成数据）。与基在人类样本的合成差别，这里真正逾越了既有的人类社会数据，让模子于与情况的持续交互中自动产出新的轨迹数据，摸索还没有有人涉足的计谋空间。强化进修的焦点于在：经由过程“状况—动作—反馈”的轮回，让智能体于试错中慢慢学到高回报的举动计谋，而每一一条举动序列自己就是于孕育发生数据。
最经典的例子是Alpha Zero。于围棋、国际象棋等确定性棋类上，它险些不需要人类棋谱，只依靠法则、随机起步及自棋战，经由过程数以亿计的自博弈场合排场及胜败反馈，不停更新计谋收集及价值收集，逾越了所有人类棋手及传统棋力引擎。这申明，于法则明确、反馈清楚的关闭情况中，AI彻底可以“从零最先”经由过程自天生的数据迫近甚至冲破人类经验上限。
于开放使命上，一个主要进展因此DeepSeek-R1为代表的“思维链强化进修”推理模子。其思绪是：先让模子于数学、编程等可主动验证准确性的使命上自由天生思维链，然后按照终极谜底是否准确、思维链是否合理赐与奖励或者处罚，驱动模子不停调解本身的推理计谋。
与传统依靠人工标注的链式监视差别，这类做法不预先预备重大的人类思维链数据集，而是让模子于练习历程中连续自天生、自筛选推理轨迹，相称在搭建了一个“主动产出高质量思维轨迹”的新数据工场。
更具想象空间的是具身智能范畴。主动驾驶及呆板人练习中已经经广泛利用仿真情况，经由过程年夜范围仿真驾驶、仿真抓取与装置等方式，用强化进修或者相干要领天生远超真实门路及工场场景数目的交互数据，笼罩各种长尾危害场景及稀有工况。于真实世界中，呆板人经由过程持久具身练习，一样会不停孕育发生传感器读数、动作序列及使命反馈，这些都是将来可用的高价值新生数据。
第三，还有有一个摸索标的目的是成长AI的自动进修。与被动等候人类喂数据差别，自动进修的焦点思惟是“模子本身决议学甚么、向谁问甚么”。
于数据标注昂贵的场景下，模子可以按照当前的不确定度或者潜于信息增益，遴选最有价值的样本向人类哀求标注，或者者于仿真情况中重点摸索那些最能削减不确定性的状况及使命。如许一来，于一样的标注预算下，模子得到的是信息密度最高的一小撮样本，而不是平均漫衍于所有样本上的“薄薄一层监视”。
从更久远的视角看，自动进修、强化进修及具身智能联合，有望让AI从“被动消费现成数据”的脚色，改变为“自动计划进修路径、自动创造要害数据”的进修者（这实在也是挖掘人脑认知的做法）。
0三、AI时代，数据范畴有巨年夜时机
AI下一阶段的成长，很年夜水平上取决在谁能于数据上做好文章。这里至少有两个缘故原由。*，如前所述，不管范围还有是质量，数据都已经经碰到新的天花板。能减缓这些瓶颈、晋升数占有效供应的方案，都直接对于应着巨年夜的经济价值。尤其是于前沿模子能力趋同的配景下，AI竞争的核心极可能转向“谁把握了更洁净、更稀缺、更难复制的数据”。
第二，于AI的三要素中，算力及基础模子的财产门坎都极高：提到算力咱们会想到英伟达、AMD、寒武纪等芯片厂商，提到模子会想到 OpenAI、DeepSeek等头部试验室及平台。比拟之下，数据更像一个能容纳浩繁介入者的生态：它高度分离于各个垂直行业及场景中。
这象征着深耕差别行业的龙头企业、手握怪异数据暗语的中小公司甚至草创团队，都有时机经由过程设置装备摆设高质量数据资产、数据产物及数据办事，于AI时代形成本身的护城河，而没必要正面卷算力及通用年夜模子。
除了了企业可以于数据上掘客时机，当局也需要饰演要害脚色。前文已经经区别了自上而下及自下而上的两种数据管理思绪：于合适自上而下的范畴，当局应尽快搭建同享平台及轨制框架，让这些数据更好地用在AI练习及大众办事；于合适市场机制的范畴，则应只管即便给立异留出空间，防止过分集中或者一刀切管束。
从大略逻辑看，触及国度安全、大众好处及基础办事的数据，更合适由当局主导来保障秩序及可用性，例如景象形象数据、地舆信息数据（如测绘结果）、人口基础信息、宏不雅经济统计、社会保障等基础大众数据。医疗康健、交通等“平易近生数据”，因为外部性强、单个主体难之内部化全数危害，一样需要较强的自上而下机制——包括同一尺度、大众数据基础举措措施、跨部分数据同享法则以和严酷的隐私及安全界限。
比拟之下，那些越发倾向贸易竞争的范畴，如电商举动数据、消费金融数据、企业内部运营数据等，则更应以市场化方式去发明数据价值、优化配置，当局只需做好羁系，而不是直接替换市场。
就中国而言，年夜语言模子练习对于互联网数据高度依靠，但受限在互联网成长起步较晚等因素，中文互联网数据的范围及质量总体上远逊在英文互联网世界（幸亏互联网数据年夜部门是公然数据，英文的咱们也能够用）。
不外，中国于其他类型数据上具备潜于布局性上风：重大的人口与市场带来富厚的消费与场景数据，完备的工业系统及制造链条沉淀了年夜量工业与物联网数据，较为进步前辈的聪明都会及政务数字化基础举措措施又形成为了富厚的都会运行与政务数据。
假如能经由过程完美数据法例、了了产权及收益分配、设置装备摆设高质量大众数据平台，同时鼓动勉励行业主体缭绕详细场景打造高质量数据产物，数据彻底有可能成为鞭策本土AI成长及取患上竞争上风的主要支点。
（作者刘劲系年夜湾区人工智能运用研究院理事、特聘专家，长江商学院管帐与金融学传授、投资研究中央主任，段磊系年夜湾区人工智能运用研究院研究总监，吴汶轩系年夜湾区人工智能运用研究院助理研究员）
【本文由投资界互助伙伴微信公家号：经济不雅察报授权发布，本平台仅提供信息存储办事。】若有任何疑难，请接洽（editor@zero2ipo.com.cn）投资界处置惩罚。
-金年金字招牌(jinnian)今年会今年会2024
