當(dāng)前，大模型的訓(xùn)練數(shù)據(jù)嚴(yán)重依賴現(xiàn)有的互聯(lián)網(wǎng)公開數(shù)據(jù)。有 研究預(yù)測，到 2026 年大型語言模型的訓(xùn)練就將耗盡互聯(lián)網(wǎng)上的可用 文本數(shù)據(jù)，未來需要借助合成數(shù)據(jù)解決大模型的數(shù)據(jù)瓶頸。目前， 合成數(shù)據(jù)正迅速向金融、醫(yī)療、零售、工業(yè)等諸多產(chǎn)業(yè)領(lǐng)域拓展應(yīng) 用。根據(jù) Gartner 預(yù)測，到 2024 年，60%用于 AI 開發(fā)和分析的數(shù)據(jù) 將會是合成數(shù)據(jù)，到 2030 年，合成數(shù)據(jù)將成為 AI 模型所使用數(shù)據(jù) 的主要來源11。2024 年 6 月，英偉達(dá)正式發(fā)布全新開源模型 Nemotron-4 340B，具體包括基礎(chǔ)模型 Base、指令模型 Instruct 和獎 勵模型 Reward 共三個模型。其中，指令模型 Instruct 的訓(xùn)練僅依賴 大約 2 萬條人工標(biāo)注數(shù)據(jù)，其余用于監(jiān)督微調(diào)和偏好微調(diào)的 98%以 上訓(xùn)練數(shù)據(jù)都是通過 Nemotron-4 340B SDG Pipeline 專用數(shù)據(jù)管道 合成。

當(dāng)前，合成數(shù)據(jù)技術(shù)創(chuàng)新主要呈現(xiàn)以下幾大趨勢：

一是合成數(shù)據(jù)模型走向深度進(jìn)化。傳統(tǒng)的數(shù)據(jù)合成方法多依賴統(tǒng)計學(xué)和機(jī)器學(xué) 習(xí)的基本原理，當(dāng)前數(shù)據(jù)合成技術(shù)聚焦于深度學(xué)習(xí)算法模型，特別 是生成對抗網(wǎng)絡(luò)(GANs)的廣泛應(yīng)用。GANs 通過一對競爭性神經(jīng)網(wǎng) 絡(luò)—生成器和判別器的博弈過程，實現(xiàn)了前所未有的數(shù)據(jù)真實度與 多樣性，諸如 StyleGAN、BigGAN 等高級變種網(wǎng)絡(luò)技術(shù)，極大拓寬數(shù)據(jù)合成的應(yīng)用邊界。

二是多模態(tài)合成能力不斷突破。多模態(tài)合 成技術(shù)通過整合不同模態(tài)的特征表示，能夠同時生成聲音、視頻、 3D 模型等多種類型的數(shù)據(jù)，不僅豐富了合成數(shù)據(jù)的維度，也促進(jìn)了 多模態(tài)理解和生成任務(wù)的進(jìn)步，為復(fù)雜場景應(yīng)用（如自動駕駛、虛 擬現(xiàn)實等）提供了重要的技術(shù)支持。

三是強(qiáng)化學(xué)習(xí)與合成數(shù)據(jù)逐漸融合發(fā)展。近期數(shù)據(jù)合成技術(shù)開始與強(qiáng)化學(xué)習(xí)算法深度融合，用于 模擬復(fù)雜環(huán)境下的交互數(shù)據(jù)，幫助智能體在安全、成本效益高的虛 擬環(huán)境中學(xué)習(xí)策略。這種結(jié)合不僅解決了現(xiàn)實世界數(shù)據(jù)獲取難、風(fēng) 險高等問題，還極大地提升了智能體的學(xué)習(xí)效率與適應(yīng)能力，尤其 是在自動駕駛、機(jī)器人導(dǎo)航等領(lǐng)域展現(xiàn)出巨大潛力。

四是隱私保護(hù)與合規(guī)性技術(shù)不斷增強(qiáng)。面對日益嚴(yán)格的個人數(shù)據(jù)保護(hù)法規(guī)，數(shù)據(jù) 合成技術(shù)創(chuàng)新性地提供了隱私保護(hù)解決方案—差分隱私、聯(lián)邦學(xué)習(xí) 與合成數(shù)據(jù)的結(jié)合，使得在不暴露原始敏感信息的前提下，也能生 成可用于訓(xùn)練的高質(zhì)量數(shù)據(jù)集，這不僅保障了用戶隱私，也為金融 機(jī)構(gòu)、醫(yī)療保健等行業(yè)利用 AI 技術(shù)創(chuàng)造了條件。