夜晚久久精品视频|精品国产片免费在线观看|中文乱码字幕在线观看直播|久久久一本精品99久久精品99

  • <del id="koae8"></del>
    <samp id="koae8"><optgroup id="koae8"></optgroup></samp>
  • <table id="koae8"></table>
  • <button id="koae8"></button>
  • <li id="koae8"></li>
    <rt id="koae8"><tr id="koae8"></tr></rt>
  • 首頁 > 新聞 > 內(nèi)地 > 正文

    ?AI學(xué)堂/什么是縮放定律?

    2025-02-01 05:02:11大公報
    字號
    放大
    標(biāo)準(zhǔn)
    分享

      在人工智能(AI)和深度學(xué)習(xí)(DL)領(lǐng)域,縮放定律(Scaling Laws)指的是模型性能如何隨計算量、參數(shù)規(guī)模和數(shù)據(jù)量的增加而變化的規(guī)律。這些定律幫助研究者理解如何提高AI性能,以及是否值得投入更多資源來訓(xùn)練更大的模型。

      如果用“培育一棵樹”的比喻來理解縮放定律,樹的樹根深度即為大模型的模型參數(shù)量;土壤養(yǎng)分為訓(xùn)練數(shù)據(jù)量,陽光能量為計算資源,果實(shí)甜度為模型性能。當(dāng)樹根更深(模型參數(shù)量更大)、土壤更肥(訓(xùn)練數(shù)據(jù)量更大)、陽光更足(算力更強(qiáng)),果實(shí)會越來越甜(模型性能更強(qiáng)),且甜度提升速度超過投入增長─直到遇到“玻璃天花板”,此時再增加投入,甜度增幅急劇放緩。

      就像園林大師不會盲目追求最高樹木,AI工程師通過縮放定律尋找“甜蜜點(diǎn)”:在算力預(yù)算內(nèi),找到使(性能提升/資源消耗)比值最大的參數(shù)─數(shù)據(jù)─算力組合,這就是DeepSeek以算法突圍而出的關(guān)鍵所在。

    點(diǎn)擊排行