從能量角度看AI模型訓(xùn)練過程

AIGC動態(tài)歡迎閱讀

原標題：從能量角度看AI模型訓(xùn)練過程
關(guān)鍵字：參數(shù),能量,人腦,模型,代價
文章來源：JioNLP
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

說 AI 模型訓(xùn)練之前先說個引子。
人體消耗能量最多的器官是大腦，人腦幾乎每時每刻都在消耗能量進行思考活動，甚至睡覺的時候都停不下來。
與人體大腦能量消耗巨大相對應(yīng)的，是人腦懶于學(xué)習(xí)。人天性厭惡學(xué)習(xí)知識，輔導(dǎo)過子女學(xué)習(xí)的父母們應(yīng)該對此深有體會。
就像我這篇文章，純講AI技術(shù)科普，幾乎沒什么閱讀量，但是如果講八卦段子，社會熱點，流量就會非常高。 從能量角度來看這件事也很簡單，思考 AI 技術(shù)，做數(shù)學(xué)題，面對大量的數(shù)學(xué)公式，需要耗費人腦許多能量。而看八卦，吐槽美國大選（我個人認為特朗普肯定贏）和姜萍，討論今天股票情況，則不需要耗費太多精力。
人腦會產(chǎn)生排異反應(yīng)，努力避免去思考類似數(shù)學(xué)題這種又抽象又沒什么用的知識，表現(xiàn)出來就是，要么打瞌睡，要么帶上痛苦面具。
這里拋出的引子的結(jié)論就是，人腦高耗能，但人腦會極力避免耗能。
我不是生物學(xué)家，引子的目的是引出 AI 模型的訓(xùn)練過程。
如果把新訓(xùn)練一些數(shù)據(jù)樣本當作 AI 模型的學(xué)習(xí)過程，則利用梯度下降把所有的模型參數(shù)更新一遍，就是一個消耗能量的過程。
注意，在最初的神經(jīng)網(wǎng)絡(luò)模型里，這里是更新所有參數(shù)，“所有”，聽起來就非常耗費能量， 為了學(xué)習(xí)一些新的

原文鏈接：從能量角度看AI模型訓(xùn)練過程

聯(lián)系作者

文章來源：JioNLP
作者微信：
作者簡介：