從能量角度看AI模型訓練過程

AIGC動態歡迎閱讀

原標題：從能量角度看AI模型訓練過程
關鍵字：參數,能量,人腦,模型,代價
文章來源：JioNLP
內容字數：0字

內容摘要：

說 AI 模型訓練之前先說個引子。
人體消耗能量最多的器官是大腦，人腦幾乎每時每刻都在消耗能量進行思考活動，甚至睡覺的時候都停不下來。
與人體大腦能量消耗巨大相對應的，是人腦懶于學習。人天性厭惡學習知識，輔導過子女學習的父母們應該對此深有體會。
就像我這篇文章，純講AI技術科普，幾乎沒什么閱讀量，但是如果講八卦段子，社會熱點，流量就會非常高。 從能量角度來看這件事也很簡單，思考 AI 技術，做數學題，面對大量的數學公式，需要耗費人腦許多能量。而看八卦，吐槽美國大選（我個人認為特朗普肯定贏）和姜萍，討論今天股票情況，則不需要耗費太多精力。
人腦會產生排異反應，努力避免去思考類似數學題這種又抽象又沒什么用的知識，表現出來就是，要么打瞌睡，要么帶上痛苦面具。
這里拋出的引子的結論就是，人腦高耗能，但人腦會極力避免耗能。
我不是生物學家，引子的目的是引出 AI 模型的訓練過程。
如果把新訓練一些數據樣本當作 AI 模型的學習過程，則利用梯度下降把所有的模型參數更新一遍，就是一個消耗能量的過程。
注意，在最初的神經網絡模型里，這里是更新所有參數，“所有”，聽起來就非常耗費能量， 為了學習一些新的

原文鏈接：從能量角度看AI模型訓練過程

聯系作者

文章來源：JioNLP
作者微信：
作者簡介：