
AIGC動態歡迎閱讀
原標題:小模型如何進行上下文學習?字節跳動 & 華東師大聯合提出自進化文本識別器
文章來源:機器之心
內容字數:4315字
內容摘要:機器之心專欄機器之心編輯部我們都知道,大語言模型(LLM)能夠以一種無需模型微調的方式從少量示例中學習,這種方式被稱為「上下文學習」(In-context Learning)。這種上下文學習現象目前只能在大模型上觀察到。比如 GPT-4、Llama 等大模型在非常多的領域中都表現出了杰出的性能,但還是有很多場景受限于資源或者實時性要求較高,無法使用大模型。那么,常規大小的模型是否具備這種能力呢?為了探索小模型的上下文學習能力,字節和華東師大的研究團隊在場景文本識別任務上進行了研究。目前,在實際應用場景中,場景文本識別面臨著多種挑戰:不同的場景、文字排版、形變、光照變化、字跡模糊、字體多樣性等,因此很難訓練一個能應對所有場景的統一的文本識別模型。一個直接的解決辦法是收集相應的數據,然后在具體場景下對模型進行微調。但是這一過程需要重新訓練模型,計算量很大,而且需要針對不同場景需要保存多個模型權…
原文鏈接:點此閱讀原文:小模型如何進行上下文學習?字節跳動 & 華東師大聯合提出自進化文本識別器
聯系作者
文章來源:機器之心
作者微信:almosthuman2014
作者簡介:專業的人工智能媒體和產業服務平臺
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...

粵公網安備 44011502001135號