巧解「數(shù)據(jù)稀缺」問題！清華開源GPD：用擴散模型生成神經(jīng)網(wǎng)絡(luò)參數(shù)｜ICLR 2024

AIGC動態(tài)歡迎閱讀

原標題：巧解「數(shù)據(jù)稀缺」問題！清華開源GPD：用擴散模型生成神經(jīng)網(wǎng)絡(luò)參數(shù)｜ICLR 2024
關(guān)鍵字：神經(jīng)網(wǎng)絡(luò),模型,數(shù)據(jù),城市,參數(shù)
文章來源：新智元
內(nèi)容字數(shù)：10394字

內(nèi)容摘要：

新智元報道編輯：LRS 好困
【新智元導(dǎo)讀】清華大學電子工程系城市科學與計算研究中心最近提出了一種新的時空少樣本學習方法，旨在解決城市計算中廣泛存在的數(shù)據(jù)稀缺性問題。該方法利用了利用擴散模型來生成神經(jīng)網(wǎng)絡(luò)參數(shù)，將時空少樣本學習轉(zhuǎn)換為擴散模型的預(yù)訓(xùn)練問題，可根據(jù)prompt（提示）生成定制的神經(jīng)網(wǎng)絡(luò)，從而適應(yīng)不同數(shù)據(jù)分布和城市特征。傳統(tǒng)的時空預(yù)測模型通常需要大量數(shù)據(jù)支持才能取得良好效果。
然而，由于城市發(fā)展水平不均衡和數(shù)據(jù)收集政策的差異，許多城市和地區(qū)的時空數(shù)據(jù)（如交通和人群流動數(shù)據(jù)）受到了限制。在這種情況下，模型在數(shù)據(jù)稀缺情況下的可遷移性變得尤為重要。現(xiàn)有研究主要利用數(shù)據(jù)豐富的源城市數(shù)據(jù)訓(xùn)練模型，并將其應(yīng)用于數(shù)據(jù)稀缺的目標城市。然而，現(xiàn)有方法往往依賴于復(fù)雜的匹配設(shè)計，如何實現(xiàn)對源城市和目標城市之間更一般化的知識遷移仍然是一個挑戰(zhàn)。
最近，預(yù)訓(xùn)練模型在自然語言處理和計算機視覺領(lǐng)域取得了顯著進展，它們通過引入prompt（提示）技術(shù)來縮小微調(diào)和預(yù)訓(xùn)練之間的差距。這些先進的預(yù)訓(xùn)練模型不再需要繁瑣的微調(diào)，而是利用有效的prompt技術(shù)實現(xiàn)快速適應(yīng)。論文鏈接：https://openrevie

原文鏈接：巧解「數(shù)據(jù)稀缺」問題！清華開源GPD：用擴散模型生成神經(jīng)網(wǎng)絡(luò)參數(shù)｜ICLR 2024

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。