巧解「數據稀缺」問題！清華開源GPD：用擴散模型生成神經網絡參數｜ICLR 2024

AIGC動態歡迎閱讀

原標題：巧解「數據稀缺」問題！清華開源GPD：用擴散模型生成神經網絡參數｜ICLR 2024
關鍵字：神經網絡,模型,數據,城市,參數
文章來源：新智元
內容字數：10394字

內容摘要：

新智元報道編輯：LRS 好困
【新智元導讀】清華大學電子工程系城市科學與計算研究中心最近提出了一種新的時空少樣本學習方法，旨在解決城市計算中廣泛存在的數據稀缺性問題。該方法利用了利用擴散模型來生成神經網絡參數，將時空少樣本學習轉換為擴散模型的預訓練問題，可根據prompt（提示）生成定制的神經網絡，從而適應不同數據分布和城市特征。傳統的時空預測模型通常需要大量數據支持才能取得良好效果。
然而，由于城市發展水平不均衡和數據收集政策的差異，許多城市和地區的時空數據（如交通和人群流動數據）受到了限制。在這種情況下，模型在數據稀缺情況下的可遷移性變得尤為重要。現有研究主要利用數據豐富的源城市數據訓練模型，并將其應用于數據稀缺的目標城市。然而，現有方法往往依賴于復雜的匹配設計，如何實現對源城市和目標城市之間更一般化的知識遷移仍然是一個挑戰。
最近，預訓練模型在自然語言處理和計算機視覺領域取得了顯著進展，它們通過引入prompt（提示）技術來縮小微調和預訓練之間的差距。這些先進的預訓練模型不再需要繁瑣的微調，而是利用有效的prompt技術實現快速適應。論文鏈接：https://openrevie

原文鏈接：巧解「數據稀缺」問題！清華開源GPD：用擴散模型生成神經網絡參數｜ICLR 2024

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。