參數極小,性能超強。
微軟開源最強小參數模型Phi-4,自動駕駛峰會即將召開
本文總結了微軟開源小參數模型Phi-4的重大突破以及即將在北京舉辦的第四屆全球自動駕駛峰會信息。
1. 微軟Phi-4模型開源
微軟研究院開源了其最新研發的超強小參數模型Phi-4,該模型僅有140億參數,卻在多個基準測試中超越了包括GPT-4o在內的眾多知名模型,甚至在性能上與參數量達4050億的Llama-3.1媲美。Phi-4在MMLU測試中取得了84.8的高分,在GPQA和MATH測試中也超過了GPT-4o,并在美國數學競賽AMC測試中獲得91.8分。
Phi-4的成功得益于高質量的合成數據。該模型使用了約4000億個未加權的tokens,這些數據涵蓋了50多種不同類型,并遵循多樣性、細膩性與復雜性、準確性和推理鏈等原則生成。除了合成數據,Phi-4還使用了經過嚴格篩選和過濾的有機數據,并支持多種語言。
在訓練方面,Phi-4采用混合數據策略,結合合成數據和高質量有機數據進行訓練,并通過監督微調(SFT)和直接偏好優化(DPO)技術進行優化,最終實現了在多個基準測試中取得優異成績。
Phi-4開源并支持MIT許可證下商業用途,其開源地址為:https://huggingface.co/microsoft/phi-4/tree/main 。該模型的輕量級特性使其能夠在普通硬件上運行,例如蘋果M4 Pro筆記本電腦。
2. 第四屆全球自動駕駛峰會
第四屆全球自動駕駛峰會將于1月14日在北京舉辦。峰會將包括主會場和分會場,內容涵蓋開幕式、端到端自動駕駛創新論壇、城市NOA專題論壇、自動駕駛視覺語言模型技術研討會以及自動駕駛世界模型技術研討會等。峰會演講嘉賓已全部敲定,具體議程可參考文末海報。
本次峰會為業內人士提供了一個交流學習的平臺,關注自動駕駛技術的未來發展趨勢。
有意參加峰會者可申請免費票或購票。
總而言之,微軟Phi-4模型的開源是自然語言處理領域的一大進步,其輕量級和高性能特性為未來的應用提供了更多可能性。同時,即將召開的全球自動駕駛峰會也為自動駕駛行業的發展帶來了新的機遇。
聯系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下公眾號之一,深入關注大模型與AI智能體,及時搜羅生成式AI技術產品。