斯坦福宣布前端開發要失業了！一張截圖生成代碼，64%優于原網頁！

AIGC動態歡迎閱讀

原標題：斯坦福宣布前端開發要失業了！一張截圖生成代碼，64%優于原網頁！
關鍵字：網頁,模型,提示,文本,代碼
文章來源：夕小瑤科技說
內容字數：9482字

內容摘要：

夕小瑤科技說 原創作者 | 芒果
引言：前端開發的自動化隨著生成型人工智能（AI）的飛速發展，多模態理解和代碼生成的能力達到了前所未有的水平。這為前端開發帶來了一場自動化，其中多模態大型語言模型（LLMs）有望直接將視覺設計轉換為代碼實現。
斯坦福和谷歌等單位的研究者將這一任務形式化為Design2Code任務，并對其進行了全面的基準測試。研究人員手動策劃了一個包含484個多樣化的真實世界網頁的測試案例，并開發了一套自動評估指標，以評估當前多模態LLMs在將截圖作為輸入的情況下，能夠多么精確地生成直接渲染成給定參考網頁的代碼實現。此外，還通過全面的人類評估來補充自動指標。研究者開發了一系列多模態提示方法，并展示了它們在GPT-4V和Gemini Pro Vision上的有效性。此外，進一步對一個開源的Design2Code-18B模型進行了微調，成功地達到了與Gemini Pro Vision相匹配的性能。無論是人類評估還是自動指標都顯示，GPT-4V在這項任務上的表現優于其他模型。研究者認為，在視覺外觀和內容方面，GPT-4V生成的網頁可以在49%的案例中替代原始參考網頁；而

原文鏈接：斯坦福宣布前端開發要失業了！一張截圖生成代碼，64%優于原網頁！

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。