MiniGPT-4 | AI看圖

實測：2023.4.21 ?? ??
在線 Demo：
https://minigpt-4.github.io
開源代碼：
https://github.com/Vision-CAIR/MiniGPT-4
論文：
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
參考鏈接：
比OpenAI更快一步，開源的MiniGPT-4模型可讓開發(fā)者提前感受GPT-4識圖能力！
https://www.chinaz.com/2023/0419/1516992.shtml

擁有和 GPT-4相似的圖片解析功能
該研究團隊推出的 MiniGPT-4擁有和 GPT-4相似的功能。譬如:
給它一張圖，便能生成詳細的圖像描述:

也能講出圖片中搞笑、有趣的部分:「星期一通常被認為是一周中最令人恐懼的一天」。

還能在進一步交互中發(fā)現(xiàn)不尋常的內(nèi)容，如:雖然仙人掌有可能在寒冷的氣候條件下生長，但很少看到仙人掌生長站在冰凍的湖泊中間。此外，水面上形成的大冰晶也不是常見的現(xiàn)象。
于是，MiniGPT-4給出了自己的見解:這張圖片很可能是數(shù)字創(chuàng)作或操控的。

當然，和 GPT-4演示的一樣，MiniGPT-4也能根據(jù)手繪草圖生成網(wǎng)站:

識別圖像中的問題并提供解決方案:

以及創(chuàng)造詩歌或說唱歌曲的靈感:

此外，也能根據(jù)圖片續(xù)寫故事，給產(chǎn)品做廣告，對圖像展現(xiàn)的畫面進行評論、檢索與圖片有關(guān)的事實，以及當給定一張準備好的菜肴照片時，該模型可以輸出（可能）與之匹配的食譜或者生成一個適合視障人士的圖像描述。