MiniGPT-4 | AI看圖

實(shí)測(cè)：2023.4.21 ? ?
在線 Demo：
https://minigpt-4.github.io
開(kāi)源代碼：
https://github.com/Vision-CAIR/MiniGPT-4
論文：
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
參考鏈接：
比OpenAI更快一步，開(kāi)源的MiniGPT-4模型可讓開(kāi)發(fā)者提前感受GPT-4識(shí)圖能力！
https://www.chinaz.com/2023/0419/1516992.shtml

擁有和 GPT-4相似的圖片解析功能
該研究團(tuán)隊(duì)推出的 MiniGPT-4擁有和 GPT-4相似的功能。譬如:
給它一張圖，便能生成詳細(xì)的圖像描述:

也能講出圖片中搞笑、有趣的部分:「星期一通常被認(rèn)為是一周中最令人恐懼的一天」。

還能在進(jìn)一步交互中發(fā)現(xiàn)不尋常的內(nèi)容，如:雖然仙人掌有可能在寒冷的氣候條件下生長(zhǎng)，但很少看到仙人掌生長(zhǎng)站在冰凍的湖泊中間。此外，水面上形成的大冰晶也不是常見(jiàn)的現(xiàn)象。
于是，MiniGPT-4給出了自己的見(jiàn)解:這張圖片很可能是數(shù)字創(chuàng)作或操控的。

當(dāng)然，和 GPT-4演示的一樣，MiniGPT-4也能根據(jù)手繪草圖生成網(wǎng)站:

識(shí)別圖像中的問(wèn)題并提供解決方案:

以及創(chuàng)造詩(shī)歌或說(shuō)唱歌曲的靈感:

此外，也能根據(jù)圖片續(xù)寫故事，給產(chǎn)品做廣告，對(duì)圖像展現(xiàn)的畫面進(jìn)行評(píng)論、檢索與圖片有關(guān)的事實(shí)，以及當(dāng)給定一張準(zhǔn)備好的菜肴照片時(shí)，該模型可以輸出（可能）與之匹配的食譜或者生成一個(gè)適合視障人士的圖像描述。