AddressCLIP – 中科院聯(lián)合阿里云推出的端到端圖像地理定位大模型

AddressCLIP 是一個(gè)創(chuàng)新的端到端圖像地理定位模型，基于先進(jìn)的 CLIP 技術(shù)，由中科院自動(dòng)化所與阿里云聯(lián)合研發(fā)。該模型能夠通過(guò)一張照片實(shí)現(xiàn)街道級(jí)別的精確定位，并直接預(yù)測(cè)拍攝地點(diǎn)的可讀文本地址。與傳統(tǒng)的地理定位技術(shù)相比，AddressCLIP 不依賴(lài)復(fù)雜的 GPS 系統(tǒng)，而是通過(guò)圖像與文本的對(duì)齊以及圖像與地理位置的匹配來(lái)實(shí)現(xiàn)。這一模型在多個(gè)數(shù)據(jù)集上表現(xiàn)優(yōu)異，超越了現(xiàn)有的多模態(tài)模型，廣泛適用于社交媒體個(gè)性化推薦及與多模態(tài)大模型結(jié)合的豐富問(wèn)答服務(wù)。

AddressCLIP是什么

AddressCLIP 是由中科院自動(dòng)化所與阿里云聯(lián)合開(kāi)發(fā)的基于 CLIP 技術(shù)構(gòu)建的圖像地理定位模型。該模型通過(guò)分析一張照片，實(shí)現(xiàn)街道級(jí)別的定位，能夠直接預(yù)測(cè)拍攝地點(diǎn)的可讀地址。與傳統(tǒng)方法不同，AddressCLIP 不依賴(lài)復(fù)雜的 GPS 系統(tǒng)，而是通過(guò)圖像與文本的對(duì)齊和地理匹配技術(shù)，將圖像特征與地理信息結(jié)合起來(lái)。該模型在多個(gè)數(shù)據(jù)集上表現(xiàn)優(yōu)于現(xiàn)有的多模態(tài)模型，具有廣泛的應(yīng)用潛力。

AddressCLIP的主要功能

• 端到端圖像地理定位：通過(guò)一張照片實(shí)現(xiàn)街道級(jí)精度的定位，無(wú)需依賴(lài)復(fù)雜的 GPS 系統(tǒng)。模型通過(guò)圖像與地址文本的有效對(duì)齊，將圖像特征與地理信息相結(jié)合。
• 圖像-地址文本對(duì)齊：改進(jìn)了 CLIP 的訓(xùn)練框架，引入圖像-地址文本對(duì)比損失、圖像-語(yǔ)義對(duì)比損失及圖像-地理匹配損失，從而實(shí)現(xiàn)更精確的圖像與地址文本對(duì)齊。
• 靈活的推理能力：在推理過(guò)程中，AddressCLIP 能夠處理不同形式的候選地址文本，不僅限于訓(xùn)練集中的書(shū)寫(xiě)規(guī)則，展現(xiàn)出較高的靈活性和適應(yīng)性。
• 多模態(tài)結(jié)合潛力：該模型可以與多模態(tài)大模型結(jié)合，進(jìn)行更豐富的地址和地理信息相關(guān)問(wèn)答，提供智能的城市和地理助手服務(wù)。

AddressCLIP的技術(shù)原理

• 數(shù)據(jù)準(zhǔn)備與預(yù)處理：研究團(tuán)隊(duì)首先利用多模態(tài)生成模型（如 BLIP）對(duì)街景圖像進(jìn)行自動(dòng)化標(biāo)注，然后將這些語(yǔ)義文本與地址文本進(jìn)行結(jié)合，以填補(bǔ)圖像與地址文本之間的語(yǔ)義差距。
• 改進(jìn)的對(duì)比學(xué)習(xí)框架：AddressCLIP 對(duì) CLIP 的訓(xùn)練框架進(jìn)行了優(yōu)化，引入了三種損失函數(shù)：圖像-地址文本對(duì)比損失、圖像-語(yǔ)義對(duì)比損失及圖像-地理匹配損失。這些損失函數(shù)使得模型能夠更好地對(duì)齊圖像特征和地址文本特征。
• 流形學(xué)習(xí)與地理匹配：受到流形學(xué)習(xí)的啟發(fā)，該模型假設(shè)在真實(shí)地理環(huán)境中，相距較近的兩個(gè)點(diǎn)，其地址與圖像特征在特征空間中也應(yīng)當(dāng)接近。通過(guò)地理距離監(jiān)督特征空間中的距離，模型學(xué)習(xí)到的特征更加均勻。
• 端到端的推理能力：經(jīng)過(guò)訓(xùn)練后，AddressCLIP 能夠通過(guò)給定的候選地址集進(jìn)行推理，識(shí)別出圖像拍攝地點(diǎn)。由于在訓(xùn)練過(guò)程中模型已實(shí)現(xiàn)良好的圖像與地址對(duì)齊，推理時(shí)能夠靈活處理不同形式的候選地址文本。

AddressCLIP的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://addressclip.github.io
• Github倉(cāng)庫(kù)：https://github.com/xsx1001/AddressCLIP
• arXiv技術(shù)論文：https://arxiv.org/pdf/2407.08156

AddressCLIP的應(yīng)用場(chǎng)景

• 城市管理與規(guī)劃：在城市巡查和管理中，工作人員可以通過(guò)拍攝照片，利用 AddressCLIP 快速識(shí)別照片的具體地址信息，從而提升城市管理的效率。
• 社交媒體與新聞報(bào)道：在社交媒體平臺(tái)上，用戶(hù)上傳照片后，AddressCLIP 能夠自動(dòng)識(shí)別拍攝地點(diǎn)，并提供詳細(xì)的地址信息。
• 旅游與導(dǎo)航：在旅游領(lǐng)域，游客可以通過(guò)拍攝景點(diǎn)照片，利用 AddressCLIP 獲取詳細(xì)地址和相關(guān)信息，更好地規(guī)劃行程與導(dǎo)航。
• 基于位置的個(gè)性化推薦：結(jié)合多模態(tài)大模型，AddressCLIP 可用于社交媒體等平臺(tái)的個(gè)性化內(nèi)容推薦，提升用戶(hù)體驗(yàn)。
• 智能城市與地理助手：可與多模態(tài)大模型結(jié)合，提供智能城市和地理助手服務(wù)，幫助用戶(hù)進(jìn)行有關(guān)地址和地理信息的問(wèn)答。