OpenAI新模型用的嵌入技術(shù)被網(wǎng)友扒出來(lái)了

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:OpenAI新模型用的嵌入技術(shù)被網(wǎng)友扒出來(lái)了
關(guān)鍵字:表征,向量,模型,研究者,論文
文章來(lái)源:機(jī)器之心
內(nèi)容字?jǐn)?shù):4099字
內(nèi)容摘要:
機(jī)器之心報(bào)道
編輯:蛋醬學(xué)起來(lái)吧。前幾天,OpenAI 來(lái)了一波重磅更新,一口氣宣布了 5 個(gè)新模型,其中就包括兩個(gè)新的文本嵌入模型。
我們知道,嵌入是表示自然語(yǔ)言或代碼等內(nèi)容中概念的數(shù)字序列。嵌入使得機(jī)器學(xué)習(xí)模型和其他算法更容易理解內(nèi)容之間的關(guān)聯(lián),也更容易執(zhí)行聚類或檢索等任務(wù)。
使用更大的嵌入(比如將它們存儲(chǔ)在向量存儲(chǔ)器中以供檢索)通常要比更小的嵌入消耗更高的成本、以及更多的算力、內(nèi)存和存儲(chǔ)。而 OpenAI 此次推出的兩個(gè)文本嵌入模型分別是更小且高效的 text-embedding-3-small 模型和更大且更強(qiáng)大的 text-embedding-3-large 模型。
這兩個(gè)新嵌入模型都使用一種技術(shù)進(jìn)行訓(xùn)練,允許開(kāi)發(fā)人員權(quán)衡使用嵌入的性能和成本。具體來(lái)說(shuō),開(kāi)發(fā)者通過(guò)在 dimensions API 參數(shù)中傳遞嵌入而不丟失其概念表征屬性,從而縮短嵌入(即從序列末尾刪除一些數(shù)字)。例如在 MTEB 基準(zhǔn)上,text-embedding-3-large 可以縮短為 256 的大小, 同時(shí)性能仍然優(yōu)于未縮短的 text-embedding-ada-002 嵌入(大小為 1536)。這一
原文鏈接:OpenAI新模型用的嵌入技術(shù)被網(wǎng)友扒出來(lái)了
聯(lián)系作者
文章來(lái)源:機(jī)器之心
作者微信:almosthuman2014
作者簡(jiǎn)介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)

粵公網(wǎng)安備 44011502001135號(hào)