SAM 2.1上新、Lingua代碼庫(kù)發(fā)布,一Meta開(kāi)源工具來(lái)襲

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:SAM 2.1上新、Lingua代碼庫(kù)發(fā)布,一Meta開(kāi)源工具來(lái)襲
關(guān)鍵字:模型,鏈接,語(yǔ)音,語(yǔ)言,編碼器
文章來(lái)源:機(jī)器之心
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
機(jī)器之心報(bào)道
機(jī)器之心編輯部????今天,Meta 分享了一系列研究和模型,這些研究和模型支撐 Meta 實(shí)現(xiàn)高級(jí)機(jī)器智能(AMI)目標(biāo),同時(shí)也致力于開(kāi)放科學(xué)和可復(fù)現(xiàn)性。
這些工作側(cè)重于 AMI 的構(gòu)建模塊,包括感知、語(yǔ)音和語(yǔ)言、推理、具身智能和對(duì)齊。研究工作包括 SAM 2.1、Spirit LM、Layer Skip、自學(xué)習(xí)評(píng)估器等。???????SAM 2.1
SAM 2 已經(jīng)被應(yīng)用于跨學(xué)科(包括醫(yī)學(xué)圖像、氣象學(xué)等)研究,并且產(chǎn)生了良好的影響。現(xiàn)在,Meta 宣布推出性能更強(qiáng)的 SAM 2.1。Meta 引入了額外的數(shù)據(jù)增強(qiáng)技術(shù)來(lái)模擬 SAM 2 之前遇到的視覺(jué)相似物體和小物體的存在,通過(guò)在較長(zhǎng)的幀序列上訓(xùn)練模型并對(duì)空間和物體指針內(nèi)存的位置編碼進(jìn)行一些調(diào)整,提高了 SAM 2 的遮擋處理能力。項(xiàng)目鏈接:https://github.com/facebookresearch/sam2
Spirit LM
大型語(yǔ)言模型經(jīng)常被用于構(gòu)建文本到語(yǔ)音 pipeline,其中語(yǔ)音通過(guò)自動(dòng)語(yǔ)音識(shí)別 (ASR) 進(jìn)行轉(zhuǎn)錄,然后由 LLM 生成文本,最終使用文本到語(yǔ)音 (TTS) 轉(zhuǎn)換為語(yǔ)音。然而,
原文鏈接:SAM 2.1上新、Lingua代碼庫(kù)發(fā)布,一Meta開(kāi)源工具來(lái)襲
聯(lián)系作者
文章來(lái)源:機(jī)器之心
作者微信:
作者簡(jiǎn)介:

粵公網(wǎng)安備 44011502001135號(hào)