Aya Vision 是 Cohere 開(kāi)發(fā)的一種多模態(tài)、多語(yǔ)言視覺(jué)模型，發(fā)布于 2025 年 3 月 3 日，旨在提升全球范圍內(nèi)的多語(yǔ)言和多模態(tài)通信能力。根據(jù) Cohere 博客：Aya Vision：擴(kuò)展 AI 所能看到的世界，該模型支持 23 種主要語(yǔ)言，覆蓋全球一半以上人口的語(yǔ)言需求，特別適合多語(yǔ)言環(huán)境下的視覺(jué)內(nèi)容處理。

主要功能

Aya Vision 的功能設(shè)計(jì)全面，涵蓋以下幾個(gè)方面：

1. 圖像描述生成
   該功能允許用戶(hù)上傳圖像，模型生成準(zhǔn)確且詳細(xì)的描述文本。這對(duì)于視覺(jué)障礙人士或需要快速提取圖像信息的場(chǎng)景尤為重要。例如，學(xué)生可以通過(guò)圖像描述快速了解藝術(shù)品的風(fēng)格和起源，增強(qiáng)學(xué)習(xí)體驗(yàn)。

2. 視覺(jué)問(wèn)答（VQA）
   用戶(hù)可以上傳圖片并提出相關(guān)問(wèn)題，Aya Vision 結(jié)合視覺(jué)信息和語(yǔ)言理解能力，提供準(zhǔn)確的答案。這種交互式功能在教育和內(nèi)容創(chuàng)作領(lǐng)域具有廣泛的應(yīng)用潛力，例如教師可以用它回答學(xué)生關(guān)于生物圖譜的問(wèn)題。

3. 多語(yǔ)言支持
   Aya Vision 支持 23 種主要語(yǔ)言，能夠處理多語(yǔ)言的文本輸入和輸出。

4. 文本翻譯與摘要生成
   除了視覺(jué)任務(wù)，Aya Vision 還能翻譯文本內(nèi)容并生成簡(jiǎn)潔的摘要，幫助用戶(hù)快速獲取關(guān)鍵信息。這在跨語(yǔ)言交流和信息處理中尤為實(shí)用，例如研究人員閱讀外文論文時(shí)可快速獲取要點(diǎn)。

5. 跨模態(tài)理解與生成
   該模型能夠?qū)⒁曈X(jué)信息與語(yǔ)言信息相結(jié)合，實(shí)現(xiàn)跨模態(tài)的交互。例如，它可以將圖像內(nèi)容轉(zhuǎn)化為文本描述，或?qū)⑽谋局噶钷D(zhuǎn)化為視覺(jué)搜索結(jié)果，這在廣告創(chuàng)意或內(nèi)容生成中非常有用。

技術(shù)原理

Aya Vision 采用模塊化架構(gòu)，包含以下核心組件：

• 視覺(jué)編碼器：基于 SigLIP2-patch14-384，負(fù)責(zé)提取圖像特征。

• 視覺(jué)語(yǔ)言連接器：將圖像特征映射到語(yǔ)言模型的嵌入空間。

• 語(yǔ)言模型解碼器：用于生成文本輸出。

訓(xùn)練過(guò)程中，Aya Vision 使用合成標(biāo)注（由 AI 生成的標(biāo)注）進(jìn)行訓(xùn)練，通過(guò)翻譯和重述處理增強(qiáng)多語(yǔ)言數(shù)據(jù)的質(zhì)量。模型還采用了動(dòng)態(tài)圖像分辨率處理和像素混洗下采樣技術(shù)，提高計(jì)算效率。根據(jù) TechCrunch：Cohere 聲稱(chēng)其新 Aya Vision AI 模型為最佳，盡管參數(shù)規(guī)模較?。?B 和 32B），Aya Vision 在多個(gè)基準(zhǔn)測(cè)試中超越了更大規(guī)模的模型，如 Llama-3.2 90B Vision，這得益于高效的訓(xùn)練策略和對(duì)計(jì)算資源的優(yōu)化。

訓(xùn)練分為兩個(gè)階段：

1. 視覺(jué)語(yǔ)言對(duì)齊：確保圖像和文本表示的一致性。
2. 監(jiān)督微調(diào)：在多模態(tài)任務(wù)上聯(lián)合訓(xùn)練連接器和語(yǔ)言模型。

版本與性能

Aya Vision 提供兩個(gè)版本：Aya Vision 32B 和 Aya Vision 8B。根據(jù) Hugging Face：CohereForAI/aya-vision-8b 和 Hugging Face：CohereForAI/aya-vision-32b，32B 版本參數(shù)更多，適合需要更高性能的場(chǎng)景，而 8B 版本更注重計(jì)算效率，適合資源受限的環(huán)境。用戶(hù)可以根據(jù)具體需求選擇，例如研究機(jī)構(gòu)可能偏向 32B，而小型企業(yè)可能更適合 8B。

應(yīng)用場(chǎng)景

Aya Vision 的應(yīng)用場(chǎng)景廣泛，涵蓋以下領(lǐng)域：

1. 教育領(lǐng)域
   它可以幫助學(xué)生和教師更好地理解視覺(jué)內(nèi)容。例如，通過(guò)圖像描述功能，學(xué)生可以快速了解藝術(shù)品的風(fēng)格和起源，教師可以用它創(chuàng)建交互式課程。
2. 內(nèi)容創(chuàng)作
   Aya Vision 能為多語(yǔ)言網(wǎng)站生成圖像描述，提升用戶(hù)體驗(yàn)。它還可以用于生成創(chuàng)意內(nèi)容，如新聞報(bào)道、故事或詩(shī)歌，特別適合全球化的內(nèi)容平臺(tái)。
3. 輔助工具
   對(duì)于視覺(jué)障礙人士，Aya Vision 可以作為輔助工具，通過(guò)圖像描述幫助他們理解周?chē)h(huán)境。例如，智能手機(jī)應(yīng)用可集成該模型，為用戶(hù)實(shí)時(shí)描述相機(jī)捕捉的圖像。
4. 多語(yǔ)言翻譯與交流
   支持 23 種語(yǔ)言的文本翻譯和摘要生成，能幫助用戶(hù)跨越語(yǔ)言障礙進(jìn)行交流，特別適合國(guó)際商務(wù)或旅游場(chǎng)景。
5. 研究與開(kāi)發(fā)
   研究人員可以基于 Aya Vision 的高效性和多語(yǔ)言支持能力，探索新的應(yīng)用場(chǎng)景，例如開(kāi)發(fā)多語(yǔ)言視覺(jué)輔助系統(tǒng)或分析跨文化視覺(jué)內(nèi)容。

開(kāi)放源代碼與可訪問(wèn)性

Cohere 以 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 許可發(fā)布了 Aya Vision，允許研究人員和開(kāi)發(fā)者在非商業(yè)用途下自由使用、修改和分享模型，前提是提供適當(dāng)?shù)氖鹈?。模型可?Cohere 網(wǎng)站、Hugging Face：CohereForAI/aya-vision-8b、Hugging Face：CohereForAI/aya-vision-32b 上獲取，用戶(hù)還可以通過(guò) Cohere Playground 或 WhatsApp 與模型交互。這種開(kāi)放性和可訪問(wèn)性鼓勵(lì)了 AI 社區(qū)的協(xié)作與創(chuàng)新。

性能對(duì)比與基準(zhǔn)測(cè)試

研究表明，Aya Vision 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，特別是在多語(yǔ)言和多模態(tài)任務(wù)上。根據(jù) RoboFlow 博客：Cohere Aya Vision：多模態(tài)和視覺(jué)分析，8B 版本在與近期發(fā)布模型的定性測(cè)試中表現(xiàn)優(yōu)異，而 32B 版本則在更復(fù)雜的任務(wù)上展現(xiàn)出更強(qiáng)的能力。這使得 Aya Vision 成為資源受限環(huán)境下的理想選擇，同時(shí)也適用于高性能需求場(chǎng)景。

未來(lái)展望

Aya Vision 的發(fā)布標(biāo)志著多模態(tài) AI 向更包容、更高效的方向發(fā)展。其多語(yǔ)言支持和開(kāi)放源代碼特性可能激勵(lì)更多開(kāi)發(fā)者參與創(chuàng)新，特別是在教育、輔助技術(shù)和全球通信領(lǐng)域。隨著 AI 技術(shù)的持續(xù)進(jìn)步，Aya Vision 可能成為連接不同文化和語(yǔ)言的橋梁。

數(shù)據(jù)表：Aya Vision 關(guān)鍵參數(shù)對(duì)比

結(jié)論

Aya Vision 作為 Cohere 的一項(xiàng)創(chuàng)新成果，憑借其高效的性能、多模態(tài)和多語(yǔ)言支持能力，正在為全球用戶(hù)提供全新的視覺(jué)內(nèi)容處理體驗(yàn)。無(wú)論是教育、內(nèi)容創(chuàng)作，還是研究開(kāi)發(fā)，Aya Vision 都展現(xiàn)出了巨大的潛力。如果您正在尋找一款功能強(qiáng)大、易于使用的視覺(jué)模型，Aya Vision 絕對(duì)值得一試。