Aya Vision 是 Cohere 開發(fā)的一種多模態(tài)、多語言視覺模型，發(fā)布于 2025 年 3 月 3 日，旨在提升全球范圍內(nèi)的多語言和多模態(tài)通信能力。根據(jù) Cohere 博客：Aya Vision：擴(kuò)展 AI 所能看到的世界，該模型支持 23 種主要語言，覆蓋全球一半以上人口的語言需求，特別適合多語言環(huán)境下的視覺內(nèi)容處理。

主要功能

Aya Vision 的功能設(shè)計全面，涵蓋以下幾個方面：

1. 圖像描述生成
   該功能允許用戶上傳圖像，模型生成準(zhǔn)確且詳細(xì)的描述文本。這對于視覺障礙人士或需要快速提取圖像信息的場景尤為重要。例如，學(xué)生可以通過圖像描述快速了解藝術(shù)品的風(fēng)格和起源，增強(qiáng)學(xué)習(xí)體驗(yàn)。

2. 視覺問答（VQA）
   用戶可以上傳圖片并提出相關(guān)問題，Aya Vision 結(jié)合視覺信息和語言理解能力，提供準(zhǔn)確的答案。這種交互式功能在教育和內(nèi)容創(chuàng)作領(lǐng)域具有廣泛的應(yīng)用潛力，例如教師可以用它回答學(xué)生關(guān)于生物圖譜的問題。

3. 多語言支持
   Aya Vision 支持 23 種主要語言，能夠處理多語言的文本輸入和輸出。

4. 文本翻譯與摘要生成
   除了視覺任務(wù)，Aya Vision 還能翻譯文本內(nèi)容并生成簡潔的摘要，幫助用戶快速獲取關(guān)鍵信息。這在跨語言交流和信息處理中尤為實(shí)用，例如研究人員閱讀外文論文時可快速獲取要點(diǎn)。

5. 跨模態(tài)理解與生成
   該模型能夠?qū)⒁曈X信息與語言信息相結(jié)合，實(shí)現(xiàn)跨模態(tài)的交互。例如，它可以將圖像內(nèi)容轉(zhuǎn)化為文本描述，或?qū)⑽谋局噶钷D(zhuǎn)化為視覺搜索結(jié)果，這在廣告創(chuàng)意或內(nèi)容生成中非常有用。

技術(shù)原理

Aya Vision 采用模塊化架構(gòu)，包含以下核心組件：

• 視覺編碼器：基于 SigLIP2-patch14-384，負(fù)責(zé)提取圖像特征。

• 視覺語言連接器：將圖像特征映射到語言模型的嵌入空間。

• 語言模型解碼器：用于生成文本輸出。

訓(xùn)練過程中，Aya Vision 使用合成標(biāo)注（由 AI 生成的標(biāo)注）進(jìn)行訓(xùn)練，通過翻譯和重述處理增強(qiáng)多語言數(shù)據(jù)的質(zhì)量。模型還采用了動態(tài)圖像分辨率處理和像素混洗下采樣技術(shù)，提高計算效率。根據(jù) TechCrunch：Cohere 聲稱其新 Aya Vision AI 模型為最佳，盡管參數(shù)規(guī)模較?。?B 和 32B），Aya Vision 在多個基準(zhǔn)測試中超越了更大規(guī)模的模型，如 Llama-3.2 90B Vision，這得益于高效的訓(xùn)練策略和對計算資源的優(yōu)化。

訓(xùn)練分為兩個階段：

1. 視覺語言對齊：確保圖像和文本表示的一致性。
2. 監(jiān)督微調(diào)：在多模態(tài)任務(wù)上聯(lián)合訓(xùn)練連接器和語言模型。

版本與性能

Aya Vision 提供兩個版本：Aya Vision 32B 和 Aya Vision 8B。根據(jù) Hugging Face：CohereForAI/aya-vision-8b 和 Hugging Face：CohereForAI/aya-vision-32b，32B 版本參數(shù)更多，適合需要更高性能的場景，而 8B 版本更注重計算效率，適合資源受限的環(huán)境。用戶可以根據(jù)具體需求選擇，例如研究機(jī)構(gòu)可能偏向 32B，而小型企業(yè)可能更適合 8B。

應(yīng)用場景

Aya Vision 的應(yīng)用場景廣泛，涵蓋以下領(lǐng)域：

1. 教育領(lǐng)域
   它可以幫助學(xué)生和教師更好地理解視覺內(nèi)容。例如，通過圖像描述功能，學(xué)生可以快速了解藝術(shù)品的風(fēng)格和起源，教師可以用它創(chuàng)建交互式課程。
2. 內(nèi)容創(chuàng)作
   Aya Vision 能為多語言網(wǎng)站生成圖像描述，提升用戶體驗(yàn)。它還可以用于生成創(chuàng)意內(nèi)容，如新聞報道、故事或詩歌，特別適合全球化的內(nèi)容平臺。
3. 輔助工具
   對于視覺障礙人士，Aya Vision 可以作為輔助工具，通過圖像描述幫助他們理解周圍環(huán)境。例如，智能手機(jī)應(yīng)用可集成該模型，為用戶實(shí)時描述相機(jī)捕捉的圖像。
4. 多語言翻譯與交流
   支持 23 種語言的文本翻譯和摘要生成，能幫助用戶跨越語言障礙進(jìn)行交流，特別適合國際商務(wù)或旅游場景。
5. 研究與開發(fā)
   研究人員可以基于 Aya Vision 的高效性和多語言支持能力，探索新的應(yīng)用場景，例如開發(fā)多語言視覺輔助系統(tǒng)或分析跨文化視覺內(nèi)容。

開放源代碼與可訪問性

Cohere 以 Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) 許可發(fā)布了 Aya Vision，允許研究人員和開發(fā)者在非商業(yè)用途下自由使用、修改和分享模型，前提是提供適當(dāng)?shù)氖鹈?。模型可?Cohere 網(wǎng)站、Hugging Face：CohereForAI/aya-vision-8b、Hugging Face：CohereForAI/aya-vision-32b 上獲取，用戶還可以通過 Cohere Playground 或 WhatsApp 與模型交互。這種開放性和可訪問性鼓勵了 AI 社區(qū)的協(xié)作與創(chuàng)新。

性能對比與基準(zhǔn)測試

研究表明，Aya Vision 在多個基準(zhǔn)測試中表現(xiàn)出色，特別是在多語言和多模態(tài)任務(wù)上。根據(jù) RoboFlow 博客：Cohere Aya Vision：多模態(tài)和視覺分析，8B 版本在與近期發(fā)布模型的定性測試中表現(xiàn)優(yōu)異，而 32B 版本則在更復(fù)雜的任務(wù)上展現(xiàn)出更強(qiáng)的能力。這使得 Aya Vision 成為資源受限環(huán)境下的理想選擇，同時也適用于高性能需求場景。

未來展望

Aya Vision 的發(fā)布標(biāo)志著多模態(tài) AI 向更包容、更高效的方向發(fā)展。其多語言支持和開放源代碼特性可能激勵更多開發(fā)者參與創(chuàng)新，特別是在教育、輔助技術(shù)和全球通信領(lǐng)域。隨著 AI 技術(shù)的持續(xù)進(jìn)步，Aya Vision 可能成為連接不同文化和語言的橋梁。

數(shù)據(jù)表：Aya Vision 關(guān)鍵參數(shù)對比

結(jié)論

Aya Vision 作為 Cohere 的一項(xiàng)創(chuàng)新成果，憑借其高效的性能、多模態(tài)和多語言支持能力，正在為全球用戶提供全新的視覺內(nèi)容處理體驗(yàn)。無論是教育、內(nèi)容創(chuàng)作，還是研究開發(fā)，Aya Vision 都展現(xiàn)出了巨大的潛力。如果您正在尋找一款功能強(qiáng)大、易于使用的視覺模型，Aya Vision 絕對值得一試。