面壁智能昨晚推出并開(kāi)源 MiniCPM 系列最新的端側(cè)多模態(tài)模型 MiniCPM-Llama3-V 2.5，支持 30+ 種語(yǔ)言，宣稱可實(shí)現(xiàn)：

　　最強(qiáng)端側(cè)多模態(tài)綜合性能：超越 Gemini Pro 、GPT-4V

　　OCR 能力 SOTA(IT之家注：State-of-the-Art)：9 倍像素更清晰，難圖長(zhǎng)圖長(zhǎng)文本精準(zhǔn)識(shí)別

　　圖像編碼快 150 倍：首次端側(cè)系統(tǒng)級(jí)多模態(tài)加速

　　MiniCPM-Llama3-V 2.5 總參數(shù)量為 8B，多模態(tài)綜合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用閉源模型，OCR 能力及指令跟隨能力得到進(jìn)一步提升，可精準(zhǔn)識(shí)別難圖、長(zhǎng)圖、長(zhǎng)文本，并支持超過(guò) 30 種語(yǔ)言的多模態(tài)交互。

　　在 OpenCompass 測(cè)試中，MiniCPM-Llama3-V 2.5 綜合性能超越多模態(tài)“巨無(wú)霸”GPT-4V 和 Gemini Pro;在 OCRBench 上，超越了 GPT-4o、GPT-4V、Claude 3V Opus、Gemini Pro 等標(biāo)桿模型。

　　此外，在圖像編碼方面，MiniCPM-Llama3-V 2.5 首次整合 NPU 和 CPU 加速框架，并結(jié)合顯存管理、編譯優(yōu)化技術(shù)，實(shí)現(xiàn)了 150 倍加速提升。

　　在語(yǔ)言模型推理方面，經(jīng)過(guò) CPU、編譯優(yōu)化、顯存管理等優(yōu)化方式，MiniCPM-Llama3-V 2.5 在手機(jī)端的語(yǔ)言解碼速度由 Llama 3 的 0.5 token / s 上下提升到 3-4 token / s，并可支持 30 多種語(yǔ)言，包括德語(yǔ)、法語(yǔ)、西班牙語(yǔ)、意大利語(yǔ)、俄語(yǔ)等主流語(yǔ)言，基本覆蓋一帶一路國(guó)家。

　　OCR 技術(shù)方面，MiniCPM-Llama3-V 2.5 實(shí)現(xiàn)高效編碼及無(wú)損識(shí)別 180 萬(wàn)高清像素圖片，并且支持任意長(zhǎng)寬比、甚至 1:9 極限比例圖像。