AI初創(chuàng)公司Reka最新推出的多模態(tài)語言模型Reka Core具備理解圖像、音頻和視頻等多種模式數(shù)據(jù)內(nèi)容的驚人能力，是繼谷歌的Gemini Ultra之后的又一個令人矚目的作品，性能上與GPT-4不相上下!

　　多模態(tài)語言模型又雙叒叕上新了!

　　近日，由DeepMind、谷歌和Meta的研究人員創(chuàng)立的AI初創(chuàng)公司Reka，推出了他們最新的多模態(tài)語言模型——Reka Core。

　　它被譽為該公司「最大、最有能力」的模型，在性能上與GPT-4和Claude3Opus不相上下!

　　Reka的首席科學家兼聯(lián)合創(chuàng)始人Yi Tay興奮地表示，過去幾個月，該公司使用了「數(shù)千臺***」來開發(fā)Reka Core。

　　能夠達到GPT-4或Opus的水平是研究團隊中許多人的目標。

　　從頭開始訓練模型來與OpenAI的GPT-4和Claude3Opus相媲美無疑是一項壯舉。

　　目前Core仍在改進，在后續(xù)的時間里，興許會有更多有趣的內(nèi)容陸續(xù)推出!

　　對于這個新推出的模型，網(wǎng)友們叫好聲一片~

　　還有網(wǎng)友看了官方發(fā)布的視頻后驚嘆:這莫不就是傳說中的AGI，有點迫不及待了!!!

　　Core是Reka語言模型系列中的第三個成員，由多個來源訓練而成，包括公開數(shù)據(jù)、授權數(shù)據(jù)以及涵蓋文本、音頻、視頻和圖像文件的合成數(shù)據(jù)。

　　它能夠理解圖像、音頻和視頻等多種模式的數(shù)據(jù)內(nèi)容。

　　最重要的是，盡管只用了不到一年的時間就完成了訓練，但它的性能卻可以媲美或超越人工智能領域領先的頂級模型。

　　雖然Reka Core的確切參數(shù)數(shù)量尚未披露，但該公司首席執(zhí)行官Dani Yogatama認為它是一個「非常龐大的模型」(上一個模型Reka Flash有210億個參數(shù))。

　　Core還支持32種語言和128，000個詞組的上下文窗口，這也就讓該模型在處理長篇文檔方面具備了極強的優(yōu)勢。

　　可以說，Core是繼谷歌的Gemini Ultra之后第二個涵蓋從文本到視頻等所有數(shù)據(jù)模式并且能夠提供高質(zhì)量輸出的模型了。

　　此外，Yogatama還表示，研究團隊正在訓練Core以進一步提高其性能，同時也在開發(fā)下一個版本，并且表示該公司沒有開源該技術的計劃。

　　技術細節(jié)

　　訓練數(shù)據(jù)

　　訓練數(shù)據(jù)由公開可用和專有/許可數(shù)據(jù)集組成，其中包括包括文本、圖像、視頻和音頻剪輯，獲取數(shù)據(jù)的截止日期為2023年11月。

　　雖然并未對語料庫的內(nèi)容進行嚴格意義上的分類，但預訓練數(shù)據(jù)中大約25%的數(shù)據(jù)是與代碼相關的，30%的數(shù)據(jù)是與STEM相關。

　　其中約有25%的數(shù)據(jù)是網(wǎng)絡爬取獲得的并且約10%的數(shù)據(jù)跟數(shù)學相關。

　　總體混合率一般遵循優(yōu)先考慮獨特標記的原則，但會根據(jù)數(shù)量有限的小規(guī)模消融產(chǎn)生的信號進行人工調(diào)整

　　預訓練數(shù)據(jù)中大約15%是明確的多語言數(shù)據(jù)，由32種不同的語言按分層加權組成。

　　除了這些明確加權的語言之外，為了讓大多數(shù)語言都有基準性能，研究團隊還在包含110種語言的維基百科上進行訓練。

　　模型架構

　　Reka模型架構是一個模塊化的編碼器-解碼器架構，支持文本、圖像、視頻 和音頻輸入。目前，我們的模型僅支持文本輸出。

　　模型主要使用Pytorch在Nvidia ***上進行訓練。

　　研究團隊表示，盡管訓練過程學習率非常高，但損失峰值很少，因此模型預訓練過程相對比較順利。

　　后訓練(Post-Training)

　　經(jīng)過預訓練后，模型使用強正則化技術對多個epoch進行指令調(diào)整。

　　對于SFT，研究團隊使用混合數(shù)據(jù)集進行訓練，其中包括他們的專有數(shù)據(jù)和公開數(shù)據(jù)。

　　SFT之后，使用RLHF方法進行對齊。

　　此外，在后訓練過程中，研究人員還考慮了工具使用、函數(shù)調(diào)用和網(wǎng)絡搜索等內(nèi)容。

　　性能亮點

　　在業(yè)界公認的關鍵評估指標方面，Core與OpenAI、Anthropic和谷歌的模型相比具有很強的競爭力。

　　考慮到它的模型大小和性能，從總體成本的角度來看，Core能帶來巨大的價值。

　　Core擁有強大功能的同時，部署也十分靈活，由此開啟了大量新的應用案例。

　　在視頻感知測試中，Core的表現(xiàn)遠遠超過其唯一的競爭對手Gemini Ultra(59.3分對54.7分)。

　　同時，在針對圖像任務的MMMU基準測試中，Core以56.3的得分緊隨GPT-4(56.8)、Claude3Opus(59.4)、Gemini Ultra(59.4)和 Gemini Pro1.5(58.5)之后。

　　即使在其他基準測試中，Core也能媲美行業(yè)領先模型。

　　例如，在知識任務的MMLU測試中，它獲得了83.2分，緊隨GPT-4、Claude3Opus和Gemini Ultra之后。

　　在推理的GSM8K基準測試和編碼的HumanEval測試中，它分別以92.2分和76.8分擊敗了GPT-4。

　　下表總結了Core與目前市場上領先模型的比較。

　　模型能力

　　1. 多模態(tài)（圖像和視頻）理解

　　Core 不僅僅是一個前沿的大型語言模型，它對圖像、視頻和音頻具有強大的上下文理解能力，是僅有的兩個商用綜合多模態(tài)解決方案之一。

　　2.128K上下文窗口

　　Core能夠攝取并精確準確地調(diào)用更多信息。

　　3. 推理能力

　　Core在語言或者數(shù)學方面具有出色的推理能力，使其適用于需要精密分析的復雜任務。

　　4. 編碼和代理工作流

　　Core是頂級代碼生成器。它的編碼能力與其他功能相結合時，可以增強代理工作流程的能力。

　　5. 支持多種語言

　　Core是在32種語言的文本數(shù)據(jù)上進行的預訓練，因此，它能說流利的英語以及好幾種亞洲和歐洲的語言。

　　6. 部署靈活性

　　與Reka其他型號的模型(Flash和Edge)一樣，Core可通過API、本地或設備部署，以滿足客戶和合作伙伴的部署限制。