1月19日 消息:隨著自然語言處理和自然語言生成的進(jìn)步，大型語言模型(LLMs)在實(shí)際應(yīng)用中得到了廣泛使用。由于它們能夠模仿人類行為，并具有通用性，這些模型已經(jīng)涉足各個(gè)領(lǐng)域。

　　雖然這些模型引起了相當(dāng)大的關(guān)注，但它們代表了一組受限和偏向的人類觀點(diǎn)和知識(shí)。預(yù)訓(xùn)練數(shù)據(jù)的組成是造成這種偏見的原因，因?yàn)樗鼘?duì)模型的行為產(chǎn)生了重大影響。

　　研究人員一直在努力著重理解和記錄在預(yù)訓(xùn)練之前對(duì)數(shù)據(jù)所做的轉(zhuǎn)換。預(yù)訓(xùn)練數(shù)據(jù)的篩選是一個(gè)多步驟的過程，其中有多個(gè)決策點(diǎn)，這些決策點(diǎn)通常基于主觀的文本質(zhì)量判斷或與基準(zhǔn)測(cè)試的性能。

　　最近，來自艾倫人工智能研究所、加利福尼亞大學(xué)伯克利分校、埃默里大學(xué)、卡內(nèi)基梅隆大學(xué)和華盛頓大學(xué)的研究人員介紹了一個(gè)名為 AboutMe 的新數(shù)據(jù)集和框架。該研究強(qiáng)調(diào)了數(shù)據(jù)篩選工作流中存在的許多未經(jīng)質(zhì)疑的假設(shè)。通過 AboutMe，研究團(tuán)隊(duì)試圖記錄對(duì)社會(huì)和地理背景相關(guān)的文本進(jìn)行數(shù)據(jù)過濾的影響。

　　在自然語言處理中，缺乏與語言數(shù)據(jù)相關(guān)聯(lián)的廣泛的自我報(bào)告社會(huì)人口學(xué)數(shù)據(jù)是一個(gè)問題。文本可以追溯到維基百科等一般來源，但在更細(xì)粒度的層面上，通常不知道誰創(chuàng)建了這些信息。在這項(xiàng)研究中，研究團(tuán)隊(duì)利用 Web 數(shù)據(jù)中的預(yù)設(shè)模式，找到了網(wǎng)站，特別是 “關(guān)于我” 頁面。這使得我們可以對(duì)被網(wǎng)絡(luò)爬蟲獲取的文本中所代表的語言的創(chuàng)作者有前所未有的了解。

　　研究人員將網(wǎng)絡(luò)文本(一種流行的預(yù)訓(xùn)練數(shù)據(jù)源)與其社會(huì)和地理背景聯(lián)系起來。研究團(tuán)隊(duì)使用來自網(wǎng)站的 “關(guān)于我” 部分的數(shù)據(jù)，進(jìn)行社會(huì)語言學(xué)分析，測(cè)量了網(wǎng)站作者的興趣、社會(huì)角色、關(guān)聯(lián)地理位置等。他們創(chuàng)建了一個(gè)包含1030萬個(gè)網(wǎng)站創(chuàng)建者自我描述的新數(shù)據(jù)集，并提取有關(guān)他們是誰、來自哪里的信息:他們的主題興趣、社會(huì)角色和地理歸屬。

　　然后，他們對(duì)這些網(wǎng)頁應(yīng)用了之前在 LLM 開發(fā)研究中使用的十個(gè)質(zhì)量和英語 ID 過濾器，以檢查過濾對(duì)保留或刪除頁面的影響。

　　研究團(tuán)隊(duì)表示，他們的主要目標(biāo)是發(fā)現(xiàn)在過濾器內(nèi)部和之間，與網(wǎng)站來源相關(guān)的行為趨勢(shì)。結(jié)果顯示，基于模型的質(zhì)量過濾器顯示出對(duì)特定主題領(lǐng)域的隱含偏好，導(dǎo)致與各種專業(yè)和職業(yè)相關(guān)的文本以不同的比率被刪除。此外，那些假設(shè)頁面是單語言的過濾技術(shù)可能無意中刪除了來自非英語地區(qū)的內(nèi)容。

　　這項(xiàng)研究突顯了 LLM 開發(fā)過程中數(shù)據(jù)篩選的復(fù)雜性以及對(duì)語言模型中各種觀點(diǎn)呈現(xiàn)的影響。該研究的主要目標(biāo)是提高人們對(duì)預(yù)訓(xùn)練數(shù)據(jù)篩選程序的細(xì)節(jié)的認(rèn)識(shí)，尤其是在考慮社會(huì)因素時(shí)。研究團(tuán)隊(duì)強(qiáng)調(diào)了對(duì)預(yù)訓(xùn)練數(shù)據(jù)篩選程序及其社會(huì)影響進(jìn)行更多研究的需求。