根據(jù)世界隱私論壇(World Privacy Forum)的一份新報告，對政府和多邊組織使用的18種人工智能治理工具的審查發(fā)現(xiàn)，超過三分之一(38%)的人工智能治理工具包括“錯誤的修復(fù)”。也就是說，用于評估和衡量人工智能系統(tǒng)的工具和技術(shù)，特別是公平性和可解釋性的工具和技術(shù)，被發(fā)現(xiàn)存在問題或無效。它們可能缺乏軟件中常見的質(zhì)量保證機(jī)制，和/或包括在原始用例之外使用時“被證明不合適”的測量方法。

　　此外，其中一些工具和技術(shù)是由Microsoft，IBM和Google等公司開發(fā)或傳播的，這些公司反過來又開發(fā)了許多正在測量的人工智能系統(tǒng)。

　　例如，該報告發(fā)現(xiàn)，IBM的AI Fairness360工具被美國政府問責(zé)局吹捧為“在人工智能使用中納入公平、問責(zé)、透明和安全等道德原則的指南”的一個例子。但該報告還發(fā)現(xiàn)，構(gòu)成AI Fairness360“Disparate Impact Remover算法”基礎(chǔ)的研究“在學(xué)術(shù)文獻(xiàn)中引起了尖銳的批評”。

　　報告的作者之一、世界隱私論壇的創(chuàng)始人兼執(zhí)行主任帕姆·迪克森表示:“今天大多數(shù)使用的AI治理工具都在勉力維持。”她指出的一個主要問題是缺乏質(zhì)量保證或評估的既定要求。例如，用于去偏巨型系統(tǒng)的AI治理工具可能沒有文檔:“關(guān)于它應(yīng)該用于的上下文，甚至都沒有沖突利益通告的說明。”迪克森解釋道，為一個背景設(shè)計的工具可能在“極其不同的背景和‘離標(biāo)簽使用’”中使用。

　　世界隱私論壇的副主任凱特·凱指出，在歐盟AI法案通過和拜登總統(tǒng)發(fā)布AI行政命令之后，現(xiàn)在是審視政府和其他組織開始發(fā)布治理工具集的適當(dāng)時機(jī)。她表示:“盡管我們發(fā)現(xiàn)了一些問題，但現(xiàn)在是改進(jìn)整個AI治理生態(tài)系統(tǒng)的絕佳時機(jī)。”她指出，與法規(guī)不同，這些工具是政府實(shí)施AI政策的方式，也將是未來實(shí)施AI法律和法規(guī)(如歐盟AI法案)的重要組成部分。

　　凱提到了一個例子，即即使是出于善意的AI治理努力，也可能因不適當(dāng)?shù)墓ぞ吆图夹g(shù)而產(chǎn)生問題。在美國就業(yè)法中，四分之三或80%的規(guī)則用于評估選擇過程是否對任何特定群體產(chǎn)生不利影響，例如黑人女性與白人男性相比，被雇傭的數(shù)量。“它現(xiàn)在以一種去除了其中細(xì)微差別的方式被編碼和抽象化，而且在一些AI治理工具中被不適當(dāng)?shù)厥褂茫?rdquo;凱解釋道，并指出這一規(guī)則已經(jīng)出現(xiàn)在新加坡、印度和其他國家的私營部門工具中。她強(qiáng)調(diào)說，問題在于將有問題的方法嵌入政策中，從而引入新問題。

　　迪克森和凱表示，他們對2024年AI治理工具的改進(jìn)抱有希望。“經(jīng)濟(jì)合作與發(fā)展組織(OECD)是AI治理工具的主要監(jiān)管機(jī)構(gòu)，”迪克森說。“他們已經(jīng)表示愿意與我們合作，使情況變得更好，這是一個好兆頭。”此外，國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)也希望參與這項工作:“我們有興趣共同努力，創(chuàng)造一個基于證據(jù)的，進(jìn)行嚴(yán)格測試和制定很好程序的評估環(huán)境。”

　　她強(qiáng)調(diào)說，這并不需要太長時間:“我們相信，通過集中的努力，甚至在六個月內(nèi)，我們就可以看到AI治理工具領(lǐng)域的有意義的改進(jìn)。”