雖然有一些工具可以幫助專家理解模型的推理，但這些方法通常一次只能提供對一個決策的見解，并且每個決策都必須手動評估。模型通常使用數(shù)百萬個數(shù)據(jù)輸入進(jìn)行訓(xùn)練，這使得人類幾乎不可能評估足夠的決策來識別模式。
現(xiàn)在，麻省理工學(xué)院和IBM 研究院的研究人員創(chuàng)建了一種方法，使用戶能夠?qū)@些單獨的解釋進(jìn)行聚合、分類和排序，以快速分析機(jī)器學(xué)習(xí)模型的行為。他們的技術(shù)稱為“共享興趣”，包含可量化的指標(biāo)，用于比較模型推理與人類推理的匹配程度。
共享興趣可以幫助用戶輕松發(fā)現(xiàn)模型決策中的相關(guān)趨勢，例如，模型可能經(jīng)常被分散注意力的、不相關(guān)的特征（例如照片中的背景物體）所愚弄。匯總這些見解可以幫助用戶快速定量地確定模型是否值得信賴并可以在現(xiàn)實世界中部署。
“在開發(fā)共享興趣時，我們的目標(biāo)是能夠擴(kuò)展這個分析過程，以便您能夠了解您的模型在更大范圍內(nèi)的行為，”麻省理工學(xué)院計算機(jī)科學(xué)系的主要作者、可視化小組的研究生Angie Boggust 說。人工智能實驗室（CSAIL）。
Boggust 與她的導(dǎo)師Arvind Satyanarayan（領(lǐng)導(dǎo)可視化小組的計算機(jī)科學(xué)副教授）以及IBM Research 的Benjamin Hoover 和資深作者Hendrik Strobelt 共同撰寫了這篇論文。本文將在計算系統(tǒng)中的人為因素會議上發(fā)表。
Boggust 在IBM 暑期實習(xí)期間，在Strobelt 的指導(dǎo)下開始從事該項目。返回麻省理工學(xué)院后，博格斯特和薩蒂亞納拉揚擴(kuò)大了該項目，并繼續(xù)與斯特羅貝爾特和胡佛合作，后者幫助部署了案例研究，展示了如何在實踐中使用該技術(shù)。
人類與人工智能的協(xié)調(diào)
共享興趣利用一種流行的技術(shù)來展示機(jī)器學(xué)習(xí)模型如何做出特定決策，即所謂的顯著性方法。如果模型正在對圖像進(jìn)行分類，請突出顯示圖像中模型做出決策的重要區(qū)域。這些區(qū)域被可視化為熱圖，稱為顯著圖，通常覆蓋在原始圖像上。如果模型將圖像分類為狗并且狗的頭部突出顯示，則意味著當(dāng)模型確定圖像包含狗時，這些像素對于模型很重要。
共享興趣的工作方式是將顯著性方法與地面真實數(shù)據(jù)進(jìn)行比較。在圖像數(shù)據(jù)集中，地面實況數(shù)據(jù)通常是圍繞每個圖像的相關(guān)部分的人類生成的注釋。在前面的示例中，盒子將包圍照片中的整只狗。在評估圖像分類模型時，共享興趣會將模型生成的顯著性數(shù)據(jù)與人類生成的同一圖像的地面實況數(shù)據(jù)進(jìn)行比較，以了解它們的一致性。
該技術(shù)使用多個指標(biāo)來量化這種一致性（或不一致性），然后將特定決策分為八個類別之一。這些類別的范圍從完全與人類對齊（模型做出了正確的預(yù)測并突出顯示了與人類生成的框相同的區(qū)域）到完全分散注意力（模型做出了錯誤的預(yù)測并且沒有使用人類生成的框）任何圖像特征在）。
“一方面，你的模型做出這個決定的原因與人類完全相同，而另一方面，你的模型和人類出于完全不同的原因做出這個決定。通過查看你的數(shù)據(jù)集要量化它們，你可以使用這種量化來對它們進(jìn)行分類，”博格斯特解釋道。
該技術(shù)對于基于文本的數(shù)據(jù)的工作原理類似，其中突出顯示關(guān)鍵字而不是圖像區(qū)域。
快速分析
研究人員使用三個案例研究來說明共同興趣如何對非專家和機(jī)器學(xué)習(xí)研究人員都有用。
在第一個案例研究中，他們使用共享興趣來幫助皮膚科醫(yī)生確定他是否應(yīng)該信任旨在幫助根據(jù)皮膚病變照片診斷癌癥的機(jī)器學(xué)習(xí)模型。共享興趣使皮膚科醫(yī)生能夠快速查看模型正確和錯誤預(yù)測的示例。最終，皮膚科醫(yī)生決定他不能相信該模型，因為它根據(jù)圖像偽影而不是實際病變做出了太多預(yù)測。
“這里的價值在于，利用共享興趣，我們能夠看到我們模型的行為中出現(xiàn)的這些模式，”博格斯特說。 “大約半小時內(nèi)，皮膚科醫(yī)生就可以決定是否信任該模型以及是否部署它?！睒淞⒆孕艣Q策的榜樣?！?
在第二個案例研究中，他們與機(jī)器學(xué)習(xí)研究人員合作，展示了共享興趣如何通過揭示模型中以前未知的陷阱來評估特定的顯著性方法。他們的技術(shù)使研究人員能夠在典型人類方法所需時間的一小部分內(nèi)分析數(shù)千個正確和錯誤的決策。
在第三個案例研究中，他們使用共享興趣來深入研究特定的圖像分類示例。通過操縱圖像的真實區(qū)域，他們能夠執(zhí)行假設(shè)分析，以了解哪些圖像特征對于特定預(yù)測最重要。
研究人員對共享興趣在這些案例研究中的表現(xiàn)印象深刻，但博格斯特警告說，該技術(shù)的好壞取決于其所基于的顯著性方法。如果這些技術(shù)包含偏見或不準(zhǔn)確，共享利益將繼承這些限制。
未來，研究人員希望將共享興趣應(yīng)用于不同類型的數(shù)據(jù)，特別是醫(yī)療記錄的表格數(shù)據(jù)。他們還希望利用共享興趣來幫助改進(jìn)當(dāng)前的顯著性技術(shù)。博格斯特希望這項研究能夠激發(fā)更多的工作，以對人類有意義的方式量化機(jī)器學(xué)習(xí)模型的行為。
