嘿，AI，你覺得你在看什么？為什么有著學習算法的機器還會被騙認知出本不存在的東西？隨著無人駕駛汽車這樣的產品出現，這一點變得越來越重要。現在，我們可以通過一項測試來窺見機器的大腦，這一測試可以使人們知道人工智能正在看一幅圖像的哪些部分。

人工智能和人類完全不同。羅德島布朗大學的克里斯·格里姆說，即使是最好的圖像識別算法，也會被騙，比如會將白噪圖像識別成知更鳥或是獵豹，這是一個大問題。他說，如果我們不理解為什么這些系統會犯愚蠢的錯誤，那么我們把性命交付給人工智能時，就應當三思而后行，比如審慎考慮是否發展無人駕駛汽車。

因此，格里姆和他的同事們創建了一個系統，分析一個人工智能在識別圖像過程中，實時監測它在關注圖像的哪一部分。類似地，對于一種文檔分類算法來說，該系統顯示了算法使用哪些單詞來決定一種特定文檔應該屬于哪個類別。

窺探內在

谷歌的研究人員杜密魯特·埃爾汗說，這是一種非常有用的方法，可以進一步了解人工智能并研究它是如何學習的。格里姆的工具為人們提供了一種方便的方式，讓人可以檢查出一種算法是否正確地給出了正確的答案，他這樣說道。

為了創建他的注意力跟蹤工具，格里姆在他想要測試的人工智能上安裝了第二個人工智能。這個“外包AI”替換了一張帶有白噪的圖像，來看看這是否對原始軟件的判斷產生了影響。

如果替換部分圖像改變了結果，那么這個圖像的區域很可能是識別過程中的一個重要區域。這種方法同樣適用于語言。如果在文檔中改變一個詞使人工智能對文檔進行了不同的分類，那么它就表明這個詞對人工智能的決定至關重要。

格里姆在人工智能上測試了他的技術，該人工智能經學習可將圖像分類為10個類別，包括飛機、鳥類、鹿和馬等。他的系統映射出了人工智能在進行分類時的視線路徑。結果顯示，人工智能已經學會了把物體分解成不同的元素，然后在圖像中搜索每一個元素，以確認其識別結果。

識別馬頭

例如，當看到馬的圖像時，格里姆的分析顯示，人工智能首先對腿進行了密切關注，然后在圖像中搜索了它認為可能是頭的地方——它預先并不能知道這匹馬的頭出現的地方。對于包含了鹿的圖像，人工智能也采取了類似的方法，但在這些情況下，它專門搜索了鹿角。人工智能幾乎完全忽略了一個圖像中的許多部分，這些部分并不包含有助于分類的信息。

格林和他的同事們也分析了一個訓練后可以玩“Pong”(某電子游戲）的人工智能。他們發現，它幾乎忽略了屏幕上所有的東西，只是密切關注著兩根纖細的移動小柱。人工智能對一些區域幾乎沒有關注，以至于把小柱從它預期的地方移開后，它就誤以為它是在看球而不是小柱。

格里姆認為，他的工具可以幫助人們判斷出人工智能是如何做出決定的。例如，它可以用來檢查在肺部掃描中檢測癌細胞的算法，確保它們不會通過觀察圖像錯誤的部分，卻恰好找到正確的答案。“你可以看看它是否沒有注意到正確的東西，”他說，但首先，格里姆想用他的工具來幫助人工智能學習。

如果人工智能沒有注意到時，它就會讓人工智能培訓師把他們的軟件直接引導到到相關的信息上去。（馬特·雷諾茲報道，參考:arXiv）