要取信於人，AI得打開決策“黑箱”

如今，人工智能已經可以做決定，但我們仍不知道這個決定是如何做出的。人們需要了解人工智能如何得出某個結論背后的原因，而不是僅僅接受一個在沒有上下文或解釋的情況下輸出的結果。

近日，微軟前全球執行副總裁沈向洋在接到清華大學續聘書時，通過直播方式分享了對AI可解釋性與AI偏見相關問題的研究與看法。他提到，AI就像一個黑匣子，能自己做出決定，但是人們並不清楚其中緣由。所以，我們目前需要做的就是將其打開，了解AI想表達的意思和可能會做出的決定。這就需要設計和構建“負責任”的AI。

那麼，AI的可解釋性指什麼？是什麼導致人們無法對AI的行為進行解釋？人工智能如何做決策？研究人員可以怎樣做讓這些決策更加透明？

尚無法完整解釋決策過程

有人說，不確定性是AI的特征之一。

所有重大技術突破的出現，往往都伴隨著相同的問題：如何確保技術的可靠。例如，在電子時代制造和使用電子產品時，人們可以通過技術資料了解所有的元件構成，從而得以信賴它們。又如，許多技術和生活場景中有檢視清單的存在，它能指導我們如何合理完成一件任務。然而，到了人工智能時代，情況則不然。

“如今，AI已經可以做決定，這是AI過程中非常重要的一步，但我們仍缺乏對AI所做決定的認知。”沈向洋告訴科技日報記者，從某種程度上來講，你建立一個模型、算法，輸入數據，之后人工智能會產生一個結果。一切看上去順理成章，但是有一個問題——我們尚不能完整解釋為何人工智能會得出這樣而不是那樣的結論。

沈向洋進一步解釋，我們將這種隻能看到數據導入和輸出，而無法看到和解讀其工作原理的模型比作‘黑箱’，而將可以知曉內部工作原理的模型稱為‘白箱’。人們需要了解人工智能如何得出某個結論背后的原因，而不是僅僅接受一個在沒有上下文或解釋的情況下輸出數據和信息的結果。”沈向洋指出。

顯然，我們不能將明天交付給一個個無可解釋的“黑箱”。“我們在學習的時候，經常說不僅要知其然，還要知其所以然。”沈向洋表示，人工智能的可解釋性，指的是要“知其所以然”，要了解背后的原因和邏輯，是能回答“為什麼”。

“以決策場景下的模型可解釋性為例，端到端的深度學習，一個廣為詬病的問題是其不透明性或不可解釋性，比如說識別一張照片中的物體，機器做出的判斷是基於哪些有效特征，我們無從得知。”阿裡安全圖靈實驗室負責人、資深專家奧創認為，人工智能系統必須具有可解釋性，以便人類可以理解系統的行為。

研究發現，一個用來判斷圖片中的動物是狼還是哈士奇的AI模型，在六幅圖片中隻判斷錯了一幅，看起來准確率尚可接受，可其背后有極大的隱患。因為如果從局部維度觀察，發現它識別出狼的標准，根本不是狼的樣子，而是以圖片背景中的雪為標准。如果一頭狼走入沒有積雪的家中，卻因此被識別為哈士奇，那就可怕了。顯然，我們無法信任這樣的模型，這也說明了模型可解釋性的重要意義。

目前的解釋說明或損害用戶信任

如今，AI的規范應用正在成為一個社會問題，去年，歐盟出台《人工智能道德准則》，明確提出AI發展方向應該是“可信賴的”，包含安全、隱私和透明等方面。

“無人駕駛、人臉識別、智慧城市、智能家居等各類場景中都在運用AI，但一旦后端控制系統被攻擊，出現規模化、連鎖式的崩盤，AI失控的后果不堪設想。”奧創指出。

比如，無人駕駛車要通過識別交通信號標志來決定通行還是停止，而攻擊者可以生成一個欺騙通行標志的對抗樣本，在行人眼裡是禁止通行，但AI系統會識別成允許通行，這足以造成災難性的后果。再如，自2016年以來，很多地方都推出用於預測未來罪犯的軟件，法庭在審判時已經開始用AI進行輔助判斷。然而，越是如此，人們越會擔心算法是否存在偏見。

沈向洋指出：“‘黑箱’帶來的挑戰在於，即便其做出的預測是准確的，我們卻仍不知何時可以信賴它，或者從中學到什麼。更進一步說，即便模型是准確的，在做高風險決策時，也需要知道究竟是什麼原因使然。”

人工智能怎樣做決策？“目前有種方法可提供解釋說明，包括人工智能系統如何運行、怎樣與數據進行交互的背景信息，但其最有可能損害用戶以及受這些系統影響的人員的信任。通過這些信息，人們將會更容易識別和意識到潛在的偏見、錯誤和意想不到的結果。僅僅發布人工智能系統的算法很難實現有意義的透明度。最新（通常是最有發展前途的）人工智能技術，例如深度神經網絡，通常沒有任何算法輸出可以幫助人們了解系統所發現的細微模式。”沈向洋指出。

鑒於此，人們需要一個更全面的方法，使人工智能系統設計人員能夠盡可能完整、清晰描述系統的關鍵組成要件。據了解，微軟也在與人工智能合作組織及其他組織合作開發最佳實踐規范，以實現人工智能系統有意義的透明度。包括通過實踐規范以及各種其他更易於理解的方法、算法或模型，來替代那些過於復雜且難以解釋的方法。

准確率和可解釋性不該是對矛盾

要理解機器學習模型內部如何運行，開發出新技術，來提供更有意義的透明度，需要對這一領域開展進一步研究。

來自微軟的裡奇·卡魯阿納等學者提出“提煉與比較”（Distill-and-Compare）的方法。據沈向洋介紹，面對許多已被廣泛應用的專有或不透明的模型，這種方法能夠在不探測“黑箱”API（應用程序接口）或預先定義其特性的情況下進行核驗。通過將“黑箱”視作老師，訓練出透明的學生模型，來模擬原本的“黑箱”，並將它與真實情況進行對比。

而微軟研究院有學者提出“‘黑箱’無關”的思路，當醫生無法採納“黑箱”對病人感染流感率的預測結果時，一種解決方法是利用特征歸屬的辦法——根據不同特征之於模型的重要性，為其賦予權重。其中，解釋過程認為“打噴嚏”“頭疼”是指向流感的証據﹔而沒感到疲憊，則是否認流感的証據。這裡權重帶有正向或反向的方向性，同時其權重大小也各不相同，“頭疼”的權重要明顯高於“打噴嚏”。對於醫生來說，這樣的解釋要比簡單給出一個“患流感概率90%”有用得多。

沈向洋表示，隨著神經網絡模型越來越復雜，在准確性越來越高的同時，研究人員遇到一個問題，即不得不在模型的准確性和可解釋性之間做出妥協，因為兩者常難以兼顧。尤其隨著在深度學習模型上進一步推進，經常會牽扯到幾百萬個乃至數十億的參數。結果是，有時候研究人員做出一個行之有效的模型，卻並不能完全理解其中的緣由。如用一個高准確率的模型來預測病人感染流感的幾率，卻隻能給醫生呈現一個數字，或是“陽性”的診斷，而無具體佐証，那麼，即便得到的結論是正確的，在醫生看來也用處不大——因為醫生並不知其結論是如何被推導出的。

因此，要打造負責任的人工智能，確保其決策透明，即“我們能夠理解並看到人工智能所做的決定”，尤其需要開發可翻譯、可解釋的人工智能模型，以了解人工智能是如何做出這些決策的。特別是在事關重大的關鍵領域中，需要對模型全面理解，以此避免出現錯誤。高准確率和高可解釋性的人工智能將有助真正將技術進行廣泛、負責任、有效的應用，造福人類生活。