XAI的目標(biāo)是為模型的行為和決定提供有意義的解釋，本文整理了目前能夠看到的10個(gè)用於可解釋AI的Python庫

什麼是XAI？

XAI，Explainable AI是指可以為人工智慧（AI）決策過程和預(yù)測(cè)提供清晰易懂的解釋的系統(tǒng)或策略。 XAI 的目標(biāo)是為他們的行為和決策提供有意義的解釋，這有助於增加信任、提供問責(zé)制和模型決策的透明度。 XAI 不僅限於解釋，還以一種使推理更容易為使用者提取和解釋的方式進(jìn)行 ML 實(shí)驗(yàn)。

在實(shí)踐中，XAI 可以透過多種方法實(shí)現(xiàn)，例如使用特徵重要性度量、視覺化技術(shù)，或透過建立本質(zhì)上可解釋的模型，例如決策樹或線性迴歸模型。方法的選擇取決於所解決問題的類型和所需的可解釋性等級(jí)。

AI 系統(tǒng)被用於越來越多的應(yīng)用程序，包括醫(yī)療保健、金融和刑事司法，在這些應(yīng)用程式中，AI 對(duì)人們生活的潛在影響很大，並且了解做出了決定特定原因至關(guān)重要。因?yàn)檫@些領(lǐng)域的錯(cuò)誤決策成本很高（風(fēng)險(xiǎn)很高），所以XAI 變得越來越重要，因?yàn)榧词故?AI 做出的決定也需要仔細(xì)檢查其有效性和可解釋性。

可解釋性實(shí)踐的步驟

#資料準(zhǔn)備：這個(gè)階段包含資料的收集和處理。數(shù)據(jù)應(yīng)該是高品質(zhì)的、平衡的並且代表正在解決的現(xiàn)實(shí)問題。擁有平衡的、有代表性的、乾淨(jìng)的數(shù)據(jù)可以減少未來為保持 AI 的可解釋性而付出的努力。

模型訓(xùn)練：模型在準(zhǔn)備好的資料上進(jìn)行訓(xùn)練，傳統(tǒng)的機(jī)器學(xué)習(xí)模型或深度學(xué)習(xí)神經(jīng)網(wǎng)路都可以。模型的選擇取決於要解決的問題和所需的可解釋性等級(jí)。模型越簡(jiǎn)單就越容易解釋結(jié)果，但是簡(jiǎn)單模型的效能並不會(huì)很高。

模型評(píng)估：選擇適當(dāng)?shù)脑u(píng)估方法和效能指標(biāo)對(duì)於維持模型的可解釋性是必要的。在此階段評(píng)估模型的可解釋性也很重要，這樣確保它能夠?yàn)槠漕A(yù)測(cè)提供有意義的解釋。

解釋生成：這可以使用各種技術(shù)來完成，例如特徵重要性度量、視覺化技術(shù)，或透過建立固有的可解釋模型。

解釋驗(yàn)證：驗(yàn)證模型產(chǎn)生的解釋的準(zhǔn)確性和完整性。這有助於確保解釋是可信的。

部署與監(jiān)控：XAI 的工作不會(huì)在模型建立和驗(yàn)證時(shí)結(jié)束。它需要在部署後進(jìn)行持續(xù)的可解釋性工作。在真實(shí)環(huán)境中進(jìn)行監(jiān)控，定期評(píng)估系統(tǒng)的效能和可解釋性非常重要。

1、SHAP (SHapley Additive exPlanations)

SHAP是一種博弈論方法，可用來解釋任何機(jī)器學(xué)習(xí)模型的產(chǎn)出。它使用博弈論中的經(jīng)典Shapley值及其相關(guān)擴(kuò)展將最佳信用分配與本地解釋聯(lián)繫起來。

2、LIME（Local Interpretable Model-agnostic Explanations）

LIME 是一種與模型無關(guān)的方法，它透過圍繞特定預(yù)測(cè)在局部近似模型的行為來工作。 LIME 試圖解釋機(jī)器學(xué)習(xí)模型在做什麼。 LIME 支援解釋文字分類器、表格類別資料或影像的分類器的個(gè)別預(yù)測(cè)。

3、Eli5

ELI5是一個(gè)Python套件，它可以幫助除錯(cuò)機(jī)器學(xué)習(xí)分類器並解釋它們的預(yù)測(cè)。它提供了以下機(jī)器學(xué)習(xí)框架和套件的支援:

• scikit-learn：ELI5可以解釋scikit-learn線性分類器和回歸器的權(quán)重和預(yù)測(cè)，可以將決策樹列印為文字或SVG，顯示特徵的重要性，並解釋決策樹和基於樹整合的預(yù)測(cè)。 ELI5也可以理解scikit-learn中的文字處理程序，並相應(yīng)地突出顯示文字資料。
• Keras -透過Grad-CAM視覺化解釋影像分類器的預(yù)測(cè)。
• XGBoost -顯示特徵的重要性，解釋XGBClassifier, XGBRegressor和XGBoost . booster的預(yù)測(cè)。
• LightGBM -顯示特徵的重要性，解釋LGBMClassifier和LGBMRegressor的預(yù)測(cè)。
• CatBoost：顯示CatBoostClassifier和CatBoostRegressor的特徵重要性。
• lightning -解釋lightning 分類器和回歸器的權(quán)重和預(yù)測(cè)。
• sklearn-crfsuite。 ELI5允許檢查sklearn_crfsuite.CRF模型的權(quán)重。

基本用法：

Show_weights() 顯示模型的所有權(quán)重，Show_prediction() 可用來檢查模型的個(gè)別預(yù)測(cè)

ELI5也實(shí)作了一些檢查黑盒模型的演算法:

TextExplainer使用LIME演算法解釋任何文字分類器的預(yù)測(cè)。排列重要性法可用來計(jì)算黑盒估計(jì)器的特徵重要性。

4、Shapash

Shapash提供了幾種類型的視覺化，可以更容易理解模型。透過摘要來理解模型提出的決策。此計(jì)畫由MAIF資料科學(xué)家開發(fā)。 Shapash主要透過一組出色的視覺化來解釋模型。

Shapash透過web應(yīng)用程式機(jī)制運(yùn)作，與Jupyter/ipython可以完美的結(jié)合。

from shapash import SmartExplainer
 
 xpl = SmartExplainer(
 model=regressor,
 preprocessing=encoder, # Optional: compile step can use inverse_transform method
 features_dict=house_dict# Optional parameter, dict specifies label for features name
 )
 
 xpl.compile(x=Xtest,
y_pred=y_pred,
y_target=ytest, # Optional: allows to display True Values vs Predicted Values
)
 
 xpl.plot.contribution_plot("OverallQual")

5、Anchors

Anchors使用稱為錨點(diǎn)的高精度規(guī)則解釋複雜模型的行為，代表局部的「充分」預(yù)測(cè)條件。該演算法可以有效地計(jì)算任何具有高機(jī)率保證的黑盒模型的解釋。

Anchors可以被視為LIME v2，其中LIME的一些限制(例如不能為資料的不可見實(shí)例擬合模型)已經(jīng)修正。 Anchors使用局部區(qū)域，而不是每個(gè)單獨(dú)的觀察點(diǎn)。它在計(jì)算上比SHAP輕量，因此可以用於高維或大數(shù)據(jù)集。但是有些限制是標(biāo)籤只能是整數(shù)。

6、BreakDown

#BreakDown是一種可以用來解釋線性模型預(yù)測(cè)的工具。它的工作原理是將模型的輸出分解為每個(gè)輸入特徵的貢獻(xiàn)。這個(gè)包中有兩個(gè)主要方法。 Explainer()和Explanation()

model = tree.DecisionTreeRegressor()
 model = model.fit(train_data,y=train_labels)
 
 #necessary imports
 from pyBreakDown.explainer import Explainer
 from pyBreakDown.explanation import Explanation
 
 #make explainer object
 exp = Explainer(clf=model, data=train_data, colnames=feature_names)
 
 #What do you want to be explained from the data (select an observation)
 explanation = exp.explain(observation=data[302,:],direction="up")

7、Interpret-Text

Interpret-Text 結(jié)合了社群為NLP 模型開發(fā)的可解釋性技術(shù)和用於查看結(jié)果的可視化面板?？梢栽诙鄠€(gè)最先進(jìn)的解釋器上運(yùn)行實(shí)驗(yàn)，並對(duì)它們進(jìn)行比較分析。這個(gè)工具包可以在每個(gè)標(biāo)籤上全域或在每個(gè)文件中本地解釋機(jī)器學(xué)習(xí)模型。

以下是此套件中可用的解釋器清單：

• Classical Text Explainer——（預(yù)設(shè)：邏輯迴歸的詞袋）
• Unified Information Explainer
• Introspective Rationale Explainer

#它的好處是支援CUDA，RNN和BERT等模式。並且可以為文件中特性的重要性產(chǎn)生一個(gè)面板

from interpret_text.widget import ExplanationDashboard
 from interpret_text.explanation.explanation import _create_local_explanation
 
 # create local explanation
 local_explanantion = _create_local_explanation(
 classification=True,
 text_explanation=True,
 local_importance_values=feature_importance_values,
 method=name_of_model,
 model_task="classification",
 features=parsed_sentence_list,
 classes=list_of_classes,
 )
 # Dash it
 ExplanationDashboard(local_explanantion)

8、aix360 (AI Explainability 360)

#AI Explainbability 360工具包是一個(gè)開源庫，這個(gè)包是由IBM開發(fā)的，在他們的平臺(tái)上廣泛使用。 AI Explainability 360包含一套全面的演算法，涵蓋了不同維度的解釋以及代理解釋性指標(biāo)。

工具包結(jié)合了以下論文中的演算法和指標(biāo)：

• Towards Robust Interpretability with Self-Explaining Neural Networks, 2018. ref
• Boolean Decision Rules via Column Generation, 2018. ref
• Explanations Based on the Missing: Towards Contrastive Explanations with Pertinent Negatives, 2018. ref
• Improving Simple Models with Confidence Profiles, , 2018. ref
• Efficient Data Representation by Selecting Prototypes with Importance Weights, 2019. ref
• TED: Teaching AI to Explain Its Decisions, 2019. ref
• Variational Inference of Disentangled Latent Concepts from Unlabeled Data, 2018. ref
• Generating Contrastive Explanations with Monotonic Attribute Functions, 2019. ref
• Generalized Linear Rule Models, 2019. ref

9、OmniXAI

OmniXAI (Omni explable AI的縮寫)，解決了在實(shí)踐中解釋機(jī)器學(xué)習(xí)模型產(chǎn)生的判斷的幾個(gè)問題。

它是一個(gè)用于可解釋AI (XAI)的Python機(jī)器學(xué)習(xí)庫，提供全方位的可解釋AI和可解釋機(jī)器學(xué)習(xí)功能，并能夠解決實(shí)踐中解釋機(jī)器學(xué)習(xí)模型所做決策的許多痛點(diǎn)。OmniXAI旨在成為一站式綜合庫，為數(shù)據(jù)科學(xué)家、ML研究人員和從業(yè)者提供可解釋的AI。

from omnixai.visualization.dashboard import Dashboard
 # Launch a dashboard for visualization
 dashboard = Dashboard(
instances=test_instances,# The instances to explain
local_explanations=local_explanations, # Set the local explanations
global_explanations=global_explanations, # Set the global explanations
prediction_explanations=prediction_explanations, # Set the prediction metrics
class_names=class_names, # Set class names
explainer=explainer# The created TabularExplainer for what if analysis
 )
 dashboard.show()

10、XAI (eXplainable AI)

XAI 庫由 The Institute for Ethical AI & ML 維護(hù)，它是根據(jù) Responsible Machine Learning 的 8 條原則開發(fā)的。它仍處于 alpha 階段因此請(qǐng)不要將其用于生產(chǎn)工作流程。

以上是十個(gè)用於可解釋AI的Python庫的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！