? ????? XGBoost ?? ???? CPU ? GPU ?? ??? ??? ?? ??? ?????. GPU? ?? ?? ??? ???? ????? ??? ??? XGBoost ??? ?? CPU ?? ?? ?? ??? ?? ?? ??? ?? ???? ? ?? ??? ??? ? ?? ??? ????. ??? ?? ?? ??(?: SHAP ? ??)? ?? ??? ????? GPU? ??? ?? ??? ?????. ?? ?? ??? ?? ??? ?? ? ??? ??? ??? ???? ?? ?? ?? ? ???? ??? ???? XGBoost ?? ??? ???? ???? ???? ??? ????? ?????.

XGBoost GPU ??? ?? ? ??

XGBoost? ???? ????? ? ??? ??? ???? ?? ????? ??? ????????. ??? ?? ????? ?? XGBoost? ??? GPU? ???? ??? ?????. ????? ?? tree_method ????? "gpu_hist"? ????? ?? ????? ?? ????? "GPU"? ???? ?????.

?? ??: GPU ??? ???? ?? ???? ?? ??? ????? ??????.

1. CUDA ?? ? cuDNN ??: ?? NVIDIA GPU ???? ?????.
2. ???? XGBoost ??: ????? pip install xgboost ?? conda install xgboost? ?? XGBoost? GPU ?? ??? ???? ?? ? xgboost.VERSION? ?????.
3. NVIDIA GPU ????: GPU ??? CUDA ??? ????? ?????.

?? ?? ?:

 xgboost? xgb? ????
sklearn.datasets?? ???? fetch_california_housing

# 1. ?? ??? ?? ???? data = fetch_california_housing()
X = ???.???
y = ???.??

# 2. DMatrix ??
dtrain = xgb.DMatrix(X, label=y, feature_names=data.feature_names)

# 3. XGBoost ???? ?? # GPU ??? ?? tree_method="gpu_hist" ?? device="GPU"? ??? ? ????.
# ??: XGBoost 1.6 ?? ????? 'device' ???? ??? ?????. # ?? ????? 'tree_method="gpu_hist"'? ?? ?????? param_gpu = {
    "???": "reg:squarederror",
    "??": 0.05,
    "?? ??": 10,
    "tree_method": "hist", # ????? Hist? ???? GPU? device ????? ?????.
    "device": "GPU", # GPU ??? ????? ??
    "??": 42
}

num_round = 1000

# 4. ?? ?? print("GPU ?? ?? ??...")
model_gpu = xgb.train(param_gpu, dtrain, num_round)
print("GPU ??? ???????.")

XGBoost ??: CPU ? GPU ?? ??

???? ??? GPU? ?? ? XGBoost ??? CPU?? ???? ????. ??? ?? ?? ??? ?? ??? ???? ????? ??? ?? ?? ????. XGBoost? CPU ??? ???? ?? ??? ?? ???? ?? ??? ??? ???? ??? ??? ??? ? ?????.

?? ?? ? ?? ??:

?? ????? 10,000 ???? ??? ??? ?? 53,000?? ?? 10?? ?? ??? ??? ??? ???? ??? ?? ??? ??? ? ????.

• CPU (tree_method="hist"): ?? ?? CPU? ??? ???? ?? ? ?? ??? ??? ? ????.
• GPU(tree_method="gpu_hist" ?? device="GPU"): CPU ???? ? ?? ?? ? ????.

? ??? ??? ????.

1. ??? ?? ????: CPU ????? GPU ???? ???? ???? ? ??? ????. ????? ?? ??? ??? ?? ??? ????? ?? GPU? ?? ??? ??? ? ????.
2. GPU ??: ??? ??? GPU? ?? ?? ??? ??? ??? ?? ?? ??? GPU? ??? ?? ??? ???? ?? ?? ????.
3. XGBoost ?? ???: XGBoost? CPU ??? ?? ?? ???? ?? ??????. ?? ????? ?? ?? ???? ?? ?? ????.

?? ??(CPU ?? ??):

??? ?? ??? CPU? ????? XGBoost? ???? ???? ??? ?? ??? ? ????.

 #CPU ?? ?? param_cpu = {
    "???": "reg:squarederror",
    "??": 0.05,
    "?? ??": 10,
    "tree_method": "hist", # ?? CPU ????? ???? "device": "cpu", # CPU ??? ????? ??
    "nthread": 24, # CPU ?? ??? ??? ????? CPU ?? ?? ?? ?????. "seed": 42
}

print("CPU ???? ??? ?????...")
model_cpu = xgb.train(param_cpu, dtrain, num_round)
print("CPU ??? ???????.")

??: XGBoost ???? GPU? ?? CPU?? ?? ?? ????. ?? ???? CPU? ?? ?? ?? ??? ??? ???? GPU?? ? ?? ??? ??? ?? ????. ??? ??? ??? ????? ?? ???? ? ??? ??? ?????? ?? ????.

?? ?? ???? GPU? ? ??: SHAP ? ??

XGBoost ?? ???? GPU? ?? ??? ?? ???? ?? ???? ?? ??? ??? ? ?? ???? GPU? "??? ??" ?? ??? ??? ? ????. ????? ? ? ??? SHAP(SHapley Additive exPlanations) ? ?????.

SHAP ?? ?? ?? ?? ??? ???? ? ??? ????? ?? ??? ??? ??? ??? ??? ?? ?? ??? ?? ?? ? ????. XGBoost? GPU ?? SHAP ? ?? ??? ???? ?? ??? ?? ??? ? ????.

SHAP ? ?? ?(CPU ? GPU):

?? shap ?????? ???? ??? ??????(pip install shap).

 ?? ????

# 1. CPU? ???? SHAP ? ?? # ?? ??? CPU? ???? ??? ??
model_cpu.set_param({"device": "cpu"})
print("SHAP ?? ???? CPU? ?????...")
# pred_contribs=True? SHAP ?? ????? ?????. shap_values_cpu = model_cpu.predict(dtrain, pred_contribs=True)
print("SHAP ?? CPU ??? ???????.")

# 2. GPU? ???? SHAP ? ?? # ?? ??? GPU? ??
model_gpu.set_param({"device": "GPU"}) # ?? model_cpu.set_param({"device": "GPU"})
print("SHAP ?? GPU ??? ?????...")
shap_values_gpu = model_gpu.predict(dtrain, pred_contribs=True)
print("SHAP ?? GPU ??? ???????.")

?? ??: SHAP ? ?? ???? GPU? ????? ??? ??? ??? ? ????. ?? ??, CPU??? ???? ? ?? ? ?? ??? ? ??? ?? ? ?? SHAP ?? ??? GPU??? ? ??? ??? ?? ? ????.

• CPU(?? ???): ?? ? ?? ???? ?????.
• GPU: ? ??? ??? ???? ??? ???.

??? ??? ?? ??? ?? GPU? ??? ??? ??? ??? ?? ?? ??? ?????.

?? ? ?? ??

1. ?? ??:

   • ?? GPU? ? ?? ?? ????. XGBoost ?? ??, ?? ?? ?? ??? ??? ?? CPU ?? ?? ?? ??? GPU ??? ????? ??? ? ?? ? ????.
   • ???? ???? ?????. ?? ??? ?? ? ?????? ?? device="cpu"(? nthread ??) ? device="GPU"? ???? ????? ?? ??? ? ?? ?? ??? ????? ?????.
   • ??? ?? ??. ????? ??? ??? ??? GPU? ??? ?? ??????. ???? ??? ?? ????? ?? ????? ?? ? ???? ?????.

2. ??? ??(?: SHAP ? ??):

   • GPU?? ??? ??? ????. SHAP ? ??? ?? ?? ???? ?? ?? ??? ?? GPU? ?? ?? ??? ??? ? ????. ??? ???? GPU? ???? ?? ????.

3. ?? ????:

   • XGBoost? ???? ??? ????? ????? ?? ????("cpu" ?? "GPU")? ??????.
   • CPU ????? ?? CPU ??? ??? ???? ?? nthread ????? ?? ??? ?? ????? ?????.

XGBoost? ??? ???? CPU? GPU? ?? ??? ????, ??? ??? ???? ???? ?????? ?? ?? ? ?? ????? ???? ????? ? ?? ???? ??? ? ????.

? ??? XGBoost ?? ???: CPU ? GPU ?? ??? ?? ??? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!