第Python機器學習應(yīng)用之基于決策樹算法的分類預測篇目錄一、決策樹的特點1.優(yōu)點2.缺點二、決策樹的適用場景三、demo

一、決策樹的特點

1.優(yōu)點

具有很好的解釋性，模型可以生成可以理解的規(guī)則?？梢园l(fā)現(xiàn)特征的重要程度。模型的計算復雜度較低。

2.缺點

模型容易過擬合，需要采用減枝技術(shù)處理。不能很好利用連續(xù)型特征。預測能力有限，無法達到其他強監(jiān)督模型效果。方差較高，數(shù)據(jù)分布的輕微改變很容易造成樹結(jié)構(gòu)完全不同。

二、決策樹的適用場景

決策樹模型多用于處理自變量與因變量是非線性的關(guān)系。梯度提升樹（GBDT），XGBoost以及LightGBM等先進的集成模型均采用決策樹作為基模型。（多粒度聯(lián)森林模型）決策樹在一些明確需要可解釋性或者提取分類規(guī)則的場景中被廣泛應(yīng)用。在醫(yī)療輔助系統(tǒng)中為了方便專業(yè)人員發(fā)現(xiàn)錯誤，常常將決策樹算法用于輔助病癥檢測。

三、demo

#%%demo

##基礎(chǔ)函數(shù)庫導入

importnumpyasnp

##導入畫圖庫

importmatplotlib.pyplotasplt

importseabornassns

##導入決策樹模型函數(shù)

fromsklearn.treeimportDecisionTreeClassifier

fromsklearnimporttree

importpydotplus

fromIPython.displayimportImage

##Demo演示DecisionTree分類

##構(gòu)造數(shù)據(jù)集

x_fearures=np.array([[-1,-2],[-2,-1],[-3,-2],[1,3],[2,1],[3,2]])

y_label=np.array([0,1,0,1,0,1])

##調(diào)用決策樹回歸模型

tree_clf=DecisionTreeClassifier()

##調(diào)用決策樹模型擬合構(gòu)造的數(shù)據(jù)集

tree_clf=tree_clf.fit(x_fearures,y_label)

##可視化構(gòu)造的數(shù)據(jù)樣本點

plt.figure()

plt.scatter(x_fearures[:,0],x_fearures[:,1],c=y_label,s=50,cmap='viridis')

plt.title('Dataset')

plt.show()

##可視化決策樹

importgraphviz

dot_data=tree.export_graphviz(tree_clf,out_file=None)

graph=pydotplus.graph_from_dot_data(dot_data)

graph.write_pdf("D:\Python\ML\DecisionTree.pdf")

#模型預測

##創(chuàng)建新樣本

x_fearures_new1=np.array([[0,-1]])

x_fearures_new2=np.array([[2,1]])

##在訓練集和測試集上分布利用訓練好的模型進行預測

y_label_new1_predict=tree_clf.predict(x_fearures_new1)

y_label_new2_predict=tree_clf.predict(x_fearures_new2)

print('TheNewpoint1predictclass:\n',y_label_new1_predict)

print('TheNewpoint2predictclass:\n',y_label_ne