树模型.drawio

<mxfile host="app.diagrams.net" agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0" version="24.7.8">
  <diagram name="第 1 页" id="6LExswBGzEWrd6V2PaQY">
    <mxGraphModel dx="1356" dy="522" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="0" pageScale="1" pageWidth="827" pageHeight="1169" math="0" shadow="0">
      <root>
        <mxCell id="0" />
        <mxCell id="1" parent="0" />
        <mxCell id="NIyaHajtZH1n5Uw6bmwi-1" value="CART&lt;div&gt;（1）信息熵&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;/div&gt;&lt;div&gt;（2）信息增益&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;background-color: initial;&quot;&gt;ID3 &lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;只能处理离散特征&lt;/span&gt;&lt;/div&gt;&lt;div&gt;（3）信息增益比&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;C4.5&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;能够处理连续特征&lt;/div&gt;&lt;div&gt;（4）基尼系数&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;CART&lt;span style=&quot;white-space: pre;&quot;&gt;&#x9;&lt;/span&gt;&lt;/div&gt;&lt;div&gt;基尼系数不需要对数计算，高效一些，另外使用连续特征&lt;/div&gt;&lt;div&gt;（5）树的生成与修剪&lt;/div&gt;&lt;div&gt;引入正则项，重新遍历每个节点&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;（6）决策树优点：可解释性&lt;/div&gt;&lt;div&gt;（7）决策树缺点：可能生成复杂的树，过拟合（很容易在样本表现好）&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;（8）回归树 除了分裂标准，还要确定输出值&lt;/div&gt;&lt;div&gt;切分点选择（最小二乘法）输出值确定（样本均值）&lt;/div&gt;&lt;div&gt;步骤为：遍历特征与划分点，计算节点输出，根据样本计算损失函数&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;&lt;div&gt;AdaBoost：每个弱分类器的权重不同，每轮迭代不同样本的权重不同&lt;/div&gt;&lt;div&gt;XGBoost：&lt;span style=&quot;background-color: initial;&quot;&gt;每个弱分类器的权重相同，每轮迭代不同样本的权重相同&lt;/span&gt;&lt;/div&gt;&lt;div&gt;&lt;br&gt;&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" parent="1" vertex="1">
          <mxGeometry x="260" y="210" width="420" height="350" as="geometry" />
        </mxCell>
        <mxCell id="MYtVJx9_-QZ0XqSOwh22-1" value="&lt;div&gt;DSSM最初也是nlp领域用来做语义相似度计算的，后面也成为了推荐领域很好用的模型。&lt;/div&gt;" style="rounded=0;whiteSpace=wrap;html=1;align=left;verticalAlign=top;spacingLeft=4;" vertex="1" parent="1">
          <mxGeometry x="-170" y="210" width="420" height="350" as="geometry" />
        </mxCell>
      </root>
    </mxGraphModel>
  </diagram>
</mxfile>