0 前言 本文主要讲述了决策树背后的信息熵的公式含义及计算方式，并列举出多道例题帮助理解。 1 信息熵的定义 1.1 信息熵公式 笔者使用下图(1-1)直观理解信息熵的含义。 信息熵越大，表示该随机...

0 前言 为了便于学习决策树信息熵相关知识，笔者编写了一个专门用于计算变量信息熵、条件熵、信息增益、信息增益比的程序，方便提升学习效率。 程序中包含了计算过程的数据和详细信息以及最终计...

0.前言 本文主要介绍了最小二乘法公式推导，并且使用Python语言实现线性拟合。 读者需要具备高等数学、线性代数、Python编程知识。 请读者按照文章顺序阅读。 绘图软件为：geogebra5。 1.原理推...

0 前言 本文主要讲解KNN算法中用于快速检索最近元素的KD树的构建及查找原理。 为了达到最佳阅读效果，请读者按照本文顺序阅读，文章使用了大量图片帮助读者理解。 1 背景 1.1 为什么要使用KD-Tr...

0 前言 本文主要介绍决策树条件熵的计算并给出若干例子帮助理解。 读者需要具备信息熵计算知识，若不了解请看：信息熵 1 条件熵 2 数据集 游玩数据集，请看：数据集 1.1节 3 条件熵的计算 使用...

0 前言 本文主要介绍信息增益的计算公式并举出若干例子帮助理解。 读者需要具备的知识有：信息熵、条件熵。 本文所示用的数据集为：游玩数据集 1.1节 1 信息增益计算公式 g(D,A)表示在条件A下对...

0 前言 本文主要介绍决策树信息增益比的计算，并给出例子帮助读者理解。 读者需要具备：信息熵、条件熵、信息增益 相关知识。 本文使用数据集：游玩数据集 1.1节。 1 信息增益比计算公式 2 信息...

0 前言 本文主要介绍决策树ID3算法，并举出构建示例帮助理解。 读者需要具备的知识：信息熵、条件熵、信息增益。 本文使用数据集为：游玩数据集 1.1节、西瓜数据集 1.2节。 1 ID3算法简述 ID3（...

0 前言 本文主要讲述了决策树C4.5算法构建原理并举例说明。 读者需要具备的知识有：信息熵、条件熵、信息增益、信息增益比。 本文所使用的数据集为：西瓜数据集 1.2节。 1 C4.5算法流程 准备数...

0 前言 本文主要介绍基尼指数的计算公式及计算方法，并举出相关例题帮助理解。 读者需要提前了解：信息熵。 数据集：贷款.CSV。 1 基尼指数简述 基尼指数（Gini Index）是一个在多个领域都有应...