从零实现机器学习算法：深入理解优化本质

本项目是纯Python实现经典机器学习算法的教育项目，不依赖任何框架，帮助开发者深入理解决策树、随机森林、K近邻和支持向量机等算法的数学原理与优化本质，通过'裸机编程'式学习直面算法核心。

深度学习框架普及下，开发者常依赖高层API，但理解算法底层细节对构建可靠系统至关重要。本项目采用返璞归真的方式：从零实现经典算法，完全不依赖NumPy、Scikit-learn等框架，迫使开发者直面数学本质。

项目作者提出传统ML算法更应被称为'优化算法'： -决策树：通过信息增益/基尼系数优化分裂策略 -随机森林：集成多树优化泛化性能 -K近邻：基于距离的最优局部近似 -SVM：求解凸优化寻找最大间隔超平面 这些算法核心是在约束下寻找最优解。

矩阵运算自主实现：手动完成矩阵乘法（三重循环O(n³)）、向量运算、矩阵分解等，理解计算复杂度与数值稳定性。 算法核心实现： -决策树：分裂策略（熵/基尼）、递归构建（终止条件+剪枝）、预测逻辑 -K近邻：多种距离度量、搜索优化、加权投票 -SVM：SMO算法、核技巧（线性/多项式/RBF）、支持向量提取。

项目区分两类实现策略： -传统ML：从零实现，聚焦原理理解 -深度学习：用框架实现，专注架构设计 原因：传统算法数学稳定可手工实现；深度学习需大规模运算与GPU加速，框架更高效。

基础准备：复习线性代数、概率论、微积分 算法实现：按K近邻→决策树→随机森林→SVM顺序学习 深度探索：阅读文献、对比框架实现、扩展其他算法（如朴素贝叶斯）。

从零实现的价值： 1.面试准备：深入细节助力面试 2.调试能力：底层原理分析框架问题 3.定制需求：资源受限环境实现轻量算法 4.教学辅助：帮助学生建立扎实基础。

本项目体现'知其然且知其所以然'的学习态度，在框架时代仍重视底层原理。亲手实现经典算法是ML深耕者的必备修炼，能提升对算法的理解深度。