从零手写机器学习：一份完整的AI算法生存指南

这份来自BRAC大学CSE422课程的开源学习资源，由azaynul10维护于GitHub，以"生存指南"形式连接理论与实践。涵盖经典AI搜索算法到现代机器学习核心概念，提供数学推导、代码实现及考试技巧全方位指导，帮助学习者跨越理论与动手的鸿沟。

资源背景

• 原作者/维护者：azaynul10
• 来源平台：GitHub
• 原始链接：https://github.com/azaynul10/machine-learning-fundamentals-from-scratch
• 发布时间：2026年6月4日

课程三阶段架构

1. 古典AI与搜索算法：无信息/有信息搜索（广度优先、A*等）、局部搜索（爬山法、模拟退火、遗传算法）、对抗搜索（Minimax、Alpha-Beta剪枝）
2. 概率论与贝叶斯推理：联合/边缘/条件概率、朴素贝叶斯分类器
3. 现代AI与机器学习：决策树、线性/逻辑回归、神经网络

A*搜索算法

核心是维护优先队列，按f(n)=g(n)+h(n)（实际代价+启发估计）选择节点，需注意邻居更新逻辑确保最优。

遗传算法

关键组件：适应度函数（含惩罚项）、变异操作（安全翻转基因）、染色体编码解码（避免边界问题），模块化结构提升可读性。

神经网络

• 前向传播：输入层→隐藏层→输出层，加权和+激活函数传递
• 反向传播：从输出层回传误差，更新权重；参数数量公式：(输入维度×神经元数)+偏置数

1. 二元交叉熵损失：Loss = -[y·ln(A) + (1-y)·ln(1-A)]（y真实标签，A预测概率）
2. Sigmoid导数：σ'(x)=A×(1-A)
3. 线性回归梯度下降：m_new = m_old - α×(2/n×Σ(ŷ-y)×x)
4. 逻辑回归梯度下降：w_new = w_old - α×((A-y)×x)

实践技巧

• 文件处理：用基础字符串分割和类型转换，避免过度依赖高级函数
• 手工练习：朴素贝叶斯后验概率、梯度下降更新、Sigmoid输出
• 视频推荐：3Blue1Brown神经网络可视化、StatQuest统计讲解、课程官方视频
• Colab项目：模型评估、K折交叉验证、探索性数据分析

考试陷阱

• 模拟退火：高温→高随机性（易接受次优解），低温→趋同爬山法
• A*搜索：图搜索最优需一致性（单调性），仅可采纳性不够
• 题目识别：单层感知器=逻辑回归，条件独立→调整联合概率，连续目标→线性回归，0/1目标→逻辑回归

1. 初学者：按三阶段（古典搜索→概率→现代ML）循序渐进，配合手工计算和代码实现
2. 考试准备：重点掌握核心公式和常见陷阱，反复练习形成记忆
3. 项目实践：参考Colab notebooks和模块化代码结构，快速搭建实验环境

人工智能学习无捷径，但这份指南能减少弯路，提升学习确定性。