脑电信号多模态分类：融合EEG、图像与文本的kNN模型优化实践

本项目探索了多模态机器学习在脑电信号分类中的应用，通过融合EEG脑电数据、图像特征和文本嵌入，构建并优化了kNN分类模型。

脑电图（EEG）作为一种非侵入性的脑活动记录技术，在神经科学研究、临床诊断和人机交互领域有着广泛应用。然而，单一模态的EEG数据往往难以捕捉大脑活动的全貌。近年来，多模态机器学习的发展为这一问题提供了新的解决思路——通过融合EEG信号、视觉刺激图像和相关文本描述，可以构建更加鲁棒的分类模型。

本文介绍的开源项目展示了一个完整的多模态分类系统，特别关注了特征不平衡对距离分类器的影响，以及如何通过预处理和加权策略来提升模型性能。

本项目处理的三种模态数据具有截然不同的特性：

EEG脑电信号

• 高时间分辨率（通常256Hz以上）
• 多通道空间信息（16-128个电极）
• 低信噪比，易受伪迹干扰
• 特征维度：时域统计量、频域功率谱、时频特征

图像特征

• 通过预训练CNN提取的高维嵌入
• 空间层次化的视觉表示
• 维度通常在512-2048之间

文本嵌入

• 语义级别的向量表示
• 通过BERT等模型编码
• 维度通常在768-1024之间

将这三种异构特征直接拼接会导致严重的不平衡问题：

• EEG特征可能包含数千个维度（多通道×多频段）
• 图像和文本特征维度相对较低
• 不同特征的数值范围和分布差异巨大
• 距离计算时被高维特征主导

这种不平衡会严重影响kNN等基于距离的分类器性能。

项目采用了一系列预处理步骤来解决特征不平衡问题：

1. 特征标准化

对每个模态的特征独立进行标准化处理：

from sklearn.preprocessing import StandardScaler

# 各模态独立标准化
eeg_scaled = StandardScaler().fit_transform(eeg_features)
image_scaled = StandardScaler().fit_transform(image_features)
text_scaled = StandardScaler().fit_transform(text_features)

标准化确保所有特征具有零均值和单位方差，消除量纲差异的影响。

2. 维度对齐（可选）

当特征维度差异过大时，可以考虑：

• 对高维EEG特征进行PCA降维
• 或使用自编码器学习统一的低维表示
• 保持各模态特征维度相近（如都压缩到256维）

3. 特征拼接策略

# 简单拼接
combined_features = np.hstack([eeg_scaled, image_scaled, text_scaled])

# 或带权重的拼接
weights = {'eeg': 0.4, 'image': 0.3, 'text': 0.3}
combined = np.hstack([
    eeg_scaled * weights['eeg'],
    image_scaled * weights['image'],
    text_scaled * weights['text']
])

加权投票机制

标准kNN采用简单多数投票，而项目实现了基于距离的加权投票：

from sklearn.neighbors import KNeighborsClassifier

# 距离加权kNN
knn = KNeighborsClassifier(
    n_neighbors=5,
    weights='distance',  # 近邻权重与距离成反比
    metric='euclidean'
)

权重函数使得更近的邻居对分类结果有更大影响，提高了决策的准确性。

距离度量选择

项目比较了多种距离度量：

• 欧氏距离（Euclidean）：适用于连续特征
• 曼哈顿距离（Manhattan）：对异常值更鲁棒
• 余弦相似度：关注方向而非绝对值
• 马氏距离：考虑特征相关性

对于标准化后的多模态特征，欧氏距离通常表现良好。

k值优化

通过交叉验证选择最优的邻居数量：

from sklearn.model_selection import GridSearchCV

param_grid = {'n_neighbors': range(3, 21, 2)}
grid_search = GridSearchCV(
    KNeighborsClassifier(weights='distance'),
    param_grid,
    cv=5,
    scoring='accuracy'
)

项目采用分层k折交叉验证确保评估的可靠性：

from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

for train_idx, test_idx in skf.split(X, y):
    X_train, X_test = X[train_idx], X[test_idx]
    y_train, y_test = y[train_idx], y[test_idx]
    
    # 在训练集上拟合标准化器
    scaler = StandardScaler().fit(X_train)
    X_train_scaled = scaler.transform(X_train)
    X_test_scaled = scaler.transform(X_test)
    
    # 训练并评估模型
    model.fit(X_train_scaled, y_train)
    score = model.score(X_test_scaled, y_test)

关键要点：

• 标准化参数仅从训练集学习
• 分层抽样保持类别比例
• 多次随机划分减少方差

实验对比了标准化前后的模型性能：

配置	准确率	备注
无标准化	62%	EEG特征主导距离计算
标准化后	78%	各模态贡献均衡
+加权投票	81%	进一步提升

结果表明，特征标准化对多模态kNN至关重要。