category_encoders无监督编码器完全教程：从基础到高级

【免费下载链接】category_encoders A library of sklearn compatible categorical variable encoders 项目地址: https://gitcode.com/gh_mirrors/ca/category_encoders

category_encoders是一个与scikit-learn兼容的Python库，提供了多种强大的分类变量编码方法。本文将带您从基础到高级，全面掌握无监督编码器的使用技巧，帮助您在机器学习项目中高效处理分类数据。

为什么需要分类变量编码？

在机器学习中，大多数算法只能处理数值型数据，而现实世界的数据集往往包含大量分类变量（如性别、职业、地区等）。无监督编码器能够在不使用目标变量信息的情况下，将分类数据转换为数值特征，为后续建模奠定基础。

无监督编码的核心优势

• 无需目标变量：适用于无标签数据或不希望引入目标泄漏的场景
• 保留数据分布：在转换过程中尽量保持原始数据的分布特征
• 降低维度：相比独热编码等方法，部分编码器能有效减少特征维度

快速入门：安装与基础使用

安装category_encoders

pip install category_encoders

或通过源码安装：

git clone https://gitcode.com/gh_mirrors/ca/category_encoders
cd category_encoders
pip install .

基础使用流程

import category_encoders as ce
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
data = load_iris()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化编码器
encoder = ce.OneHotEncoder()

# 拟合并转换数据
X_train_encoded = encoder.fit_transform(X_train)
X_test_encoded = encoder.transform(X_test)

常用无监督编码器详解

1. 独热编码器（OneHotEncoder）

独热编码器是最常用的无监督编码方法之一，它将每个分类值转换为一个二进制特征。

适用场景：

• 分类基数较小的特征（通常少于10个类别）
• 需要保留所有类别信息的场景

实现代码：

encoder = ce.OneHotEncoder(cols=['category_column'], use_cat_names=True)

2. 二进制编码器（BinaryEncoder）

二进制编码器将分类值先转换为整数，再将整数转换为二进制形式，最后用二进制位表示特征。

优势：

• 相比独热编码大幅减少特征数量
• 保留类别间的顺序关系

实现代码：

encoder = ce.BinaryEncoder(cols=['high_cardinality_column'])

3. 哈希编码器（HashingEncoder）

哈希编码器使用哈希函数将高基数分类特征映射到固定数量的特征空间。

适用场景：

• 超高基数特征（如用户ID、产品ID）
• 内存受限的情况

实现代码：

encoder = ce.HashingEncoder(n_components=10, cols=['user_id'])

编码器性能对比分析

不同的编码器在不同数据集上表现各异。以下是在汽车和蘑菇数据集上的性能对比：

图1：不同无监督编码器在汽车数据集上的模型得分对比，Boxplot显示各编码器的得分分布

从图中可以看出，在汽车数据集上，BackwardDifferenceEncoder和BaseNEncoder表现较为稳定，而HashingEncoder得分相对较低。

图2：不同无监督编码器在蘑菇数据集上的模型得分对比，部分编码器表现出明显的性能差异

蘑菇数据集上，大多数编码器都能获得较高分数，但HashingEncoder仍然表现不佳，这可能与其丢失了部分类别信息有关。

高级应用技巧

处理高基数特征

对于超过100个类别的高基数特征，推荐使用：

• BaseNEncoder：通过基数参数控制输出特征数量
• HashingEncoder：固定输出特征维度
• 留一法编码：ce.LeaveOneOutEncoder()（需注意目标泄漏风险）

特征选择与编码器组合

from sklearn.pipeline import Pipeline
from sklearn.feature_selection import SelectKBest

pipeline = Pipeline([
    ('encoder', ce.BinaryEncoder()),
    ('selector', SelectKBest(k=10)),
    ('classifier', RandomForestClassifier())
])

处理缺失值

大多数编码器支持通过handle_missing参数处理缺失值：

encoder = ce.OneHotEncoder(handle_missing='return_nan')  # 返回NaN
encoder = ce.BinaryEncoder(handle_missing='value')       # 用特殊值代替

编码器选择决策指南

1. 低基数特征（<10个类别）：优先选择OneHotEncoder或OrdinalEncoder
2. 中等基数（10-100个类别）：推荐BinaryEncoder或BaseNEncoder
3. 高基数特征（>100个类别）：考虑HashingEncoder或SumEncoder
4. 需要保留顺序信息：选择OrdinalEncoder或PolynomialEncoder

总结与最佳实践

无监督编码器是机器学习预处理中的重要工具，category_encoders库提供了丰富的实现。使用时应注意：

1. 始终先探索数据分布，再选择合适的编码器
2. 对高基数特征优先考虑降维编码方法
3. 使用交叉验证评估不同编码器的效果
4. 注意处理缺失值和异常值

通过合理选择和使用无监督编码器，可以显著提升机器学习模型的性能和稳定性。详细的编码器API文档可参考项目的docs/目录。

【免费下载链接】category_encoders A library of sklearn compatible categorical variable encoders 项目地址: https://gitcode.com/gh_mirrors/ca/category_encoders