📢 转载信息
原文作者：Jason Brownlee
构建机器学习模型是一个迭代的过程，涉及选择一个算法、选择一组特征、训练模型以及评估模型性能。对于高风险的机器学习项目，例如自动驾驶、医疗诊断或金融欺诈检测，算法的选择和特征的选择都非常重要。然而，模型训练和评估本身可能会被视为一个例行公事。特征工程是机器学习中最关键的步骤之一，在模型训练和评估之前，对特征进行操作和转换以使其更适合模型。特征工程是机器学习成功的核心，而高风险项目的成功与否在很大程度上取决于您对特征工程方法的熟练程度。
本文将介绍专家级特征工程的先进技术，这些技术可用于构建高性能的机器学习模型，尤其是在高风险场景中。
下面是我们将要涵盖的专家级特征工程技术列表。
- 深入理解数据：使用可视化和统计分析来指导特征工程。
- 特征交叉：将现有特征组合成更具表达力的新特征。
- 特征学习：使用算法来发现数据中的潜在特征。
- 特征选择：从大量候选特征中识别出最有用的子集。
- 时间序列特征工程：从时间戳中提取有意义的特征。
1. 深入理解数据
特征工程始于对数据的深入理解。高风险模型的成功通常取决于数据科学家是否能利用其领域知识来发现数据中隐藏的、有价值的信号。
1.1 领域知识的应用
一个优秀的特征工程师会利用他们对特定领域的理解来指导特征的创建。例如，在金融欺诈检测中，了解交易模式（如交易时间、金额的相对大小、地理位置）比单纯的统计分析更为关键。领域知识可以帮助您：
- 识别出哪些特征可能相关。
- 创建组合特征，例如计算“交易频率”或“平均交易规模”。
- 理解异常值和缺失值的真实含义。
1.2 数据可视化
可视化是理解数据结构和发现潜在问题的强大工具。在特征工程阶段，应该使用可视化来：
- 检查特征之间的相关性。
- 识别特征的分布（例如，是否为高斯分布，是否存在偏斜）。
- 发现不同类别或目标值之间的特征差异。
例如，使用散点图矩阵（pair plots）或相关性热力图（correlation heatmaps）可以快速揭示特征之间的依赖关系和冗余。
2. 特征交叉
特征交叉是指将两个或多个现有特征组合成一个新特征的过程。这种技术可以帮助模型捕获特征之间更复杂的、非线性的关系，这在线性模型中尤为重要，但对其他模型也很有价值。
2.1 简单的特征交叉
最简单的交叉是直接将两个或多个特征相乘、相加或相除。例如，在预测房价时，“房间数”乘以“平均面积”可能不如“总居住面积”有意义，但“房间数”除以“总居住面积”（平均每间房的面积）可能是一个有用的特征。
2.2 组合特征
对于分类特征，交叉可以涉及类别标签的组合。例如，在推荐系统中，“用户群体”与“产品类别”的交叉特征（“用户X在类别Y中的偏好”）可能比单独的特征更有预测力。
特征交叉的挑战在于可能产生大量的稀疏特征，尤其是在高维数据中。因此，需要仔细选择要交叉的特征组合，避免“维度灾难”。
3. 特征学习
特征学习，也称为表示学习，是指使用算法自动从原始数据中学习出更具表达力的特征表示的方法。这通常涉及深度学习模型或更专门的技术。
3.1 主成分分析 (PCA)
PCA 是一种流行的降维技术，它通过线性变换将数据投影到方差最大的方向上。虽然 PCA 主要用于降维，但它也是一种特征学习形式，因为它创建了一组新的、不相关的特征（主成分），这些特征捕获了数据的大部分信息。
3.2 深度学习模型
深度神经网络（DNNs）是强大的特征学习器。在模型的早期层中，网络会自动学习如何从输入数据（如图像像素或文本嵌入）中提取有意义的特征表示。在许多场景下，预训练的深度模型（如BERT用于文本，ResNet用于图像）可以作为强大的特征提取器，其学习到的表示可以直接用于下游任务。
4. 特征选择
特征选择是识别并保留对模型预测最有用的特征子集的过程。这有助于减少模型复杂性、降低过拟合风险并提高可解释性。
4.1 过滤法 (Filter Methods)
过滤法独立于任何特定的机器学习模型，通过统计度量来评估特征与目标变量之间的关系。常见的度量包括：
- 卡方检验 (Chi-Squared): 适用于分类特征。
- 方差阈值 (Variance Threshold): 移除低方差的特征。
- 相关系数 (Correlation): 衡量特征与目标之间的线性关系。
4.2 包装法 (Wrapper Methods)
包装法使用模型本身来评估特征子集的性能。它们通常计算成本较高，但能找到与特定模型最兼容的特征集。
- 递归特征消除 (RFE): 迭代地移除最不重要的特征，直到达到所需的特征数量。
- 前向选择/后向选择：从空集或全集开始，逐步添加或移除特征。
4.3 嵌入法 (Embedded Methods)
嵌入法在模型训练过程中进行特征选择。例如，L1正则化（Lasso）倾向于将不重要特征的系数压缩为零，从而实现特征选择。
在高风险模型中，通常需要特征选择来确保模型的可解释性。我们必须能够解释模型为什么做出了某个决定，这要求我们只使用那些真正重要的、可解释的特征。
5. 时间序列特征工程
处理时间序列数据需要专门的特征工程技术来捕获时间依赖性。
5.1 滞后特征 (Lag Features)
滞后特征是来自先前时间步的观测值。例如，预测明天的股票价格，今天的价格（滞后1）和昨天的价格（滞后2）都是重要的滞后特征。
5.2 滚动统计特征 (Rolling Window Statistics)
滚动窗口统计量（如移动平均、滚动标准差或滚动总和）可以平滑时间序列中的噪声，并捕获近期趋势。例如，计算过去7天的平均交易量可以作为预测未来交易量的强有力特征。
5.3 时间特征
从时间戳中提取循环特征是至关重要的，包括：
- 小时、星期几、月份、季度。
- 是否是周末或节假日。
对于循环特征（如小时或月份），需要使用特殊编码（如正弦/余弦变换）来保留其连续性，避免模型认为23点和0点之间存在巨大差异。
总结
构建高风险机器学习模型需要的不仅仅是选择先进的算法。专家级特征工程是区分平庸模型与卓越模型的关键所在。通过深入理解数据、系统地应用特征交叉、利用特征学习的能力以及审慎地进行特征选择，可以显著提升模型的性能和鲁棒性。
对于时间序列等复杂数据类型，特定的时间特征工程技术是不可或缺的。掌握这些高级技术，将使您在构建对准确性和可靠性要求极高的模型时更具竞争力。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区