📢 转载信息
原文链接：https://www.kdnuggets.com/a-5-step-guide-to-tackling-almost-any-data-science-project
原文作者：Bala Priya C
Image by Author
引言
关于数据科学，没有人告诉你的事情是什么？令人兴奋的部分——建模、算法、实现令人印象深刻的指标——可能只占一个成功项目的 20%。其余 80% 则相当无聊：对成功的定义争论不休、研究数据分布，以及构建基础的基线模型。但这 80% 正是区分那些成功投入生产的项目和那些只停留在 Jupyter 笔记本中的项目的关键所在。
本指南将介绍一个适用于不同领域和问题类型的结构。它关注的不是特定的工具或算法，而是有助于避免常见陷阱的流程：为错误的目标而构建、遗漏可能在生产中暴露的数据质量问题，或者优化对业务不重要的指标。
我们将涵盖构成扎实数据科学工作基础的五个步骤：
- 清晰定义问题。
- 彻底理解数据。
- 建立有意义的基线。
- 系统性地改进。
- 根据现实世界条件进行验证。
让我们开始吧。
步骤 1：先用业务术语定义问题，再用技术术语定义
从需要做出的实际决策开始。不是“预测客户流失”，而是更具体的问题，例如：“在接下来的 30 天内，鉴于我们只能联系 500 人且每次联系成本为 15 美元，应确定哪些客户是我们的保留活动目标。”
这种表述立即明确了以下几点：
- 你正在优化的目标（保留支出的投资回报率 (ROI)，而不是模型准确率）。
- 重要的约束条件（时间、预算、联系限制）。
- 成功的标准（活动回报与模型指标的对比）。
将此用一个段落写下来。如果你难以清晰地表达出来，这表明你还没有完全理解这个问题。将其展示给请求这项工作的利益相关者。如果他们需要用三段话来澄清，那么你肯定没有理解。这种来回沟通是正常的；应通过迭代学习和改进，而不是跳过这一步。
只有在达成一致后，才应将业务问题转化为技术需求：预测目标、时间范围、可接受的延迟、所需的精确率与召回率的权衡等。
步骤 2：亲自动手处理数据
不要一开始就考虑端到端的数据管道。不要考虑设置机器学习运维 (MLOps) 基础设施。甚至不要考虑使用哪种模型。打开一个 Jupyter 笔记本，加载你数据的一个样本：样本量要足够具有代表性，但又足够小以便快速迭代。
在这里花些时间。你在探索数据时要寻找几件事：
数据质量问题：缺失值、重复项、编码错误、时区问题和数据录入错误。每个数据集都有这些问题。现在找到它们可以避免你在三周后调试神秘的模型行为。
分布特征：尝试分析并回答以下问题：你的特征是正态分布、严重偏斜还是双峰分布？你的目标变量的范围是多少？异常值在哪里，它们是错误还是合法的边缘情况？
时间模式：如果你有时间戳，将所有内容随时间绘制出来。寻找季节性、趋势和数据收集程序的突然变化。如果你忽略了这些模式，它们将影响你的特征，或者在生产中破坏你的模型。
与目标的关联：哪些特征与你试图预测的目标真正相关？不是在模型中，而是在原始相关性和交叉表中。如果没有任何显示出关联，这可能是一个危险信号，表明你的数据中可能没有信号。
类别不平衡：如果你正在预测罕见事件——欺诈、客户流失、设备故障——请注意基础发生率。一个实现 99% 准确率的模型听起来可能令人印象深刻，直到你意识到基础发生率是 99.5%。在所有数据科学项目中，背景都很重要。
记录下你分析和观察到的所有内容。记录诸如“用户 ID 在 2023 年 3 月份格式发生变化”或“欧洲的购买金额以欧元而非美元计”或“20% 的注册日期缺失，全部来自移动应用用户”之类的笔记。这个文档将成为你以后进行数据质量检查的清单，并帮助你编写更好的数据质量检查。
步骤 3：建立尽可能简单的基线
在你开始使用 XGBoost、其他集成模型或任何近期流行的模型之前，先构建一个有效但简单的模型。
- 对于分类任务，首先预测最常见的类别。
- 对于回归任务，预测平均值或中位数。
- 对于时间序列，预测最后观察到的值。
使用你稍后将用于改进模型的相同指标来衡量其性能。这就是你的基线。任何不能击败此基线的模型，都不增加价值，就是这样。
然后，根据你在步骤 2 中的探索来构建一个简单的启发式规则。假设你在预测客户流失，并且注意到 30 天内没有登录的客户很少会回来。将此作为你的启发式规则：“如果 30 天内没有登录，则预测流失。”它很粗糙，但它基于你数据中的实际模式。
接下来，构建一个简单的模型：分类任务使用逻辑回归，回归任务使用线性回归。使用你在步骤 2 中发现的 5 到 10 个最有希望的特征。进行一些基本的特征工程是可以的（对数转换、独热编码），但暂时不要使用花哨的技巧。
现在你有了三个复杂程度递增的基线。一个有趣的事实是：线性模型在生产中的使用频率比人们承认的要高。它可解释、易于调试且速度快。如果它能帮你达到目标 80% 的水平，利益相关者通常更喜欢它，而不是一个复杂模型能帮你达到 85% 但人们却无法解释它何时失败。
步骤 4：迭代特征，而非模型
这是许多数据专业人士走错路的地方。他们保持相同的特征，然后在随机森林、XGBoost、LightGBM、神经网络和集成模型的集成之间不断切换。他们花费数小时调整超参数以获得边际收益——比如 0.3% 的改进，这可能只是噪音。
有更好的方法：保持一个简单的模型（步骤 3 中的基线模型或更高级别的模型），然后迭代特征。
特定领域的特征：与了解该领域的人交谈。他们会分享你仅从数据中无法发现的见解。例如，“凌晨 2 点到 4 点下的订单几乎总是欺诈性的”或“第一周内致电支持的客户的终身价值往往要高得多。”这些观察结果可以转化为特征。
交互项：每次访问收入、每次会话点击次数、每位客户的交易次数。比率和速率通常比原始计数携带更多的信号，因为它们捕捉了变量之间的关系。
时间特征：距离上次购买的天数、不同时间窗口的滚动平均值，以及行为的变化率。如果你的问题涉及任何时间因素，这些特征通常非常重要。
聚合：分组级别的统计数据。该客户邮政编码的平均购买金额。该产品类别的典型订单规模。这些特征编码了群体层面的模式，而个体层面的特征可能会遗漏这些信息。
一次或分组测试一个特征。
- 性能是否有意义地提高？保留它。
- 性能保持不变或变差？丢弃它。
这种有条不紊的方法始终优于将多个特征塞给模型并希望其中一些奏效。通常情况下，在你用尽特征工程后，你会发现根本不需要更复杂的模型。
步骤 5：针对生产中将看到的数据进行验证，而不仅仅是保留集
你的验证策略需要尽可能贴近生产条件。如果你的模型将对 2026 年 1 月的数据进行预测，不要使用随机抽样自 2024-2025 年的数据进行验证。相反，仅使用 2025 年 12 月的数据进行验证，且模型仅使用截至 2025 年 11 月的数据进行训练。
对于几乎所有实际问题，基于时间的划分都很重要。数据漂移是真实存在的。模式会改变。客户行为会转移。在一个随机混合的数据上工作得很好的模型，在生产中往往会遇到麻烦，因为它是在错误的分布上进行验证的。
除了时间验证之外，还要对现实场景进行压力测试。这里有一些例子：
缺失数据：在训练中，你可能有 95% 的特征被填充。但在生产中，30% 的 API 调用可能会超时或失败。你的模型仍然有效吗？它能做出预测吗？
分布偏移：你的训练数据可能只有 10% 的类别不平衡。由于季节性或市场变化，上个月该比例已升至 15%。性能如何变化？是否仍然可以接受？
延迟要求：你的模型需要在 100 毫秒内返回预测才能有用。它是否每次都能达到这个阈值？在峰值负载下会怎样，那时你处理的流量是正常的 10 倍？
边缘情况：对于没有历史记录的新用户怎么办？新发布的产品呢？训练数据中没有代表性的国家/地区的用户呢？这些不是假设情况；它们是你在生产中将面临的情况。一定要处理边缘情况。
在部署之前构建一个监控仪表板。不仅要跟踪模型的准确性，还要跟踪输入特征分布、预测分布以及预测与实际结果的关联情况。 你希望尽早发现漂移，而不是等到它演变成需要紧急重新训练的危机。
结论
正如你所见，这五个步骤并非都是革命性的。它们在直截了当时地看，几乎是无聊的。这正是关键所在。数据科学项目之所以失败，是因为开发人员急于进行“有趣”的工作而跳过了无聊的部分。
对于大多数问题，你不需要复杂的技术。你需要了解你在解决什么问题，深入了解你的数据，构建一个简单有效的东西，通过系统化的迭代来改进它，并根据生产的混乱现实对其进行验证。
这就是工作。它不总是令人兴奋，但却是让项目成功交付的关键所在。祝你学习和构建愉快！
Bala Priya C 是来自印度的一名开发人员和技术作家。她喜欢在数学、编程、数据科学和内容创作的交叉点上工作。她的兴趣和专长领域包括 DevOps、数据科学和自然语言处理。她喜欢阅读、写作、编码和咖啡！目前，她正在通过撰写教程、操作指南、观点文章等内容，努力学习并将自己的知识分享给开发者社区。Bala 还创建引人入胜的资源概述和编码教程。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区