📢 转载信息
原文链接:https://www.kdnuggets.com/how-to-become-an-ai-engineer-in-2026-a-self-study-roadmap
原文作者:Bala Priya C
Image by Author
人工智能工程师真正构建的内容
人工智能(AI)工程是目前最令人兴奋的职业道路之一。AI工程师使用现有模型构建实用的应用程序。他们构建聊天机器人、检索增强生成(RAG)管道、自主智能体和智能工作流程来解决实际问题。
如果你正打算进入这个领域,本文将指导你了解从编程基础到构建生产级AI系统的所有内容。
AI工程师实际构建什么
在研究学习路径之前,让我们更仔细地看看AI工程师的工作内容。广义上讲,他们从事大型语言模型(LLM)应用、RAG管道、智能体AI、AI基础设施和集成工作:
- 构建由LLM驱动的应用。这包括聊天机器人、研究助手、客户支持工具等。
- 创建RAG系统,使AI模型能够访问和推理你的特定文档、数据库或知识库。
- 开发自主智能体,它们能够规划、使用工具、做决策,并以最少的人工干预执行复杂的多步骤任务。
- 构建使AI应用可靠的脚手架,如提示工程框架、评估系统、监控工具和部署管道。
- 将AI能力与现有的软件、API、数据库和业务工作流程连接起来。
正如你所见,这个角色(几乎)处于软件工程、AI/机器学习理解和产品思维的交汇点。你不需要机器学习或AI的高级学位,但你需要强大的编码技能和快速学习的能力。
第 1 步:编程基础
这是每个人的起点,也是你绝对不能跳过的步骤。在转向任何与AI相关的内容之前,你应该正确地学习编码。
Python 是一个很好的语言选择,因为几乎所有的AI库、框架和工具都是首先为它构建的。你需要了解变量、函数、循环、条件语句、列表和字典等数据结构、使用类和方法的面向对象编程(OOP)、文件处理和错误管理。对于完全的初学者来说,这个基础通常需要每天练习两到三个月。
大多数初学者应该从《Python for Everybody》开始。它是免费的,假设你零经验,Charles Severance 以清晰易懂的方式解释概念。完成每一个练习,并且确实输入代码而不是复制粘贴。当你遇到 bug 时,花几分钟调试,然后再搜索答案。
将该课程与 Al Sweigart 的《Python 自动化繁琐事务》(Automate the Boring Stuff with Python)结合起来。这本书通过组织文件、抓取网站和处理电子表格等实用项目来教学。完成这两项后,接着学习哈佛大学的CS50's Introduction to Programming with Python。它的问题集难度更大,将推动你的理解更深入。
练习HackerRank 的 Python 路径和LeetCode上的问题,熟悉常见的编程挑战。
以下是学习资源的概述:
- Python for Everybody(密歇根大学,Coursera)
- Automate the Boring Stuff with Python by Al Sweigart
- CS50's Introduction to Programming with Python (Harvard)
同时学习 Git 和版本控制。你构建的每一个项目都应该有一个带有良好 README 的GitHub仓库。安装 Git,创建一个 GitHub 帐户,并学习初始化仓库、使用清晰的消息进行提交以及推送更改的基本工作流程。
还要构建一些项目:
- 命令行待办事项列表应用,将任务保存到文件中
- 抓取你喜欢网站数据的网络爬虫
- 计算和分类支出的预算跟踪器
- 根据类型自动整理下载文件夹的文件整理器
这些项目教会你如何处理文件、处理用户输入、管理错误以及正确地组织代码。目标是建立编程工作流程的肌肉记忆:编写代码、运行它、看到错误、修复它们,然后迭代直到它能工作。
第 2 步:软件工程要点
这是区分那些只会照着教程做的人和能构建系统的人的阶段。你可以将AI工程视为本质上是带有AI组件的软件工程。因此,你需要了解Web应用程序的工作原理、如何设计在负载下不会失败的API、数据库如何高效地存储和检索信息,以及如何测试代码以便在用户发现问题之前捕获错误。
需要学习的内容:
- Web开发基础知识,包括HTTP、REST API和JSON
- 后端框架,如FastAPI或Flask
- 数据库基础知识
- 使用虚拟环境和Docker进行容器化的环境管理
- 使用Pytest进行测试
- API设计和文档
测试很重要,因为AI应用的测试比传统软件更难。对于常规代码,你可以编写检查确切输出的测试。对于AI,你通常在检查模式或语义相似性,而不是精确匹配。现在学习Pytest并理解测试驱动开发(TDD)将使你的工作更轻松。
从为你非AI代码编写测试开始。这包括测试你的API是否返回正确的状态码、数据库查询是否返回预期结果以及错误处理是否捕获了边缘情况。
以下是一些有用的学习资源:
- FastAPI 教程
- Full Stack Open(赫尔辛基大学)— 一个免费、全面的 Web 开发课程
- SQL for Data Analysis by ThoughtSpot — 免费 SQL 教程
- Docker 基础教程
- Test-Driven Development with Python by Harry Percival
尝试构建这些项目:
- 具有帖子、评论和用户身份验证的简单博客的 REST API
- 一个从外部API获取数据并存储历史数据的天气仪表板
- 具有点击跟踪功能的URL缩短服务
- 具有数据库关系的简单库存管理系统
这些项目会迫使你考虑API设计、数据库模式、错误处理和用户身份验证。它们还不是AI项目,但你在这里建立的每一项技能在开始添加AI组件时都将是必不可少的。
第 3 步:AI 和 LLM 基础知识
现在你已准备好真正地使用AI了。这个阶段应该比前两个阶段短,因为你是在坚实的基础上进行构建。如果你完成了前两个步骤的工作,学习使用LLM API会很直接。挑战在于理解这些模型是如何实际工作的,以便你能有效地使用它们。
首先要从宏观上理解LLM是什么。它们是在海量文本数据上进行训练的,学习预测序列中的下一个词。它们并非像人类那样“知道”事物;它们识别模式。这一点很重要,因为它解释了它们的优势和局限性。
Token 是 LLM 处理的基本单位,模型具有上下文窗口——它们一次可以处理的文本量,以 Token 为单位衡量。理解 Token 很重要,因为你是按 Token 计费的,并且需要仔细管理上下文。包含长文档、聊天历史和系统指令的对话很快就会填满上下文窗口。
所以你需要学习以下内容:
- LLM 的工作原理(宏观层面)
- 提示工程技术
- 使用OpenAI、Anthropic、Google和其他开源模型的AI API
- Token 计数和成本管理
- Temperature(温度)、top-p 和其他采样参数
这里有一些你可以使用的资源:
- OpenAI Cookbook — 实用的示例和模式
- Claude Cookbooks by Anthropic:展示了一些有趣且有效使用 Claude 方法的 Notebook/食谱集合
- LangChain for LLM Application Development by DeepLearning.AI
尝试构建这些项目(或其他类似项目):
- 带有对话记忆的命令行聊天机器人
- 处理不同长度文章的文本摘要器
- 用通俗英语解释代码功能的代码文档生成器
在这个阶段,成本管理变得很重要。如果你不小心,API 调用会迅速累积。始终为你账户设置支出限制。对简单任务使用成本较低的模型,只在必要时使用成本较高的模型。
第 4 步:检索增强生成系统和向量数据库
检索增强生成(RAG)是使AI应用在特定领域真正有用的技术。如果没有 RAG,LLM 只知道其训练数据中的内容,因此无法回答有关你的公司文档、最新事件或专有信息的问题。有了 RAG,你可以让模型访问你想要的任何信息——从客户支持工单到研究论文再到内部文档。
基本思想很简单:将文档转换为嵌入(捕获含义的数值表示),将它们存储在向量数据库中,当用户提问时搜索相关的文本块,并将这些块包含在提示中。
然而,实现起来更复杂。你应该能够回答以下问题:如何有效地对文档进行分块(Chunking)?如何处理包含表格、图像或复杂格式的文档?当你有数千个潜在相关的文本块时,如何对结果进行排序?如何评估你的 RAG 系统是否确实返回了有用的信息?
因此,在构建 RAG 应用和管道时,你应该关注以下几点:
- 嵌入和语义搜索
- 向量数据库及其工作原理
- 针对不同文档类型的分块策略
- 高级检索方法
- RAG 系统的评估指标
以下是你会发现有用的学习资源:
- Retrieval Augmented Generation (RAG) by DeepLearning.AI
- RAG From Scratch video series by LangChain
- Building Multimodal Search and RAG by DeepLearning.AI
- Building and Evaluating Advanced RAG Applications by DeepLearning.AI
向量数据库都解决了同一个基本问题——存储和快速检索相似的嵌入——但在功能和性能上有所不同。对于学习,请从Chroma开始,因为它需要的设置最少,并且可以在本地运行。一旦你理解了这些模式,再迁移到其他生产向量数据库选项。
构建这些有趣的 RAG 项目:
- 针对你的个人笔记和文档的聊天机器人
- 处理学术论文的 PDF 问答系统
- 一个开源项目的文档搜索功能
- 一个综合多篇论文信息的智能研究助手
最常见的 RAG 问题是分块不佳、检索不相关、信息缺失,以及模型在检索到相关上下文的情况下仍然编造信息的“幻觉”。每一个问题都需要不同的解决方案,从更好的分块策略到混合搜索再到更强的提示,强调只使用提供的信息。
第 5 步:智能体AI和工具使用
智能体代表了AI系统的下一个层次。它们不是响应单个查询,而是可以规划多步骤任务、使用工具收集信息或执行操作,并根据结果进行迭代。
核心概念很简单:让模型可以访问工具(它可以调用的函数),让它决定使用哪些工具和使用什么参数,执行这些工具,将结果返回给模型,让它继续执行,直到任务完成。复杂性在于错误处理、防止无限循环、管理智能体进行多次API调用时的成本,以及设计真正有用的工具。
工具使用(也称为函数调用)是基础。你定义具有清晰描述其作用和接受参数的函数。模型读取这些描述,并返回结构化的函数调用。你的代码执行这些函数并返回结果。这使得模型可以做它们单独做不到的事情:搜索网络、查询数据库、执行计算、发送电子邮件、创建日历事件以及与任何 API 交互。
当你需要让 LLM 访问外部数据源和工具时,你通常会构建集成。你也可以了解模型上下文协议 (MCP) 如何标准化和简化这一过程,并尝试为你应用程序构建 MCP 服务器。
需要学习的内容:
- 函数调用或工具使用模式
- 智能体设计模式,如 ReAct、Plan-and-Execute 和 Reflection
- 智能体的记忆系统(短期和长期)
- 工具创建和集成
- 智能体的错误处理和重试逻辑
记忆对于有用的智能体至关重要。短期记忆是对话历史和最近的操作。长期记忆可能包括用户偏好、过去的决定或学习到的模式。一些智能体使用向量数据库来存储和检索相关的记忆。更复杂的系统则维护结构化的知识图谱。最简单的方法是定期总结对话历史并存储摘要。更复杂的系统使用单独的记忆管理层来决定要记住什么和要忘记什么。
错误处理很快就会变得复杂。智能体可能会进行无效的工具调用、遇到 API 错误、陷入循环或超出成本预算。你需要设置超时来防止无限循环、使用指数退避(Exponential Backoff)机制来处理瞬时故障的重试逻辑、在执行前验证工具调用、跟踪成本以防止账单失控,以及在智能体卡住时提供备用行为。
这里有一些有用的学习资源:
- AI Agents in LangGraph by DeepLearning.AI
- MCP: Build Rich-Context AI Apps with Anthropic by DeepLearning.AI
- Functions, Tools and Agents with LangChain by DeepLearning.AI
- Multi AI Agent Systems with crewAI by DeepLearning.AI
还要构建这些项目:
- 使用多个搜索引擎并综合结果的研究智能体
- 编写和执行 Python 代码来分析数据集的数据分析智能体
- 具备知识库、订单历史记录和退款能力的客户支持智能体
- 协作完成研究任务的多个智能体系统
第 6 步:生产系统和 LLMOps
将AI应用投入生产需要一套与构建原型完全不同的技能。生产系统需要监控以检测故障、评估框架以捕获质量回归、用于提示和模型的版本控制、成本跟踪以防止预算超支,以及允许安全交付更新的部署管道。这就是软件工程基础知识变得必要的地方。
你应该关注以下几点:
- 提示版本控制和管理
- AI系统的日志记录和可观测性
- 评估框架和指标
- 提示和模型的 A/B 测试
- 速率限制、错误处理和缓存策略
- 在云平台上的部署
- 像 LangSmith 这样的监控工具
评估框架使你能够系统地衡量质量。对于分类任务,你可能会衡量准确率、精确率和召回率。对于生成任务,你可能会衡量与参考答案的语义相似性、事实准确性、相关性和连贯性。一些团队使用 LLM 来评估输出:将生成的响应传递给另一个模型,并指示它对质量进行评分。其他人则使用具有明确标准的人工评估。最好的方法是将两者结合起来。
AI的A/B测试也比传统功能的A/B测试更棘手。你不能仅仅向不同用户展示不同版本并衡量点击量。你需要仔细定义成功指标。运行实验足够长的时间以收集有意义的数据。
学习资源:
构建这些项目:
- 为先前的 RAG 或智能体项目添加全面的日志记录
- 构建一个在测试集上衡量质量的评估套件
- 创建一个带有版本控制和 A/B 测试的提示管理系统
- 部署一个带有监控、错误跟踪和使用情况分析的AI应用程序
速率限制有助于控制成本。实施每用户API调用限制、每日或每小时配额、遇到限制时的指数退避,以及免费和付费用户的不同级别。在数据库中跟踪使用情况,并拒绝超出限制的请求。这可以保护你的预算和应用程序的可用性。
第 7 步:持续学习的高级主题
掌握基础知识后,专业化取决于你的兴趣和你想解决的问题类型。AI领域发展迅速,持续学习是工作的一部分。新的模型、技术和工具不断出现。关键是建立强大的基础,这样你就可以根据需要学习新概念。
AI安全和对齐即使对于应用程序开发者来说也很重要。你需要防止提示注入攻击,即用户操纵模型以忽略指令。其他挑战包括解决绕过安全限制的越狱尝试、模型泄露训练数据或其他用户信息的数据泄露,以及可能造成实际损害的有偏见或有害的输出。
实施输入验证、输出过滤、定期安全测试和明确的事件升级程序。
总结与后续步骤
一旦你建立了强大的基础和一个同样强大的项目作品集,你就可以开始申请工作了。AI工程师这个角色仍然很新,许多公司仍在摸索他们需要什么样的人才。你可以寻找AI初创公司、构建内部AI工具的公司、帮助客户实施AI的咨询公司,以及自由职业平台来积累经验和建立作品集。
AI优先的初创公司通常最愿意雇用有前途的候选人,因为它们正在快速发展,需要能够交付成果的人。他们可能没有正式的职位空缺。因此,尝试直接联系他们,展示对他们产品的真诚兴趣,并提出你可以做出贡献的具体想法。自由职业可以快速建立你的作品集,并教会你如何确定项目范围、管理客户期望和在压力下交付成果。
几个月后,你就可以构建真正帮助人们解决实际问题的AI系统了。祝你AI工程之旅顺利!
Bala Priya C 是来自印度的开发人员和技术作家。她喜欢在数学、编程、数据科学和内容创作的交叉点工作。她的兴趣和专业领域包括 DevOps、数据科学和自然语言处理。她喜欢阅读、写作、编码和咖啡!目前,她正致力于通过撰写教程、操作指南、观点文章等方式学习并与开发者社区分享她的知识。Bala还创建引人入胜的资源概述和编码教程。
评论区