Skip to content

Java AI 工程开发 ​

本类目包含 12 篇文章 ​

能用 Spring AI 在 Java 技术栈里完成模型接入、工具调用、RAG、MCP 服务与可观测治理,并清楚与 Python 生态的边界

适合:有 Java/Spring 基础、想把大模型能力集成进企业级 Java 系统的学习者

建议先具备:

  • Java 17+ 与 Spring Boot 基础
  • HTTP API 调用与 JSON 处理
  • 了解大模型基本概念(提示词、Token)
文章要点
Java 做 AI 的定位:能做什么、不做什么Java 在 AI 工程中的真实位置(应用集成层而非训练层)、Spring AI / LangChain4j / 原生 SDK 三条路线对比、何时该让 Python 服务承担模型侧
Spring AI 入门:ChatClient 与模型接入依赖与自动配置、ChatClient 调用与流式输出、多模型切换(OpenAI/通义/DeepSeek 等)、Prompt 模板与参数、异常与降级
结构化输出:让模型稳定返回对象OutputConverter 与 JSON Schema、字段校验与重试、失败兜底、流式与结构化混用、生产可用的封装
工具调用:把 Java 方法暴露给模型@Tool 注解与工具注册、参数描述与校验、多工具编排、权限与超时、工具调用的可观测性
RAG 落地:向量库、切分与检索VectorStore 抽象与选型(PGVector/Redis/Milvus)、文档读取与切分、检索增强 Advisor、混合检索与重排
MCP Server:让模型安全接入 Java 业务能力MCP Java SDK、STDIO/SSE 传输、工具与资源注册、鉴权与沙箱、客户端联调与调试技巧
对话记忆与上下文工程ChatMemory 与存储选型、会话隔离与并发、上下文裁剪与摘要、长对话成本控制
可观测与护栏:成本、延迟与安全Micrometer 埋点与 OTLP 追踪、Token 计量与预算、提示注入防护、输出过滤、敏感信息脱敏
批处理与异步:大规模 AI 任务编排Spring Batch 驱动的批量推理、虚拟线程并发调用、限流与重试、任务幂等与断点续跑
AI 功能的测试策略确定性测试与录制回放、Prompt 回归测试、模型输出断言、成本可控的 CI 方案
Java 与 Python 模型服务协作FastAPI 推理服务与 Java 网关的分工、gRPC 契约、模型版本灰度、故障隔离
上线前的工程检查容量与超时、降级与熔断、成本上限、合规与数据出境、灰度与回滚