AI 应用开发 · RAG / Agent / 私有化部署

苏炜朝

把大模型从 demo 做成能交付的系统。

先把系统跑通,再谈效果

做 AI 应用开发,方向集中在 RAG、Agent 与模型私有化部署。

关心的是把大模型从 demo 变成能交付的系统:文档怎么切、检索怎么混、效果怎么量化、延迟和成本怎么压。做过企业级财务年报的 RAG 问答,也做过带工具调用与多轮编排的 Agent;从评估集构建,一路做到 vLLM 部署和 LoRA 微调。

这里只放跑得起来、能被验证的东西。写下的是踩过的坑,不是「赋能」和「重塑」。

  • 检索与 RAGFAISS / BM25 / 混合检索 / Rerank / 分块策略
  • Agent工具调用 / 多轮编排 / LangGraph / MCP
  • 模型LoRA 微调 / vLLM 部署 / 评估集构建
  • 全栈FastAPI / React / Vue 3 / 微信小程序
  • 工程Docker / Nginx / MySQL / 自动化测试

七个做完的项目

每个项目都配了一个和它主题相关的动效,不是同一套模板。

企业级财务年报分析智能 RAG

检索

面向年报 PDF 的问答系统。解析文档后把表格与正文分流处理,检索走向量加 BM25 的混合路子,回答必须带原文引用,不给模型瞎编的空间。

  • Python
  • FastAPI
  • FAISS
  • BM25
  • DashScope

财务年报 RAG-Agent

编排

在 RAG 之上加了 Agent 编排:多轮追问、工具调用,按问题类型自动路由到检索、计算或澄清。前端用 Ant Design X 做对话界面。

  • FastAPI
  • React
  • Ant Design X
  • 工具调用

面试题构架 · 自适应题库

评估

面试题学习系统。题目按能力点组织,作答后由模型评估关键词回忆质量,再按掌握程度动态调整复习间隔,刚及格的题更早回来找你。

  • Python
  • LLM 评估
  • 间隔重复
  • 关键词回忆

AIPPT · AI 演示文稿生成器

生成

基于开源 Presenton 二次开发。从主题或现有文档生成带版式的演示文稿,支持模板转换与多格式导出,桌面端打包成 Electron 应用。

  • Electron
  • TypeScript
  • 多模型接入

服务器私有化部署与模型微调

部署

从零在一台 GPU 服务器上把推理服务和微调流水线拉起来:环境准备、数据构建与清洗、LoRA 训练、评估、vLLM 部署,全程脚本化。

  • vLLM
  • PEFT
  • transformers
  • paramiko

自动出题网站

全栈

上传题目素材,OCR 识别后自动结构化入库并组卷,前端带作答流程与统计看板。适合把一堆零散题库文件变成能直接用的练习系统。

  • Flask
  • React
  • Ant Design
  • ECharts
  • Tesseract

医院预约小程序

全栈

单服务预约工具。微信原生小程序端加 Vue 3 管理端,服务端用 Express 配 MySQL,处理时间段容量、预约状态流转与后台排班。

  • 微信小程序
  • Vue 3
  • Express
  • MySQL

聊聊 RAG、Agent,或者别的

项目、工作、技术问题,都可以直接发消息。回答问题优先,但会认真回。