核心定位:不做基础大模型训练,聚焦安防垂直Agent/RAG,把AI能力嵌入现有voms视频运维平台;主线做业务壁垒,副线夯实AI工程底座,碎片时间跟踪前沿
精力分配:主线70%、AI架构底座20%、前沿跟踪10%
产出目标:从自用工具 → 可交付Demo → 可作为项目增值模块的商业化组件;同步形成个人技术标签:安防行业私有化AI落地架构师
前置条件:你现有环境 Ubuntu、SpringBoot、RuoYi-Vue3、MinIO、Redis、Apache Doris、熟悉GB28181、海康SDK、视频运维场景
整体里程碑概览
- 第1–2月:基础工程闭环,先落地自用RAG知识库(解决你写标书、排障、查国标文档的痛点,快速拿到正向反馈)
- 第3–4月:升级Agent工具调用,打通告警、设备状态、Doris数据,实现故障自动诊断
- 第5–6月:封装独立微服务、完善权限审计、形成交付方案与演示Demo,准备在项目中落地增值模块
第1月:RAG工程底座 + 安防知识库建设(主线)
目标:跑通一套稳定私有化RAG链路,把你手里的可研、技术方案、国标GB/T文档、海康SDK文档、运维故障SOP全部入库,做成内部问答助手
学习内容
- RAG完整链路:文档解析、分块策略、重排、召回、向量库选型(优先:Milvus / Qdrant,轻量好部署,适配私有化)
- 文档处理:PDF、Word、Markdown、图纸说明、扫描件OCR方案;处理标书、规范文档里的表格、拓扑说明
- 模型部署:本地/内网私有化部署开源模型(Qwen、DeepSeek Flash),学会模型网关基础、限流、上下文窗口控制
- 基础prompt工程:行业专属提示词,约束模型只能基于知识库回答,杜绝幻觉(安防、投标场景幻觉代价极高)
实操任务(按顺序)
- 搭建向量库服务,做成独立服务,不和业务主服务强耦合
- 整理你的资料仓库:国标28181、46358、海康SDK手册、历史故障工单、专家意见回复、方案模板,统一清洗
- 开发文档上传、切片、向量化入库接口,集成到RuoYi后台
- 开发问答页面:输入问题,检索知识库+大模型回答,返回引用文档来源
- 测试重点:标书撰写、故障排查、国标条文查询三类高频问题
副线(20%精力)
学习私有化AI架构基础:模型鉴权、请求日志、调用统计、简单成本统计
本月交付物
✅ 内网可用安防知识库问答Demo
✅ 文档批量入库脚本、切片策略配置文件
✅ 基础测试用例集(用来评估幻觉、召回准确率)
收益:本月做完立刻自用,写方案、回复专家意见、排查设备问题直接提效,马上感受到价值,不容易半途而废
第2月:RAG迭代优化 + NL2SQL接入(主线)
目标:解决RAG召回不准、幻觉问题;接入NL2SQL,自然语言查询Doris里的设备、告警、视频质量指标
学习内容
- RAG优化:混合检索(关键词+向量)、rerank重排、问答评估、负面提示词、拒绝回答机制
- NL2SQL原理:SQL生成、语法校验、数据血缘、权限控制(政企项目重中之重,防止越权查数据)
- 安全边界:禁止drop/alter等高危SQL,结果二次校验
实操任务
- 优化知识库:区分公开文档、项目涉密文档,做文档级权限隔离(不同账号只能看对应项目资料)
- 对接Apache Doris告警、设备状态、在线率指标库,实现自然语言查询
示例:“本周XX街道所有离线摄像机数量,按交换机分组统计” - 增加回答溯源:每一条结论绑定原始文档、SQL语句、数据快照
- 接入调用日志,记录提问、召回片段、模型回答、耗时、用户评分
副线
调研模型网关:OneAPI,统一对接多家模型,实现模型路由、负载、降级、缓存(一套接口切换Qwen/DeepSeek)
本月交付物
✅ 带权限、溯源、评分的增强版RAG系统
✅ NL2SQL模块,集成到voms运维平台
✅ OneAPI私有化网关基础部署脚本
第3月:Agent框架学习 + 工具编排(主线)
目标:从“单纯问答”升级为能调用工具执行动作的Agent,不再只返回文字
安防场景工具:查询设备状态、调用海康SDK抓流、查询Nginx日志、执行巡检脚本、查询Doris指标、生成运维工单
学习内容
- Agent基础:Function Calling / 工具调用、ReAct、Plan&Execute 编排模式
- 工具封装原则:每个工具做入参校验、权限校验、操作审计,高危操作(重启设备)增加二次确认
- Agent记忆:短期会话记忆 + 长期任务记忆,区分一次性问答和多轮故障排查
实操任务
- 梳理你平台可开放的工具清单:
- 查询设备在线状态
- 拉取最近告警记录
- 查询Nginx、voms-service日志
- 生成故障排查报告
- 生成运维工单草稿
- 在SpringBoot中封装工具接口,给Agent调用
- 开发故障诊断Agent:用户描述现象(“XX点位摄像头频繁离线,5分钟自动恢复”),Agent自动调用工具,汇总线索给出根因判断
副线
学习Agent的风险管控:超时、循环调用、工具调用次数限制、敏感操作拦截
本月交付物
✅ 安防运维Agent原型,可调用平台内部工具做故障诊断
✅ 工具定义清单、权限审批流程设计文档
第4月:多模态融合 + 告警闭环Agent(主线)
目标:接入视频多模态,打通告警全链路,解决安防最大痛点:告警误报甄别
原有告警:只给一条文字告警;现在:告警截图/视频片段 + 设备元数据 + 日志 + LLM联合推理
学习内容
- 多模态模型私有化部署、图片理解、帧描述能力
- 告警事件编排:告警推送 → 自动截图 → 多模态识别 → 区分真实告警/误报(蚊虫、光影、雨雪)→ 生成处置建议
- 事件记忆:同一个摄像头的历史告警序列,Agent可以结合历史趋势判断
实操任务
- 对接视频截图服务,告警触发时抓取画面帧
- 多模态Agent:同时接收【图片+告警文本+设备参数+带宽日志】,输出告警置信度、处置建议
- 配置分流:高置信度告警直接推运维,低置信度误报归档,减少人工压力
- 把Agent结论写入Doris,形成告警诊断台账,后续持续训练评估集
副线
梳理整套AI模块的运维方案:监控模型服务存活、接口成功率、错误告警、显存占用
本月交付物
✅ 告警多模态甄别Agent Demo
✅ 告警诊断台账、效果统计看板
第5月:服务解耦、安全加固、交付包封装(主线)
目标:把前面RAG、NL2SQL、Agent、多模态能力,拆成独立微服务,作为voms平台的可选增值组件,而不是耦合在主业务里
面向政企集成商交付:客户可以按需开启,不开启AI模块不影响原有视频运维业务
学习内容
- 私有化AI产品交付规范:等保相关要求、数据不出域、审计日志留存、模型水印、输入输出脱敏
- 容器化打包:Docker Compose一键部署整套AI组件(向量库、OneAPI网关、RAG服务、Agent服务)
- 版本管理、配置分离、离线部署方案(很多区县项目内网无外网)
实操任务
- 拆分微服务:ai-rag-service、ai-agent-service、ai-nl2sql-service、ai-multimodal-service
- 完善权限、操作审计、脱敏:手机号、项目涉密信息自动过滤
- 编写离线部署文档、运维手册、故障排查SOP
- 制作演示PPT、演示脚本,面向集成商、甲方的演示流程
副线
开始沉淀对外输出内容:技术笔记、方案模板(用于建立个人技术品牌)
本月交付物
✅ 可离线交付的AI组件部署包(Docker Compose)
✅ 完整交付文档、运维手册、售前演示材料
第6月:场景打磨、商业化落地验证、长期路线定型(主线)
目标:在真实项目里试点落地,收集反馈,收敛产品形态,形成稳定可复用的AI增值模块
实操任务
- 找一个现有区级/小区安防项目做试点,小范围上线这套AI能力,收集运维人员反馈
- 迭代优先级:优先打磨运维故障诊断、标书知识库、告警甄别三个最高价值场景,砍掉低频、低价值功能
- 整理报价方案:AI模块作为增值服务,单独报价、单独交付、单独维保
- 复盘:统计节省的人工工时、降低的误报率,形成可量化的价值证明(投标非常好用)
- 规划长期:边缘轻量化Agent、行业知识库持续迭代计划
副线
梳理自己的知识体系,整理对外分享素材(技术博客/内部技术分享)
本月交付物
✅ 项目试点版本、量化效果报告
✅ 售前方案、报价清单、产品 roadmap
✅ 个人能力标签作品集(项目案例+Demo)
碎片化前沿跟踪(每月固定投入,不占用主线时间)
固定每周抽1–2小时,只看这几类,不追零散热点:
- Agent新框架、工具调用、长期记忆方案
- 轻量多模态模型、边缘端小模型(适合IPC/边缘盒子)
- RAG评估、幻觉治理、隐私检索技术
- 政企AI合规、数据安全、等保对大模型的最新要求
原则:只看能不能解决安防场景真实痛点,不做纯玩具Demo
避坑清单(全程牢记)
- 不投入精力做基础模型预训练,你的赛道是应用层工程化+行业知识壁垒
- 优先内网离线部署,绝大多数安防政企项目禁止数据出内网
- 所有AI操作必须留审计日志,高危操作二次确认,幻觉是最大风险
- 不要为了AI而AI:每个功能都要回答:甲方/运维能省多少时间?能不能解决现有痛点?
- 保持和原有voms平台低耦合,AI模块是插件,主平台稳定性优先
配套学习资源清单(精简,避免信息过载)
- OneAPI:模型网关,统一调度、限流、缓存
- 向量库:Qdrant(轻量,部署简单,适合中小项目)
- Agent:Spring AI(Java生态,完美适配你的技术栈,优先选,不用硬上Python框架)
- RAG评估:RAGAS,用来量化召回、回答质量
- 多模态:Qwen-VL、DeepSeek-VL,私有化部署
重点推荐 Spring AI:Java栈原生,和你的SpringBoot体系无缝打通,不用切换主力语言,学习成本最低
如果你需要,我可以再输出一份:Spring AI + RAG 最小可运行起步Demo代码(可直接在Ubuntu部署),你拿到就能启动第1个月的任务。