最近有球友反馈说,想把咱们星球中的企业知识库系统项目,写到自己的求职简历中。
今天这篇专门给大家分享一下,企业知识库系统如何包装简历?
项目名称:企业知识库管理系统
核心技术:Spring Boot 3.2、Spring Cloud Gateway、Spring Cloud Alibaba、Nacos、MyBatis Plus、MySQL、MongoDB、Redis、Elasticsearch、Neo4j、RabbitMQ、LangChain4j、CompletableFuture(异步编排)、SSE(流式响应)、RustFS(S3兼容对象存储)、S3 Multipart Upload(断点续传)、Apache POI、PDFBox、FFmpeg/FFprobe(音视频处理)、HLS(流媒体)、React 18、TypeScript、Ant Design、RAG(检索增强生成)、KAG/GraphRAG(知识增强生成)、Hybrid Search(混合检索)、RRF(倒数排序融合)、LLM Re-ranking、Spring Security、JWT、Docker等。
项目描述:企业知识库是公司数字化转型中的一个核心底座系统。考虑到各部门知识沉淀分散、检索效率低下、新人上手成本高,为了将分散在各处的文档资料、业务经验、技术方案等知识资产集中管理和高效复用,因此主导开发了企业级知识库管理平台。系统覆盖了文档全生命周期管理、AI智能问答、知识图谱关联探索、全文搜索、权限管控、数据统计等核心功能。
我的职责:主要参与系统的架构设计和核心模块开发。包括:后端微服务架构搭建、RBAC 权限体系设计、文档管理服务、文件管理服务(秒传、断点续传、多格式预览、音视频转码)、AI 智能问答模块(RAG + KAG/GraphRAG 知识引擎)、LLM Re-ranking 检索优化、多模型接入与自动降级、智能文档切分策略、知识图谱构建、全链路异常处理机制等功能开发,其中 AI 模块负责从零到一完成搭建。
项目亮点:
- 系统采用 Spring Cloud 微服务架构,按业务边界拆分为 9 个独立服务(用户认证、文档管理、AI 问答、搜索、文件管理、统计、知识图谱、基础服务、API 网关),通过 Nacos 实现服务注册发现和配置中心统一管理,各服务可独立扩缩容和升级部署,整体可用性达到 99.9%。
- 基于 RBAC 模型实现了细粒度的权限管控体系,采用 Spring Security + JWT 双 Token 机制(Access Token + Refresh Token),支持菜单级、按钮级、接口级三层权限控制,并通过自定义 AuthenticationEntryPoint 和 AccessDeniedHandler 实现了未登录(401)和无权限(403)的精准区分与 JSON 响应。
- AI 智能问答模块引入了 RAG(检索增强生成)架构,采用向量相似度 + BM25 混合检索策略。通过 CompletableFuture 并行执行 Elasticsearch dense\_vector kNN 向量检索和 BM25 倒排索引检索,再使用 Reciprocal Rank Fusion(RRF,常数 C=60)算法融合排序,同时配置 IK 中文分词器适配中文场景。检索到的知识片段自动注入 LLM 上下文进行增强生成,解决了通用大模型"不懂公司业务"和"产生幻觉"的问题。
- 在 RAG 基础上进一步实现了 KAG(Knowledge Augmented Generation,知识增强生成)架构。通过 LLM 从文档中自动抽取 6 类实体(技术栈、API、配置项、概念、工具、流程)和 5 种关系(依赖、使用、配置、包含、关联),利用 Levenshtein 编辑距离(相似度阈值 0.85)做实体归一化去重后写入 Neo4j 图数据库。用户提问时先用 LLM 抽取问题中的实体关键词,在 Neo4j 中执行最多 2 跳多路径图遍历,将推理路径(如 "Spring Boot → 依赖 → Redis → 配置 → 连接池")与 RAG 检索的文档片段通过加权融合(RAG 权重 0.5 + KAG 权重 0.5)共同注入 Prompt,实现了从"关键词匹配"到"知识推理"的升级。
- 设计了一套面向中文知识库的智能文档切分策略。没有简单按固定字符数截断,而是实现了三层切分:先识别 Markdown 标题层级做段落边界对齐,再在段落内按中英文句子边界(句号、问号、感叹号、换行符)做细粒度拆分,最后用滑动窗口(512 token / 1024 字符窗口,64 token 重叠)生成最终 Chunk。每个 Chunk 自动注入所属章节标题作为上下文前缀,保证检索命中的 Chunk 可独立理解。中文 Token 估算采用 2.0 字符/token 的经验系数,适配中英文混排场景。
- 实现了多模型接入架构与自动降级策略。通过 LangChain4j 抽象层同时接入了 Qwen和 DeepSeek,ChatLanguageModel 实例采用懒加载(首次调用时才初始化,不占用应用启动资源)。当默认模型不可用时自动 Fallback 到备用模型;当 Embedding 模型(text-embedding-v3,1024 维向量)初始化失败时自动降级为纯 BM25 文本检索;当 RAG 检索失败时降级为直接 LLM 对话。全链路优雅降级,核心业务不中断,且整个过程对用户透明。
- 引入 LLM Re-ranking 机制提升检索精度。混合检索返回的候选 Chunk 不直接送入生成阶段,而是先通过一个专用的"搜索相关性评估专家"Prompt 让 LLM 对每个候选片段打分(1-10 分,含详细评分标准),过滤低分片段后仅取 Top-K 高分 Chunk 作为生成上下文。每个 Chunk 截断到 1000 字符以控制 Token 消耗,在精度与成本之间取得平衡。
- 通过 Redis 缓存 Embedding 向量结果,大幅降低重复调用成本。对文档切块文本做 MD5 哈希后以
rag:emb:<md5>为 Key 写入 Redis(TTL 24 小时),重复文档或增量更新的相同 Chunk 直接命中缓存,批量入库场景缓存命中率可达 70%。同时 Embedding 服务和 Redis 均采用@Autowired(required=false)注入,缓存读写失败不影响主流程,自动降级为实时 Embedding 调用。 - 知识图谱模块使用 Neo4j 图数据库,通过抽取文档中的实体(术语、人名、项目名等)和实体间关系(引用、关联、依赖等),构建了可视化的知识关联网络。用户浏览文档时可以直观看到相关知识和关联路径,实现了从"关键词搜索"到"知识探索"的体验升级。
- 文档管理模块实现了完整的生命周期管理(草稿 → 待审核 → 已发布 → 已归档),支持 Markdown 在线编辑器、版本历史回溯、上一篇/下一篇高效导航(通过 MySQL 行值比较代替全量扫描,查询效率提升 95%以上)。
- 文件解析模块支持 Word(Apache POI)、PDF(PDFBox)、Markdown、TXT 等多格式文档的自动解析入库。Markdown 文档中的外部图片链接通过正则自动识别并上传至 RustFS 对象存储,替换为内部 URL。文档元数据与正文分库存储(MySQL 存元数据,MongoDB 存正文),通过 RabbitMQ 消息队列异步触发 kb-ai 服务的向量化索引构建(ReindexConsumer 消费),大文件解析不阻塞接口响应。
- 文件上传实现了 SHA-256 哈希秒传(Instant Upload)与 S3 Multipart Upload 断点续传机制。上传前先计算文件 SHA-256 哈希值,若服务端已存在相同哈希的文件,直接返回已有文件信息,避免重复存储和传输带宽浪费。大文件(>100MB)支持分片上传:前端将文件切分为多个 Chunk,服务端通过 UploadSession(ConcurrentHashMap 管理会话状态,含 uploadId、totalSize、chunkCount、uploadedParts)追踪每个分片的进度,中断后可调用 ListParts API 查询已上传分片列表实现断点续传,所有分片上传完成后调用 CompleteMultipartUpload 合并为完整文件。
- 实现了多格式文件的在线预览与流媒体播放能力。图片类文件(PNG/JPG/GIF/SVG/BMP)支持浏览器内嵌展示(Content-Disposition: inline);文档类文件(PDF/Word/Markdown)通过 RustFS 在线预览接口实现浏览器内直接查看,无需下载;音视频文件支持 HTTP Range 断点续播和 HLS(HTTP Live Streaming)自适应码率流播放(master.m3u8 + TS 分片),拖动进度条可跳转任意位置。预览资源设置 1 年强缓存(Cache-Control: max-age=31536000, public),大幅减少重复请求。
- 音视频文件上传后通过 RabbitMQ(Direct Exchange + Transcode Queue)异步触发转码处理。TranscodeConsumer 消费消息后调用 Java ProcessBuilder 执行 FFmpeg 命令行,将视频转码为 HLS 多码率自适应流(master.m3u8 + TS 分片),同时使用 FFprobe 提取元数据(时长、分辨率、码率、视频/音频编码格式)解析为结构化 JSON 存入 MySQL,并截取第 5 秒帧生成 JPEG 高清缩略图。整个转码生命周期状态(PENDING → PROCESSING → DONE/FAILED)实时更新,前端可轮询查询进度。
- 针对远程 Redis 连接间歇性超时的问题,深入分析了 TCP KeepAlive 机制与中间网络设备连接回收策略,通过配置 Lettuce 客户端的 socket keepalive、pingBeforeActivateConnection 和 autoReconnect,结合连接池预热(min-idle)和定期驱逐(time-between-eviction-runs)策略,彻底解决了"有时正常、有时超时"的间歇性故障。
- 通过 Spring Cloud Gateway 实现了统一的 API 网关层,对所有请求进行 JWT 认证、白名单校验、请求日志记录和跨域处理。网关层对所有微服务的返回值进行了统一封装(Result 结构),并利用 @ControllerAdvice 实现了全局异常拦截,前端始终能拿到格式一致的 JSON 响应,无需处理各种异常格式。
- 前端采用 React 18 + TypeScript + Ant Design 技术栈,使用 Zustand 进行轻量级状态管理,通过 Axios 拦截器实现了 Token 自动刷新和过期处理。针对文档详情页重复请求的问题,在 Store 层增加了请求去重锁机制,相同文档 ID 的并发请求只发一次网络调用。
常见问题
1 为什么选择微服务架构?
答:主要基于三个方面考虑:
一是业务边界清晰,用户认证、文档管理、AI 问答、文件管理等模块职责独立,微服务天然匹配;
二是各模块的流量模型不同——文档查询是高频读、AI 问答是低频但耗时长、文件上传是带宽密集型,拆分后可以针对性地优化资源分配和扩缩容;
三是团队协作效率,9 个服务可以分配给不同的开发人员并行开发,通过 Nacos 进行服务注册发现,互不阻塞。
2 RAG 和传统的全文搜索有什么区别?
答:两者定位不同,在系统中是互补关系。
全文搜索(Elasticsearch)解决的是"找到包含关键词的文档",用户输入查询词,系统返回匹配的文档列表。
RAG 解决的是"基于知识库回答自然语言问题",用户问"公司的报销流程是什么",系统先从知识库中检索相关文档片段,再把这些片段作为上下文喂给大模型,让大模型基于真实的企业文档来回答问题,而不是凭空编造。
两者的共同点是都依赖于文档的向量化和索引,所以文件解析入库是它们共享的前置步骤。
3 为什么不用现成的 RBAC 框架(如 Sa-Token)?
答:系统虽然权限模型是 RBAC,但需求上有几个特殊点:
一是需要三层权限控制(菜单 + 按钮 + 接口),其中接口权限需要支持通配符规则(如 /api/document/** 匹配子路径);
二是需要支持多租户场景,用户、角色、权限数据要通过 tenant\_id 隔离,且角色可以跨租户复用(通过 deleted + tenant\_id 联合唯一键实现);
三是需要精准区分 401(未登录)和 403(无权限),未登录时跳转登录页,无权限时提示权限不足但不跳转、不踢出登录态。这些都是通用框架不容易覆盖的点,自己实现更灵活。
4 文档数量增多后,搜索和列表查询性能如何保证?
答:从多个层面做了优化:
- MySQL 层面:对高频查询字段(状态、分类、作者、发布时间)建立了联合索引,文档列表查询使用 MyBatis Plus 分页插件,单次只返回 12 条数据。
- 上一页/下一页导航:没有用全量扫描再排序的粗暴方式,而是用 MySQL 行值比较(WHERE (is\_top, sort, publish\_time) > (?, ?, ?) LIMIT 1),直接定位到相邻文档,避免了 O(N) 的全表扫描。
- 全文搜索:使用 Elasticsearch 的倒排索引能力,支持标题、内容、摘要的联合搜索,不走 MySQL 的 LIKE 查询。
- 缓存:热门文档和分类树结构缓存在 Redis 中,TTL 设为 30 分钟,减少了数据库的重复查询压力。
5 Token 过期怎么处理?用户会感知到吗?
答:采用了 JWT 双 Token 机制,用户无感知续期。
Access Token 有效期 2 小时,用于日常请求鉴权。
Refresh Token 有效期 7 天,当 Access Token 过期时,前端 Axios 拦截器会自动用 Refresh Token 换取新的 Access Token,整个过程用户无感知。
如果 Refresh Token 也过期了(超过 7 天未登录),系统会返回 401 状态码,前端清除本地登录态并跳转到登录页面,提示"登录已过期,请重新登录"。
6 如何处理大模型调用可能出现的超时问题?
答:AI 问答接口采用了异步处理方案:
- 前端通过 WebSocket(STOMP + SockJS)与后端建立长连接,AI 回答以流式响应(Stream)的方式逐字推送到前端,用户看到的是打字机效果,不会因为等待完整回答而产生焦虑。
- 后端大模型调用使用了 CompletableFuture 异步编排,RAG 检索和大模型推理并行执行,将整体响应时间从串行的 8 秒优化到 5 秒左右。
- 如果模型调用超时,服务端会终止本次调用并向前端推送"AI 服务繁忙,请稍后重试",同时将用户的问题保存下来,用户可以在对话历史中继续追问。
7 KAG(知识增强生成)和普通 RAG 有什么本质区别?
答:普通 RAG 是基于文本向量的语义检索,适合"这段文档说了什么"类的问题。但遇到需要推理关联关系的问题——比如"Redis连接超时可能和哪些配置有关"——单纯靠向量相似度很难找到分散在不同文档中的关联知识。
KAG 在这之上加了一层知识图谱推理。具体流程是:
- 离线阶段:用 LLM 从文档中抽取出实体和关系,经过 Levenshtein 编辑距离去重(相似度 ≥ 0.85 的认为是同一实体)后,写入 Neo4j 构建知识图谱。
- 在线阶段:用户提问时,先用 LLM 从问题中提取实体关键词(如"Redis"、"连接超时"),在 Neo4j 中做最多 2 跳的路径遍历,找到"Redis → 依赖 → Spring Boot → 配置 → 连接池 → 使用 → Lettuce → 配置 → TCP KeepAlive"这样的推理链。
- 最终将图推理路径和 RAG 检索的文档片段按 0.5:0.5 权重融合后一起送入 LLM 生成答案。这让 AI 不仅能回答"是什么",还能回答"为什么"和"和什么有关"。
8 文档切分策略对 RAG 效果有多大影响?你是怎么做的?
答:影响非常大。切分不好,最直接的后果就是检索到的片段"缺胳膊少腿"——用户搜"Spring Boot 如何配置 Redis 连接池",结果检索到一个 Chunk 里只有 Redis 的配置代码,没有上下文说明这是哪个模块、什么版本,LLM 就回答不准确。
我采用的是三层切分策略:
- 第一层——段落边界对齐:利用 Markdown 的
##/###标题层级识别章节边界,不在标题中间截断。 - 第二层——句子边界对齐:段落超过阈值时,按中英文标点(句号、问号、感叹号、换行符)做自然句子拆分,而不是粗暴地在中文字符中间切断。
- 第三层——滑动窗口(512 token 窗口,64 token 重叠),保证前后 Chunk 之间有上下文衔接。每个 Chunk 会注入它所属的章节标题作为前缀。
另外,中文的 Token 估算不能用英文的 4 字符/token 经验值,我采用了 2.0 字符/token 的系数来适配中英混排文档。
9 如果大模型 API 挂了或者没钱了,整个 AI 功能就不可用了吗?
答:不会。系统设计了多层降级策略来保证核心流程不中断:
第一层:模型级降级。接入了 Qwen 和 DeepSeek 两个模型,配置了默认模型和备用模型。如果默认模型(如 Qwen)调用失败,自动切换到 DeepSeek。
第二层:Embedding 降级。如果 Embedding 模型(text-embedding-v3)不可用,RAG 自动退化到纯 BM25 关键词检索模式,虽然语义理解打了折扣,但仍然能检索到相关文档。
第三层:RAG 降级。如果整个 RAG 检索链路失败(比如 Elasticsearch 不可用),会自动跳过检索环节,将用户的问题直接发送给 LLM 当作普通对话回答,并在回复中提示"当前无法检索知识库"。
所有降级都在 @Autowired(required=false) 的 Optional 注入和 try-catch 中完成,对用户完全透明。
10 LLM Re-ranking 为什么必要?直接用混合检索的 Top-K 结果不行吗?
答:混合检索(BM25 + 向量)返回的结果是"关键词+语义"层面的相关,但不一定是"对问题最有帮助"的。比如用户问"如何配置 Redis 连接池的超时时间",混合检索可能返回一段 Redis 配置文件的全文——虽然包含连接池配置,但混杂了大量不相关的密码、端口等配置信息。
Re-ranking 层做的事情是:把候选 Chunk 截断到 1000 字符(控制上下文长度),用一个专门的"搜索相关性评估专家"Prompt 让 LLM 对每个 Chunk 打分(1-10 分),只保留高分 Chunk 进入最终的 Prompt。
这相当于在检索和生成之间加了一道"质检"环节,用 LLM 的理解能力再做一次筛选。代价是多了一次 LLM 调用,但换来的是生成质量的明显提升。
11 LLM 做实体抽取的结果不稳定,你是如何做容错的?
答:这是工程落地时遇到的真实问题。LLM 抽取的 JSON 有时格式不对(多了逗号或少了大括号),有时同一实体被抽成了不同名称("SpringBoot"和"Spring Boot")。我做了三层容错:
- JSON 解析容错:先用正则匹配 \`\`\`\`json
代码块,匹配不到再用{}\` 正则找最大 JSON 对象,避免解析失败导致整个流程中断。 - 实体归一化去重:先用"完全同名合并"做第一次去重,再与 Neo4j 中已有的实体做批量匹配(
UNWIND $names ... MATCH ... WHERE e.name = name OR name IN e.aliases),最后用 Levenshtein 编辑距离做相似度合并(阈值 0.85),"Spring Boot"和"SpringBoot"会被识别为同一实体。 - 抽取重试:配置了 maxRetries=2,单次抽取失败自动重试,最终失败则抛出 ExtractionException 由上层处理。
12 SHA-256 秒传和断点续传是怎么实现的?
答:秒传(Instant Upload)的核心思路是"文件摘要去重"。上传前先对文件内容计算 SHA-256 哈希值,查询数据库是否已有相同哈希的文件记录。如果命中,直接复用已有文件信息返回给用户,省去了实际的文件传输和存储——在团队协作场景下,同一个附件(如公司Logo、常用模板)经常被多人重复上传,秒传可以显著减少带宽和存储开销。
断点续传基于 AWS S3 Multipart Upload 协议实现,底层存储是 S3 兼容的 RustFS 对象存储。流程是:
- 前端先调用初始化接口,服务端向 RustFS 发起 CreateMultipartUpload 请求,获取 uploadId,创建一个 UploadSession 保存在 ConcurrentHashMap 中。
- 前端逐片上传,服务端将每个分片通过 UploadPart API 写入 RustFS,并在 Session 中记录 uploadedParts。
- 如果上传中断,前端可以调用查询接口,服务端通过 ListParts API 获取已上传的分片列表返回给前端,前端从下一个未上传的分片继续。
- 所有分片上传完毕后,前端调用合并接口,服务端调用 CompleteMultipartUpload 将分片合并为完整文件,再将文件信息写入 MySQL。
13 音视频文件的转码和在线播放是怎么做的?
答:整个流程是异步的,不阻塞用户操作:
1)用户上传视频后,文件管理服务先完成基础入库(SHA-256去重、RustFS存储、MySQL记录),然后向 RabbitMQ 发送一条转码消息(TranscodeMessage,含 fileId + targetFormat),状态标记为 PENDING。
2)TranscodeConsumer 异步消费消息,通过 Java ProcessBuilder 调用 FFmpeg 命令行:
- 将视频转码为 HLS 自适应码率流,输出 master.m3u8 索引文件 + 多个分辨率的 TS 分片文件。
- 调用 FFprobe 提取元数据(时长duration、分辨率width*height、码率bitrate、视频编码codec等),解析为结构化JSON存入 MySQL。
- 用 FFmpeg 截取第 5 秒帧生成 JPEG 高清缩略图,上传到 RustFS。
3)播放时前端请求 /files/stream/{fileId}/master.m3u8 获取自适应索引,浏览器/播放器根据网络状况自动选择合适码率的 TS 分片播放,支持拖动进度条任意跳转。如果转码尚未完成(PENDING/PROCESSING),前端轮询转码状态直到完成。
14 文件存储为什么选择 RustFS 而不是直接用 MinIO 或阿里云 OSS?
答:我们在代码层面做了存储抽象层——定义了 FileStorage 接口(upload / download / getInputStream / delete / exists),通过 FileStorageFactory 根据配置动态选择存储后端。当前项目使用 RustFS 是因为它是团队已有的自建分布式文件系统,S3 兼容协议,API 层完全兼容 AWS S3 SDK,已有的 Multipart Upload、Presigned URL、ListObjects 等高级特性都可以直接使用。
但架构上已经做了充分解耦:如果要切换到 MinIO 或阿里云 OSS,只需要实现一个新的 StorageBean(如 MinioFileStorage implements FileStorage),然后在 application.yml 中将 file.storage.type 改为对应的标识即可,不需要改动任何业务代码。这就是面向接口编程的好处。