最近有球友反馈说,想把咱们星球中的企业知识库系统项目,写到自己的求职简历中。

今天这篇专门给大家分享一下,企业知识库系统如何包装简历?

项目名称:企业知识库管理系统

核心技术:Spring Boot 3.2、Spring Cloud Gateway、Spring Cloud Alibaba、Nacos、MyBatis Plus、MySQL、MongoDB、Redis、Elasticsearch、Neo4j、RabbitMQ、LangChain4j、CompletableFuture(异步编排)、SSE(流式响应)、RustFS(S3兼容对象存储)、S3 Multipart Upload(断点续传)、Apache POI、PDFBox、FFmpeg/FFprobe(音视频处理)、HLS(流媒体)、React 18、TypeScript、Ant Design、RAG(检索增强生成)、KAG/GraphRAG(知识增强生成)、Hybrid Search(混合检索)、RRF(倒数排序融合)、LLM Re-ranking、Spring Security、JWT、Docker等。

项目描述:企业知识库是公司数字化转型中的一个核心底座系统。考虑到各部门知识沉淀分散、检索效率低下、新人上手成本高,为了将分散在各处的文档资料、业务经验、技术方案等知识资产集中管理和高效复用,因此主导开发了企业级知识库管理平台。系统覆盖了文档全生命周期管理、AI智能问答、知识图谱关联探索、全文搜索、权限管控、数据统计等核心功能。

我的职责:主要参与系统的架构设计和核心模块开发。包括:后端微服务架构搭建、RBAC 权限体系设计、文档管理服务、文件管理服务(秒传、断点续传、多格式预览、音视频转码)、AI 智能问答模块(RAG + KAG/GraphRAG 知识引擎)、LLM Re-ranking 检索优化、多模型接入与自动降级、智能文档切分策略、知识图谱构建、全链路异常处理机制等功能开发,其中 AI 模块负责从零到一完成搭建。

项目亮点:

  1. 系统采用 Spring Cloud 微服务架构,按业务边界拆分为 9 个独立服务(用户认证、文档管理、AI 问答、搜索、文件管理、统计、知识图谱、基础服务、API 网关),通过 Nacos 实现服务注册发现和配置中心统一管理,各服务可独立扩缩容和升级部署,整体可用性达到 99.9%。
  2. 基于 RBAC 模型实现了细粒度的权限管控体系,采用 Spring Security + JWT 双 Token 机制(Access Token + Refresh Token),支持菜单级、按钮级、接口级三层权限控制,并通过自定义 AuthenticationEntryPoint 和 AccessDeniedHandler 实现了未登录(401)和无权限(403)的精准区分与 JSON 响应。
  3. AI 智能问答模块引入了 RAG(检索增强生成)架构,采用向量相似度 + BM25 混合检索策略。通过 CompletableFuture 并行执行 Elasticsearch dense\_vector kNN 向量检索和 BM25 倒排索引检索,再使用 Reciprocal Rank Fusion(RRF,常数 C=60)算法融合排序,同时配置 IK 中文分词器适配中文场景。检索到的知识片段自动注入 LLM 上下文进行增强生成,解决了通用大模型"不懂公司业务"和"产生幻觉"的问题。
  4. 在 RAG 基础上进一步实现了 KAG(Knowledge Augmented Generation,知识增强生成)架构。通过 LLM 从文档中自动抽取 6 类实体(技术栈、API、配置项、概念、工具、流程)和 5 种关系(依赖、使用、配置、包含、关联),利用 Levenshtein 编辑距离(相似度阈值 0.85)做实体归一化去重后写入 Neo4j 图数据库。用户提问时先用 LLM 抽取问题中的实体关键词,在 Neo4j 中执行最多 2 跳多路径图遍历,将推理路径(如 "Spring Boot → 依赖 → Redis → 配置 → 连接池")与 RAG 检索的文档片段通过加权融合(RAG 权重 0.5 + KAG 权重 0.5)共同注入 Prompt,实现了从"关键词匹配"到"知识推理"的升级。
  5. 设计了一套面向中文知识库的智能文档切分策略。没有简单按固定字符数截断,而是实现了三层切分:先识别 Markdown 标题层级做段落边界对齐,再在段落内按中英文句子边界(句号、问号、感叹号、换行符)做细粒度拆分,最后用滑动窗口(512 token / 1024 字符窗口,64 token 重叠)生成最终 Chunk。每个 Chunk 自动注入所属章节标题作为上下文前缀,保证检索命中的 Chunk 可独立理解。中文 Token 估算采用 2.0 字符/token 的经验系数,适配中英文混排场景。
  6. 实现了多模型接入架构与自动降级策略。通过 LangChain4j 抽象层同时接入了 Qwen和 DeepSeek,ChatLanguageModel 实例采用懒加载(首次调用时才初始化,不占用应用启动资源)。当默认模型不可用时自动 Fallback 到备用模型;当 Embedding 模型(text-embedding-v3,1024 维向量)初始化失败时自动降级为纯 BM25 文本检索;当 RAG 检索失败时降级为直接 LLM 对话。全链路优雅降级,核心业务不中断,且整个过程对用户透明。
  7. 引入 LLM Re-ranking 机制提升检索精度。混合检索返回的候选 Chunk 不直接送入生成阶段,而是先通过一个专用的"搜索相关性评估专家"Prompt 让 LLM 对每个候选片段打分(1-10 分,含详细评分标准),过滤低分片段后仅取 Top-K 高分 Chunk 作为生成上下文。每个 Chunk 截断到 1000 字符以控制 Token 消耗,在精度与成本之间取得平衡。
  8. 通过 Redis 缓存 Embedding 向量结果,大幅降低重复调用成本。对文档切块文本做 MD5 哈希后以 rag:emb:<md5> 为 Key 写入 Redis(TTL 24 小时),重复文档或增量更新的相同 Chunk 直接命中缓存,批量入库场景缓存命中率可达 70%。同时 Embedding 服务和 Redis 均采用 @Autowired(required=false) 注入,缓存读写失败不影响主流程,自动降级为实时 Embedding 调用。
  9. 知识图谱模块使用 Neo4j 图数据库,通过抽取文档中的实体(术语、人名、项目名等)和实体间关系(引用、关联、依赖等),构建了可视化的知识关联网络。用户浏览文档时可以直观看到相关知识和关联路径,实现了从"关键词搜索"到"知识探索"的体验升级。
  10. 文档管理模块实现了完整的生命周期管理(草稿 → 待审核 → 已发布 → 已归档),支持 Markdown 在线编辑器、版本历史回溯、上一篇/下一篇高效导航(通过 MySQL 行值比较代替全量扫描,查询效率提升 95%以上)。
  11. 文件解析模块支持 Word(Apache POI)、PDF(PDFBox)、Markdown、TXT 等多格式文档的自动解析入库。Markdown 文档中的外部图片链接通过正则自动识别并上传至 RustFS 对象存储,替换为内部 URL。文档元数据与正文分库存储(MySQL 存元数据,MongoDB 存正文),通过 RabbitMQ 消息队列异步触发 kb-ai 服务的向量化索引构建(ReindexConsumer 消费),大文件解析不阻塞接口响应。
  12. 文件上传实现了 SHA-256 哈希秒传(Instant Upload)与 S3 Multipart Upload 断点续传机制。上传前先计算文件 SHA-256 哈希值,若服务端已存在相同哈希的文件,直接返回已有文件信息,避免重复存储和传输带宽浪费。大文件(>100MB)支持分片上传:前端将文件切分为多个 Chunk,服务端通过 UploadSession(ConcurrentHashMap 管理会话状态,含 uploadId、totalSize、chunkCount、uploadedParts)追踪每个分片的进度,中断后可调用 ListParts API 查询已上传分片列表实现断点续传,所有分片上传完成后调用 CompleteMultipartUpload 合并为完整文件。
  13. 实现了多格式文件的在线预览与流媒体播放能力。图片类文件(PNG/JPG/GIF/SVG/BMP)支持浏览器内嵌展示(Content-Disposition: inline);文档类文件(PDF/Word/Markdown)通过 RustFS 在线预览接口实现浏览器内直接查看,无需下载;音视频文件支持 HTTP Range 断点续播和 HLS(HTTP Live Streaming)自适应码率流播放(master.m3u8 + TS 分片),拖动进度条可跳转任意位置。预览资源设置 1 年强缓存(Cache-Control: max-age=31536000, public),大幅减少重复请求。
  14. 音视频文件上传后通过 RabbitMQ(Direct Exchange + Transcode Queue)异步触发转码处理。TranscodeConsumer 消费消息后调用 Java ProcessBuilder 执行 FFmpeg 命令行,将视频转码为 HLS 多码率自适应流(master.m3u8 + TS 分片),同时使用 FFprobe 提取元数据(时长、分辨率、码率、视频/音频编码格式)解析为结构化 JSON 存入 MySQL,并截取第 5 秒帧生成 JPEG 高清缩略图。整个转码生命周期状态(PENDING → PROCESSING → DONE/FAILED)实时更新,前端可轮询查询进度。
  15. 针对远程 Redis 连接间歇性超时的问题,深入分析了 TCP KeepAlive 机制与中间网络设备连接回收策略,通过配置 Lettuce 客户端的 socket keepalive、pingBeforeActivateConnection 和 autoReconnect,结合连接池预热(min-idle)和定期驱逐(time-between-eviction-runs)策略,彻底解决了"有时正常、有时超时"的间歇性故障。
  16. 通过 Spring Cloud Gateway 实现了统一的 API 网关层,对所有请求进行 JWT 认证、白名单校验、请求日志记录和跨域处理。网关层对所有微服务的返回值进行了统一封装(Result 结构),并利用 @ControllerAdvice 实现了全局异常拦截,前端始终能拿到格式一致的 JSON 响应,无需处理各种异常格式。
  17. 前端采用 React 18 + TypeScript + Ant Design 技术栈,使用 Zustand 进行轻量级状态管理,通过 Axios 拦截器实现了 Token 自动刷新和过期处理。针对文档详情页重复请求的问题,在 Store 层增加了请求去重锁机制,相同文档 ID 的并发请求只发一次网络调用。

常见问题

1 为什么选择微服务架构?

答:主要基于三个方面考虑:

一是业务边界清晰,用户认证、文档管理、AI 问答、文件管理等模块职责独立,微服务天然匹配;

二是各模块的流量模型不同——文档查询是高频读、AI 问答是低频但耗时长、文件上传是带宽密集型,拆分后可以针对性地优化资源分配和扩缩容;

三是团队协作效率,9 个服务可以分配给不同的开发人员并行开发,通过 Nacos 进行服务注册发现,互不阻塞。

2 RAG 和传统的全文搜索有什么区别?

答:两者定位不同,在系统中是互补关系。

全文搜索(Elasticsearch)解决的是"找到包含关键词的文档",用户输入查询词,系统返回匹配的文档列表。

RAG 解决的是"基于知识库回答自然语言问题",用户问"公司的报销流程是什么",系统先从知识库中检索相关文档片段,再把这些片段作为上下文喂给大模型,让大模型基于真实的企业文档来回答问题,而不是凭空编造。

两者的共同点是都依赖于文档的向量化和索引,所以文件解析入库是它们共享的前置步骤。

3 为什么不用现成的 RBAC 框架(如 Sa-Token)?

答:系统虽然权限模型是 RBAC,但需求上有几个特殊点:

一是需要三层权限控制(菜单 + 按钮 + 接口),其中接口权限需要支持通配符规则(如 /api/document/** 匹配子路径);

二是需要支持多租户场景,用户、角色、权限数据要通过 tenant\_id 隔离,且角色可以跨租户复用(通过 deleted + tenant\_id 联合唯一键实现);

三是需要精准区分 401(未登录)和 403(无权限),未登录时跳转登录页,无权限时提示权限不足但不跳转、不踢出登录态。这些都是通用框架不容易覆盖的点,自己实现更灵活。

4 文档数量增多后,搜索和列表查询性能如何保证?

答:从多个层面做了优化:

  1. MySQL 层面:对高频查询字段(状态、分类、作者、发布时间)建立了联合索引,文档列表查询使用 MyBatis Plus 分页插件,单次只返回 12 条数据。
  2. 上一页/下一页导航:没有用全量扫描再排序的粗暴方式,而是用 MySQL 行值比较(WHERE (is\_top, sort, publish\_time) > (?, ?, ?) LIMIT 1),直接定位到相邻文档,避免了 O(N) 的全表扫描。
  3. 全文搜索:使用 Elasticsearch 的倒排索引能力,支持标题、内容、摘要的联合搜索,不走 MySQL 的 LIKE 查询。
  4. 缓存:热门文档和分类树结构缓存在 Redis 中,TTL 设为 30 分钟,减少了数据库的重复查询压力。

5 Token 过期怎么处理?用户会感知到吗?

答:采用了 JWT 双 Token 机制,用户无感知续期。

Access Token 有效期 2 小时,用于日常请求鉴权。

Refresh Token 有效期 7 天,当 Access Token 过期时,前端 Axios 拦截器会自动用 Refresh Token 换取新的 Access Token,整个过程用户无感知。

如果 Refresh Token 也过期了(超过 7 天未登录),系统会返回 401 状态码,前端清除本地登录态并跳转到登录页面,提示"登录已过期,请重新登录"。

6 如何处理大模型调用可能出现的超时问题?

答:AI 问答接口采用了异步处理方案:

  1. 前端通过 WebSocket(STOMP + SockJS)与后端建立长连接,AI 回答以流式响应(Stream)的方式逐字推送到前端,用户看到的是打字机效果,不会因为等待完整回答而产生焦虑。
  2. 后端大模型调用使用了 CompletableFuture 异步编排,RAG 检索和大模型推理并行执行,将整体响应时间从串行的 8 秒优化到 5 秒左右。
  3. 如果模型调用超时,服务端会终止本次调用并向前端推送"AI 服务繁忙,请稍后重试",同时将用户的问题保存下来,用户可以在对话历史中继续追问。

7 KAG(知识增强生成)和普通 RAG 有什么本质区别?

答:普通 RAG 是基于文本向量的语义检索,适合"这段文档说了什么"类的问题。但遇到需要推理关联关系的问题——比如"Redis连接超时可能和哪些配置有关"——单纯靠向量相似度很难找到分散在不同文档中的关联知识。

KAG 在这之上加了一层知识图谱推理。具体流程是:

  1. 离线阶段:用 LLM 从文档中抽取出实体和关系,经过 Levenshtein 编辑距离去重(相似度 ≥ 0.85 的认为是同一实体)后,写入 Neo4j 构建知识图谱。
  2. 在线阶段:用户提问时,先用 LLM 从问题中提取实体关键词(如"Redis"、"连接超时"),在 Neo4j 中做最多 2 跳的路径遍历,找到"Redis → 依赖 → Spring Boot → 配置 → 连接池 → 使用 → Lettuce → 配置 → TCP KeepAlive"这样的推理链。
  3. 最终将图推理路径和 RAG 检索的文档片段按 0.5:0.5 权重融合后一起送入 LLM 生成答案。这让 AI 不仅能回答"是什么",还能回答"为什么"和"和什么有关"。

8 文档切分策略对 RAG 效果有多大影响?你是怎么做的?

答:影响非常大。切分不好,最直接的后果就是检索到的片段"缺胳膊少腿"——用户搜"Spring Boot 如何配置 Redis 连接池",结果检索到一个 Chunk 里只有 Redis 的配置代码,没有上下文说明这是哪个模块、什么版本,LLM 就回答不准确。

我采用的是三层切分策略:

  1. 第一层——段落边界对齐:利用 Markdown 的 ## / ### 标题层级识别章节边界,不在标题中间截断。
  2. 第二层——句子边界对齐:段落超过阈值时,按中英文标点(句号、问号、感叹号、换行符)做自然句子拆分,而不是粗暴地在中文字符中间切断。
  3. 第三层——滑动窗口(512 token 窗口,64 token 重叠),保证前后 Chunk 之间有上下文衔接。每个 Chunk 会注入它所属的章节标题作为前缀。

另外,中文的 Token 估算不能用英文的 4 字符/token 经验值,我采用了 2.0 字符/token 的系数来适配中英混排文档。

9 如果大模型 API 挂了或者没钱了,整个 AI 功能就不可用了吗?

答:不会。系统设计了多层降级策略来保证核心流程不中断:

第一层:模型级降级。接入了 Qwen 和 DeepSeek 两个模型,配置了默认模型和备用模型。如果默认模型(如 Qwen)调用失败,自动切换到 DeepSeek。

第二层:Embedding 降级。如果 Embedding 模型(text-embedding-v3)不可用,RAG 自动退化到纯 BM25 关键词检索模式,虽然语义理解打了折扣,但仍然能检索到相关文档。

第三层:RAG 降级。如果整个 RAG 检索链路失败(比如 Elasticsearch 不可用),会自动跳过检索环节,将用户的问题直接发送给 LLM 当作普通对话回答,并在回复中提示"当前无法检索知识库"。

所有降级都在 @Autowired(required=false) 的 Optional 注入和 try-catch 中完成,对用户完全透明。

10 LLM Re-ranking 为什么必要?直接用混合检索的 Top-K 结果不行吗?

答:混合检索(BM25 + 向量)返回的结果是"关键词+语义"层面的相关,但不一定是"对问题最有帮助"的。比如用户问"如何配置 Redis 连接池的超时时间",混合检索可能返回一段 Redis 配置文件的全文——虽然包含连接池配置,但混杂了大量不相关的密码、端口等配置信息。

Re-ranking 层做的事情是:把候选 Chunk 截断到 1000 字符(控制上下文长度),用一个专门的"搜索相关性评估专家"Prompt 让 LLM 对每个 Chunk 打分(1-10 分),只保留高分 Chunk 进入最终的 Prompt。

这相当于在检索和生成之间加了一道"质检"环节,用 LLM 的理解能力再做一次筛选。代价是多了一次 LLM 调用,但换来的是生成质量的明显提升。

11 LLM 做实体抽取的结果不稳定,你是如何做容错的?

答:这是工程落地时遇到的真实问题。LLM 抽取的 JSON 有时格式不对(多了逗号或少了大括号),有时同一实体被抽成了不同名称("SpringBoot"和"Spring Boot")。我做了三层容错:

  1. JSON 解析容错:先用正则匹配 \`\`\`\`json代码块,匹配不到再用{}\` 正则找最大 JSON 对象,避免解析失败导致整个流程中断。
  2. 实体归一化去重:先用"完全同名合并"做第一次去重,再与 Neo4j 中已有的实体做批量匹配(UNWIND $names ... MATCH ... WHERE e.name = name OR name IN e.aliases),最后用 Levenshtein 编辑距离做相似度合并(阈值 0.85),"Spring Boot"和"SpringBoot"会被识别为同一实体。
  3. 抽取重试:配置了 maxRetries=2,单次抽取失败自动重试,最终失败则抛出 ExtractionException 由上层处理。

12 SHA-256 秒传和断点续传是怎么实现的?

答:秒传(Instant Upload)的核心思路是"文件摘要去重"。上传前先对文件内容计算 SHA-256 哈希值,查询数据库是否已有相同哈希的文件记录。如果命中,直接复用已有文件信息返回给用户,省去了实际的文件传输和存储——在团队协作场景下,同一个附件(如公司Logo、常用模板)经常被多人重复上传,秒传可以显著减少带宽和存储开销。

断点续传基于 AWS S3 Multipart Upload 协议实现,底层存储是 S3 兼容的 RustFS 对象存储。流程是:

  1. 前端先调用初始化接口,服务端向 RustFS 发起 CreateMultipartUpload 请求,获取 uploadId,创建一个 UploadSession 保存在 ConcurrentHashMap 中。
  2. 前端逐片上传,服务端将每个分片通过 UploadPart API 写入 RustFS,并在 Session 中记录 uploadedParts。
  3. 如果上传中断,前端可以调用查询接口,服务端通过 ListParts API 获取已上传的分片列表返回给前端,前端从下一个未上传的分片继续。
  4. 所有分片上传完毕后,前端调用合并接口,服务端调用 CompleteMultipartUpload 将分片合并为完整文件,再将文件信息写入 MySQL。

13 音视频文件的转码和在线播放是怎么做的?

答:整个流程是异步的,不阻塞用户操作:

1)用户上传视频后,文件管理服务先完成基础入库(SHA-256去重、RustFS存储、MySQL记录),然后向 RabbitMQ 发送一条转码消息(TranscodeMessage,含 fileId + targetFormat),状态标记为 PENDING。

2)TranscodeConsumer 异步消费消息,通过 Java ProcessBuilder 调用 FFmpeg 命令行:

  • 将视频转码为 HLS 自适应码率流,输出 master.m3u8 索引文件 + 多个分辨率的 TS 分片文件。
  • 调用 FFprobe 提取元数据(时长duration、分辨率width*height、码率bitrate、视频编码codec等),解析为结构化JSON存入 MySQL。
  • 用 FFmpeg 截取第 5 秒帧生成 JPEG 高清缩略图,上传到 RustFS。

3)播放时前端请求 /files/stream/{fileId}/master.m3u8 获取自适应索引,浏览器/播放器根据网络状况自动选择合适码率的 TS 分片播放,支持拖动进度条任意跳转。如果转码尚未完成(PENDING/PROCESSING),前端轮询转码状态直到完成。

14 文件存储为什么选择 RustFS 而不是直接用 MinIO 或阿里云 OSS?

答:我们在代码层面做了存储抽象层——定义了 FileStorage 接口(upload / download / getInputStream / delete / exists),通过 FileStorageFactory 根据配置动态选择存储后端。当前项目使用 RustFS 是因为它是团队已有的自建分布式文件系统,S3 兼容协议,API 层完全兼容 AWS S3 SDK,已有的 Multipart Upload、Presigned URL、ListObjects 等高级特性都可以直接使用。

但架构上已经做了充分解耦:如果要切换到 MinIO 或阿里云 OSS,只需要实现一个新的 StorageBean(如 MinioFileStorage implements FileStorage),然后在 application.yml 中将 file.storage.type 改为对应的标识即可,不需要改动任何业务代码。这就是面向接口编程的好处。

最后修改:2026 年 10 月 24 日
如果觉得我的文章对你有用,请随意赞赏