Skip to content

Latest commit

 

History

History
39 lines (20 loc) · 1.54 KB

README.md

File metadata and controls

39 lines (20 loc) · 1.54 KB

劳动法知识库检索助手

OpenXLab 体验地址:

劳动法知识库检索助手 模型下载地址:

  • OpenXLab:

此仓库主要将 劳动法知识库助手项目 部署到 OpenXLab 上。

介绍

劳动法知识库助手是利用自然语言处理技术,对劳动法相关的法律文本进行分析,提取关键信息,构建知识库,实现劳动法相关问题的检索。它基于InternLM2进行 QLoRA 微调,同时结合 RAG 技术实现知识库的构建。

数据集

劳动法知识库助手 数据集采用路径data/下的劳动法相关政策文件和案例文件作为数据集,使用create_db.py使用 Chroma 创建向量数据库,使用gen_dataset.py生成微调数据集。

微调

使用 Xtuner 进行微调,具体配置脚本可参考internlm2_chat_7b_qlora_oasst1_e3_copy.py,该文件在train文件夹中,脚本内有详细的参数解释。

RAG

使用 RAG 技术构建知识库,通过LLM.py读取向量数据库,并接入 InternLM2 模型到 LangChain 中,构建检索问答链,实现劳动法知识库的检索。

Demo 展示

劳动法知识库助手的 Demo 展示可参考app.py文件,通过 Gradio 搭建 Web 服务,实现劳动法知识库的检索功能。

效果展示

实际的问答效果展示如下:

Alt text

Alt text

Alt text