Data format in dataset_info.json:
"dataset_name": {
"hf_hub_url": "the name of the dataset repository on the HuggingFace hub. (if specified, ignore below 3 arguments)",
"script_url": "the name of the directory containing a dataset loading script. (if specified, ignore below 2 arguments)",
"file_name": "the name of the dataset file in the this directory. (required if above are not specified)",
"file_sha1": "the SHA-1 hash value of the dataset file. (optional)",
"columns": {
"prompt": "the name of the column in the datasets containing the prompts. (default: instruction)",
"query": "the name of the column in the datasets containing the queries. (default: input)",
"response": "the name of the column in the datasets containing the responses. (default: output)",
"history": "the name of the column in the datasets containing the history of chat. (default: None)"
}
}dataset_info.json 中的数据集定义格式：
"数据集名称": {
"hf_hub_url": "HuggingFace上的项目地址（若指定，则忽略下列三个参数）",
"script_url": "包含数据加载脚本的本地文件夹名称（若指定，则忽略下列两个参数）",
"file_name": "该目录下数据集文件的名称（若上述参数未指定，则此项必需）",
"file_sha1": "数据集文件的SHA-1哈希值（可选）",
"columns": {
"prompt": "数据集代表提示词的表头名称（默认：instruction）",
"query": "数据集代表请求的表头名称（默认：input）",
"response": "数据集代表回答的表头名称（默认：output）",
"history": "数据集代表历史对话的表头名称（默认：None）"
}
}部分预置数据集简介：
| 数据集名称 | 规模 | 描述 |
|---|---|---|
| Stanford Alpaca | 52k | 斯坦福大学开源的 Alpaca 数据集，训练了 Alpaca 这类早期基于 LLaMA 的模型 |
| Stanford Alpaca (Chinese) | 51k | 使用 ChatGPT 翻译的 Alpaca 数据集 |
| GPT-4 Generated Data | 100k+ | 基于 GPT-4 的 self-instruction 数据集 |
| BELLE 2M | 2m | 包含约 200 万条由 BELLE 项目生成的中文指令数据 |
| BELLE 1M | 1m | 包含约 100 万条由 BELLE 项目生成的中文指令数据 |
| BELLE 0.5M | 500k | 包含约 50 万条由 BELLE 项目生成的中文指令数据 |
| BELLE Dialogue 0.4M | 400k | 包含约 40 万条由 BELLE 项目生成的个性化角色对话数据，包含角色介绍 |
| BELLE School Math 0.25M | 250k | 包含约 25 万条由 BELLE 项目生成的中文数学题数据，包含解题过程 |
| BELLE Multiturn Chat 0.8M | 800k | 包含约 80 万条由 BELLE 项目生成的用户与助手的多轮对话 |
| Guanaco Dataset | 100k+ | 包含日文、简繁体中文、英文等多类数据，数据集原用于 Guanaco 模型训练 |
| Firefly 1.1M | 1.1M | 中文对话大模型 firefly（流萤）的中文数据集，包含多个 NLP 任务 |
| CodeAlpaca 20k | 20k | 英文代码生成任务数据集 |
| Alpaca CoT | 6M | 用于微调的指令数据集集合 |
| Web QA | 36k | 百度知道汇集的中文问答数据集 |
注：BELLE 数据集是由 ChatGPT 产生的数据集，不保证数据准确性，所有类 GPT 模型产生的 self-instruction 数据集均不能保证其准确性。