Skip to content

Latest commit

 

History

History
120 lines (95 loc) · 5.62 KB

README.md

File metadata and controls

120 lines (95 loc) · 5.62 KB
Raw

数据蒸馏

  • 在ERNIE强大的语义理解能力背后，是需要同样强大的算力才能支撑起如此大规模模型的训练和预测。很多工业应用场景对性能要求较高，若不能有效压缩则无法实际应用。

  • 因此，我们基于数据蒸馏技术构建了数据蒸馏系统。其原理是通过数据作为桥梁，将ERNIE模型的知识迁移至小模型，以达到损失很小的效果却能达到上千倍的预测速度提升的效果。

代码结构

  • 数据蒸馏任务位于 applications/tasks/data_distillation
data_distillation/
├── data
│   ├── dev_data
│   ├── dict
│   ├── download_data.sh
│   ├── predict_data
│   ├── test_data
│   └── train_data
├── distill
│   └── chnsenticorp
│       ├── student
│       └── teacher
├── examples
│   ├── cls_bow_ch.json
│   ├── cls_cnn_ch.json
│   ├── cls_ernie_fc_ch_infer.json
│   └── cls_ernie_fc_ch.json
├── inference
│   ├── custom_inference.py
│   ├── __init__.py

├── model
│   ├── base_cls.py
│   ├── bow_classification.py
│   ├── cnn_classification.py
│   ├── ernie_classification.py
│   ├── __init__.py

├── run_distill.sh
├── run_infer.py
├── run_trainer.py
└── trainer
    ├── custom_dynamic_trainer.py
    ├── __init__.py

数据准备

  • 目前采用三种数据增强策略策略，对于不用的任务可以特定的比例混合。三种数据增强策略包括：
    • 添加噪声：对原始样本中的词，以一定的概率（如0.1）替换为”UNK”标签
    • 同词性词替换：对原始样本中的所有词，以一定的概率（如0.1）替换为本数据集中随机一个同词性的词
    • N-sampling：从原始样本中，随机选取位置截取长度为m的片段作为新的样本，其中片段的长度m为0到原始样本长度之间的随机值
  • 数据增强策略可参考https://arxiv.org/pdf/1903.12136.pdf ,我们已准备好了采用上述3种增强策略制作的ChnSentiCorp增强数据。

开始离线蒸馏（demo演示）

  • 使用预置的ERNIE 3.0 base模型
cd applications/models_hub
bash download_ernie_3.0_base_ch.sh
  • 下载预置的原始数据以及增强数据。
cd applications/tasks/data_distillation/distill
bash download_data.sh
  • 运行以下命令，开始数据蒸馏
cd applications/tasks/data_distillation 
bash run_distill.sh

蒸馏过程说明（run_distill.sh脚本运行过程说明）

  • 事先构造好的增强数据放在./distill/chnsenticorp/student/unsup_train_aug文件夹下

  • run_distill.sh脚本涉及教师和学生模型的json文件，其中：

    • ./examples/cls_ernie_fc_ch.json负责教师模型的finetune；
    • ./examples/cls_ernie_fc_ch_infer.json 负责教师模型的预测；
    • ./examples/cls_cnn_ch.json，负责学生模型的训练。

  • run_distill.sh脚本会进行下面三步操作：

    • 在任务数据上Fine-tune：
      • 使用 python run_trainer.py --param_path ./examples/cls_ernie_fc_ch.json 训练teacher模型
    • 加载Fine-tune好的模型对增强数据进行打分：
      • 通过 python run_infer.py --param_path ./examples/cls_ernie_fc_ch_infer.json 脚本使用teacher模型对无监督数据进行进行预测，并将打分输出到标准输出。最终的标注结果放在 ./distill/chnsenticorp/student/train/part.1文件中。标注结果包含两列, 第一列为明文，第二列为标注label。用这种方式对数据增强后的无监督训练预料进行标注。
    • 使用Student模型进行训练，脚本采用hard-label蒸馏：
      • 使用 python run_trainer.py --param_path ./examples/cls_cnn_ch.json 训练student模型，其训练数据放在 distill/chnsenticorp/student/train/ 中，part.0 为原监督数据，part.1 为 ERNIE 标注数据。

  • 注：

    • 如果用户已经拥有了无监督数据，则可以将无监督数据放入 distill/chnsenticorp/student/unsup_train_aug 即可。
    • 需注意的是：因学生模型训练数据分别为原监督数据part.0和ERNIE标注数据part.1，通常情况下，两份数据文件大小不均衡。

效果验证

我们将实际应用场景分类为两种：用户提供“无标注数据”和用户未提供“无标注数据”（通过数据增强生成数据）。

Case#1 用户提供“无标注数据”

模型 评论低质识别【分类｜ACC】 中文情感【分类｜ACC】 问题识别【分类｜ACC】 搜索问答匹配【匹配｜正逆序】
ERNIE-Finetune 90.6% 96.2% 97.5% 4.25
非ERNIE基线（BOW） 80.8% 94.7% 93.0% 1.83
+ 数据蒸馏 87.2% 95.8% 96.3% 3.30

Case#2 用户未提供“无标注数据”（通过数据增强生成数据）

模型 ChnSentiCorp
ERNIE-Finetune 95.4%
非ERNIE基线(BOW) 90.1%
+ 数据蒸馏 91.4%
非ERNIE基线（CNN） 91.6%
+ 数据蒸馏 92.4%
非ERNIE基线（LSTM） 91.2%
+ 数据蒸馏 93.9%