Describing Videos by Exploiting Temporal Structure是由蒙特利尔大学Li Yao等人提出的用于对视频片段生成文字描述的经典模型，这里简称为ETS。此模型基于编码器-解码器的思想，对输入的视频，先使用3D卷积提取视频的局部时空特征，然后在时序维度上引入注意力机制，利用LSTM在全局尺度上对局部特征进行融合，最后输出文字描述。
详细内容请参考Describing Videos by Exploiting Temporal Structure。
ETS的训练数据采用ActivityNet Captions提供的数据集，数据下载及准备请参考数据说明
数据准备完毕后，可以通过如下两种方式启动训练：
export CUDA_VISIBLE_DEVICES=0,1,2,3
export FLAGS_fast_eager_deletion_mode=1
export FLAGS_eager_delete_tensor_gb=0.0
export FLAGS_fraction_of_gpu_memory_to_use=0.98
python train.py --model_name=ETS \
--config=./configs/ets.yaml \
--log_interval=10 \
--valid_interval=1 \
--use_gpu=True \
--save_dir=./data/checkpoints \
--fix_random_seed=False
bash run.sh train ETS ./configs/ets.yaml
-
从头开始训练，使用上述启动命令行或者脚本程序即可启动训练，不需要用到预训练模型
-
可下载已发布模型model通过
--resume指定权重存放路径进行finetune等开发
训练策略：
- 采用Adam优化算法训练
- 权重衰减系数为1e-4
- 学习率调整使用Noam衰减方法
可通过如下两种方式进行模型评估:
python eval.py --model_name=ETS \
--config=./configs/ets.yaml \
--log_interval=1 \
--weights=$PATH_TO_WEIGHTS \
--use_gpu=True
bash run.sh eval ETS ./configs/ets.yaml
-
使用
run.sh进行评估时，需要修改脚本中的weights参数指定需要评估的权重。 -
若未指定
--weights参数，脚本会下载已发布模型model进行评估 -
运行上述程序会将测试结果保存在json文件中，默认存储在data/evaluate_results目录下。使用ActivityNet Captions官方提供的测试脚本，即可计算METEOR。具体计算过程请参考指标计算
-
使用CPU进行评估时，请将上面的命令行或者run.sh脚本中的
use_gpu设置为False
在ActivityNet Captions数据集下评估精度如下:
| METEOR |
|---|
| 9.8 |
可通过如下两种方式启动模型推断：
python predict.py --model_name=ETS \
--config=./configs/ets.yaml \
--log_interval=1 \
--weights=$PATH_TO_WEIGHTS \
--filelist=$FILELIST \
--use_gpu=True
bash run.sh predict ETS ./configs/ets.yaml
-
使用python命令行启动程序时，
--filelist参数指定待推断的文件列表。用户也可参考数据说明步骤三生成默认的推断文件列表。--weights参数为训练好的权重参数，如果不设置，程序会自动下载已训练好的权重。 -
使用
run.sh进行评估时，需要修改脚本中的weights参数指定需要用到的权重。 -
若未指定
--weights参数，脚本会下载已发布模型model进行推断 -
模型推断结果存储于json文件中，默认存储在
data/dataset/predict_results目录下 -
使用CPU进行推断时，请将命令行或者run.sh脚本中的
use_gpu设置为False
- Describing Videos by Exploiting Temporal Structure, Li Yao, Atousa Torabi, Kyunghyun Cho, Nicolas Ballas, Christopher Pal, Hugo Larochelle, Aaron Courville.