разница в форматах данных

[kmike]

1. Похоже, данные из OpenCorpora имеют не такой формат, как другие - в 5й колонке всегда "-", а тег - в шестой. Во всех других файлах тег - в пятой колонке.

2. В данных из НКРЯ есть строки "==newfile==" и т.д., которые нужно пропускать, и которых нет в других файлах.

Ничего критичного, но было бы удобнее, если бы формат был одинаковый.

[kmike]

В https://github.com/kmike/dialog2017 есть скрипты, которые все данные к одному формату приводят (в json), + скрипт, который из json обратно conll делает, но уже одинаковый.