[BUG] Grammar 모델 negative score

[9ooDa]

Describe the bug

Grammar 모델단에서 Error Tag가 중복으로 나오는 오류 때문에 최종 Grammar score가 negative로 나오는 것을 확인했습니다.
현재는 AI hub 데이터로 돌린 1162 개의 데이터 중 12 개의 데이터에 negative score가 있는 것을 보아 나오는 확률이 높지는 않지만, 서비스를 위해 버그를 잡아야 할 거 같습니다.
메트릭을 변경하거나 Error Tag 후처리로 진행할 예정입니다.
추후 업데이트 사항은 코멘트로 남겨놓겠습니다.

Additional context

related issue: #12

[9ooDa]

확인해보니 모델이 맞는 문장도 틀리게 잡는 거 같네요. 조금 더 뜯어본 다음에 업데이트 남기겠습니다..

{
   "phase_2":{
      "score":-18.18,
      "original_passage":" I like to watch movie like in a week sometimes.",
      "corrected_passage":" do a a sometimes.",
      "tag_grammar_info":[
         {
            "sid":0,
            "sentence":" I like to watch movie like in a week sometimes.",
            "corrected_sentence":" do a a sometimes.",
            "edited":true,
            "ref_word":[
               "to",
               "movie",
               "like",
               "to",
               "a",
               "once",
               "week",
               "like",
               "it",
               "watch",
               "in",
               "I",
               "it"
            ],
            "category":[
               "어휘",
               "어휘",
               "어휘",
               "어휘",
               "어휘",
               "어휘",
               "어휘",
               "어휘",
               "동사 형태",
               "어휘",
               "어휘",
               "어휘",
               "어휘"
            ],
            "tag":[
               "$APPEND_a",
               "$DELETE",
               "$REPLACE_once",
               "$DELETE",
               "$APPEND_it",
               "$DELETE",
               "$DELETE",
               "$DELETE",
               "$TRANSFORM_VERB_VB_VBG",
               "$DELETE",
               "$DELETE",
               "$REPLACE_do",
               "$DELETE"
            ],
            "grammar_description":[
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "PRESENT TO PRESENT PARTICIPLE",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY",
               "WRONG USE OF VOCABULARY"
            ]
         }
      ]
   }
}

[9ooDa]

grammar_api.py에 nltk로 sentence tokenization한 부분 주석처리하고 따로 처리했더니 해결됐습니다!

[C7C4FF]

확인했습니다 ^-^)9 서버도 껐다 켰어요