Overview

• Chat model Evaluation을 위한 G-EVAL 평가 방식 구현

Change Log

• G_EVAL, UniEVAL 논문 및 레포지토리를 참고하여 평가 지표 구성
• GPT-4를 통해 평가 지표에 대한 세부 평가 단계 (이하 CoT) 생성
• 실험에 맞춰 한국어 MSC dataset 전처리 (반말 변환, Person1-Person2의 대화를 User-Bot 대화로 변경)
• Persona Extraction model(model=et5, max_token=200, beam_size=2) 사용하여 7-turn 이상 쌓인 유저의 발화를 토대로 유저 페르소나 추출
• 챗봇 페르소나는 한국어 msc dataset 내의 제공된 label 사용
• 사용자 페르소나, 챗봇 페르소나, 직전 5-tur의 대화를 가지고 다음 발화를 생성하는 실험 구성
• 1. 사용자 페르소나를 포함한 프롬프트 2. 사용자 페르소나를 포함하지 않은 프롬프트 두 가지로 나누어 OPEN-SOLAR-KO-10.7B 모델에 삽입 후 다음 턴 응답 생성
• 4가지 평가지표를 통해 생성된 두 가지 응답 평가
• 평가에는 GPT-4(n=10) 를 이용한 가중평균, human evaluation 사용

To Reviewer

Issue Tags

• Closed | Fixed: [FEAT] G-EVAL 평가 추가 #3
• See also: [FEAT] G-EVAL 평가 추가 #3