SOLOIST paper review

논문 링크

introduction

SOLOIST 는 Transfer learning을 사용한 Task-oriented dialog system
SOLOIST 는 Transformer 기반의 Auto-regressive language model -> GPT2 사용
데이터가 적은 Task-oriented dialog system 안에서 해결방법을 제시

Natural Language Understanding (NLU)은 사용자 의도를 식별하고
사용자 입력에서 슬롯 및 해당 값과 같은 관련 정보를 추출한다.
Dialog State Tracking (DST)은 대화 기록에서 Belief State(대화 정보)를 추론한다.
Belief State는 DB State를 얻기 위해 Data Base에 쿼리를 보내는데 사용
그후 Dialog History, Belief State, DB State 정보로 Dialog Policy를 정하고
Natural Language Generation(NLG)은 답변을 생성한다.

Architecture

여기서 DB는 Belief State를 쿼리로 해서 받아옴으로 1로 설정 그래서 날릴수 있다.

task 1,2 -> Auto Regressive model 이니 순차적으로 토큰별레벨에 의해 생성됨

Task3 -> Cross Entropy 사용 시퀀스의 항목이 일치하는지 안하는지 예측

Full Pre-Training Objective ->Log-likelihood를 최대화 하는 방향으로 학습시킴

DATA

Experiments

Conclusion