<aside> 💡 질문과 관련된 문서들을 반환할 때 질의와 관련된 부분을 유지하면서 검색된 문서들을 최대한 요약하여 생성형 검색에 들어가는 prompt를 경량화합니다.

</aside>

📟Demo

ezgif.com-video-to-gif.mkv

👨‍👩‍👧‍👦Member

🚪프로젝트 개요

전체 구조

• Wiki 정보가 주어졌을 때, Question이 들어오면 DensePhrases 모델이 Question과 관련된 source passages(근거 문서들)을 반환
• GLM(Generation Language Model)은 source passages들을 바탕으로 Question에 해당하는 Answer를 반환

목표

• GLM의 prompt로 사용되는 source passage들을 질의와 관련된 부분들은 유지하며 최대한 요약

⚖️평가 지표: mAR

Recall@LM과 collection length(근거 문서의 길이)

• Reader에게 전달되는 **근거 문서(prompt)**의 길이가 증가하면
  • 정답 포함율(Recall@LM) 증가
  • BUT 정답 생성에 필요한 비용 역시 증가

MAR(Mean Average Recall)

• 근거 문서의 길이에 따른 평균 정답 포함율
• 정답 생성에 필요한 비용과 정답 포함율을 모두 고려한 지표