Research

M3 (Multimodal to Multimodal with external Memory)

M3는 외부 메모리를 이용할 수 있고 멀티모달을 입력하여 멀티모달을 출력할 수 있는 AIR 랩의 플랫폼이다.

여기서 각 변수는 다음과 같이 정의된다.

\[x_i, S_j, y_k \in \{\text{multimodal}\}\]

M3를 사용하여 다음과 같은 주제를 연구한다.

  • 생성기 개선 연구: 문장 생성 능력을 개선한다. 또한 원하는 형식의 문장을 생성하기 위한 연구를 진행한다.
  • 검색기 개선 연구: 유사도 기반 검색, 단계별 추론 등의 연구를 진행한다.
  • 입력, 출력, 외부 메모리 표현법 연구: 텍스트와 함께 이미지 등 다른 모달을 함께 사용할 수 있는 방법 연구
  • 학습방법 연구: 증강 언어모델(Augmented Language Model)에 적합한 학습 방법 연구
M3를 기반으로 하는 프로젝트
  • Controllable Text Generation: 
  • KB based Task Oriented Dialogue
  • Combined Resolution of Ellipses and Anaphora in Dialogues
  • Dense Retrieval for QA
  • Visual Language Model

NLTKo(NLTK with Korean language features)

NLTKo는 기존의 NLTK에 한국어 처리를 위한 함수들과 추가적인 기능들을 확장한 도구이다. 확장된 기능은 다음과 같다.

이들은 모두 기존의 NLTK와 동일한 방법으로 사용할 수 있어 편의성을 높였다.