의미역 결정
‘의미역 결정 리더보드’는 의미역 결정(Semantic Role Labeling)을 위한 데이터 셋을 제공합니다. 의미역 결정은 문장내에 포함된 서술어와 해당 서술어의 수식을 받는 논항간의 의미관계를 인식하고, 그 역할을 분류하는 것을 말합니다. 논항은 문장의 구조가 바뀌어도 의미 논항(행위주, 피동작주)은 유지되기 때문에 올바른 의미역 결정을 한다는 것은 문장의 의미를 이해하고, 나아가 문서 또는 대화의 의미를 이해하기 위한 처리에서 주요한 역할을 합니다.
Data.ly에서는 의미역 결정 코퍼스를 제공하여 연구에 도움을 드리고자 하며, 공개적인 리더보드를 통해 많은 분들의 연구 동향을 논의/공유하고자 합니다.
제공되는 코퍼스는 Data.ly에서 제작한 것으로, 연구 및 리더보드를 위한 학습으로 사용 가능하며 상업적인 목적으로 사용될 수 없음을 알려드립니다. 추가문의가 필요한 경우 메일을 남겨주세요.
Corpus
의미역 결정 리더보드에서 제공되는 코퍼스는 문장에 나타난 논항을 다음과 같이 분류합니다.
| 의미 | 비고 | |
|---|---|---|
| ARG0 | 행위주 | 용언을 행하는 것, 느끼는 대상, 경험하는 대상… |
| ARG1 | 피동작주 | 용언을 함께하는 대상 |
| ARG2 | 출발점 | 용언의 시작점 |
| ARG3 | 도착점 | 용언이 행해진 결과 및 도착점 |
| ARGM-CAU | 원인 | 용언이 일어난 원인 |
| ARGM-CND | 상태 | 용언이 일어나는 상태 |
| ARGM-DIR | 방향 | 용언이 행해지는 방향 |
| ARGM-DIS | 내용 | 어떠한 것을 설명할 때 |
| ARGM-INS | 도구 | 용언을 행할 때 사용된 도구 |
| ARGM-LOC | 장소 | 용언이 행해지는 장소 |
| ARGM-MNR | 태도 | 용언을 행하는 태도 |
| ARGM-NEG | 부정의미 | 용언에 대한 부정적 부사 |
| ARGM-PRD | 단어 | 용언을 수식하는 단어나 구 |
| ARGM-PRP | 목적 | 용언을 행하는 목표 |
| ARGM-TMP | 시제 | 용언이 행해지는 시제 |
|
ARGM-ADV |
영향주 | 용언이 행해지는데 영향을 주는 것 |
| ARGM-EXT | 기준치 | 용언이 행해지는 것에 대한 기준 |
이 리더보드에서 제공하는 코퍼스는 네이버와 함께 진행중인 경진대회를 통해 제공합니다. 관련 내용은 경진대회 페이지를 참고하세요.
의미역 결정 코퍼스별자가 탭 형식인 CoNLL 구조로 제공됩니다.
아래 “그는 경찰에게 신분증을 보였다.”라는 예제와 같이 각 행에는 어절로 구분하여 의미역 정보를 담고 있습니다. 의미역 정보는 탭(\t)을 기준으로 첫번째 열은 어절번호, 두번째 열은 어절, 세번째 열은 의미역 레이블입니다. 의미역 레이블이 없는 경우 ‘-‘로 표현합니다.
0 그는 ARG0 1 경찰에게 ARG3 2 신분증을 ARG1 3 보였다. -
Evalution
평가 방법은 F1-measure를 사용합니다. 어절의 논항이 일치하는지의 여부이며 각 어절에는 논항이 멀티로 정의되지 않습니다.
Leaderboard [CLOSED]
| Rank | Date | Model | F1 |
| 1 | 2018-12-14 22:01:42 | 모델번호: 4 팀명: Sogang_Alzzam |
77.6628 |
| 2 | 2018-12-14 17:44:24 | 모델번호: 0 팀명: KANE_team |
76.3328 |
| 3 | 2018-12-10 19:53:58 | 모델번호: 17 팀명: cheap_learning |
76.2543 |
| 4 | 2018-12-08 22:06:30 | 모델번호: model_weights/ 팀명: OnlyOne |
75.4308 |
| 5 | 2018-12-14 17:43:00 | 모델번호: 5 팀명: nlp_pln |
74.8749 |
| 6 | 2018-12-14 09:17:23 | 모델번호: 13 팀명: kozistr_team |
74.7695 |
| 7 | 2018-12-14 18:15:26 | 모델번호: 40 팀명: fortunity |
74.4579 |
| 8 | 2018-12-14 10:42:41 | 모델번호: 16 팀명: DATABF |
74.4404 |
| baseline | 2018-11-22 20:38:14 | 모델번호: 16 팀명: nsmlteam |
73.0739 |
| 9 | 2018-12-04 20:17:38 | 모델번호: 9 팀명: Jayten |
73.0231 |
| 10 | 2018-12-10 01:16:31 | 모델번호: 10 팀명: zerocoke |
72.9294 |
| 11 | 2018-11-26 18:02:10 | 모델번호: 15 팀명: FLY_team |
72.8721 |
| 12 | 2018-12-14 18:39:58 | 모델번호: 8 팀명: LuDeKris |
72.6996 |
| 13 | 2018-12-09 16:03:03 | 모델번호: 7 팀명: iconic |
72.6964 |
| 14 | 2018-12-06 15:07:34 | 모델번호: 1 팀명: Team_Name_Wanna_One |
72.6756 |
| 15 | 2018-12-04 16:45:58 | 모델번호: 4 팀명: NN_SRL |
72.6255 |
| 16 | 2018-11-27 18:00:24 | 모델번호: 4 팀명: GimmeFive |
72.5544 |
| 17 | 2018-12-10 23:40:18 | 모델번호: 3 팀명: State_Of_The_Art |
72.5433 |
| 18 | 2018-11-27 15:41:44 | 모델번호: 4 팀명: DataScienceLab |
72.2479 |
| 19 | 2018-11-28 14:22:16 | 모델번호: 4 팀명: goodfellows |
71.5966 |
| 20 | 2018-12-06 14:05:36 | 모델번호: 20 팀명: maxmin |
66.37 |