개체명 인식
‘개체명 인식 리더보드’는 개체명 추출을 위한 데이터 셋을 제공합니다. 개체명(Named Entity)은 인명, 기관명, 지명 등과 같이 문장 또는 문서에서 특정한 의미를 가지고 있는 단어 또는 어구를 말합니다. 이 때문에 개체명은 정보 검색 및 언어 이해를 위한 분석에서 주요한 대상으로 다루어지고 있습니다.
Data.ly에서는 개체명 코퍼스를 제공하여 연구에 도움을 드리고자 하며, 공개적인 리더보드를 통해 많은 분들의 연구 동향을 논의/공유하고자 합니다.
제공되는 코퍼스는 Data.ly에서 제작한 것으로, 연구 및 리더보드를 위한 학습으로 사용 가능하며 상업적인 목적으로 사용될 수 없음을 알려드립니다. 추가문의가 필요한 경우 메일을 남겨주세요.
Corpus
개체명 추출 리더보드에서 제공되는 코퍼스는 문장에 나타난 개체명을 14개 분류 카테고리로 주석 작업이 되어있습니다.
| 개체명 범주 | 태그 | 정의 | |
|---|---|---|---|
| 1 | PERSON | PER | 실존, 가상 등 인물명에 해당 하는 것 |
| 2 | FIELD | FLD | 학문 분야 및 이론, 법칙, 기술 등 |
| 3 | ARTIFACTS_WORKS | AFW | 인공물로 사람에 의해 창조된 대상물 |
| 4 | ORGANIZATION | ORG | 기관 및 단체와 회의/회담을 모두 포함 |
| 5 | LOCATION | LOC | 지역명칭과 행정구역 명칭 등 |
| 6 | CIVILIZATION | CVL | 문명 및 문화에 관련된 용어 |
| 7 | DATE | DAT | 날짜 |
| 8 | TIME | TIM | 시간 |
| 9 | NUMBER | NUM | 숫자 |
| 10 | EVENT | EVT | 특정 사건 및 사고 명칭과 행사 등 |
| 11 | ANIMAL | ANM | 동물 |
| 12 | PLANT | PLT | 식물 |
| 13 | MATERIAL | MAT | 금속, 암석, 화학물질 등 |
| 14 | TERM | TRM | 의학 용어, IT곤련 용어 등 일반 용어를 총칭 |
이 리더보드에서 제공하는 코퍼스는 네이버와 함께 진행중인 경진대회를 통해 제공합니다. 관련 내용은 경진대회 페이지를 참고하세요.
개체명 코퍼스는 구별자가 탭 형식인 CoNLL 구조로 제공됩니다.
아래 “나는 창원대학교에서 열린 대동제를 구경하러 갔다.”라는 예제와 같이 각 행에는 어절로 구분하여 개체명 정보를 담고 있습니다. 개체명 정보는 탭(\t)을 기준으로 첫번째 열은 어절번호, 두번째 열은 어절, 세번째 열은 개체명 레이블입니다. 개체명 레이블은 표에 정의된 것과 같이 14개로 부여됩니다. 단, 여러 어절에 걸쳐 표현된 개체명을 위해 14개의 카테고리 뒤 B/I/-의 추가 정보를 부착하여 표현합니다. 개체명 레이블 정의 및 정책은 다음과 같습니다.
- B는 개체명의 시작 어절, I는 앞의 어절과 연속된 같은 개체명을 의미하고, ‘-‘는 개체명이 부여되지 않는 어절이다.
- B와 I는 14개 분류 카테고리와 조합하여 표현한다. 예) LOC_B, PER_B, LOC_I, PER_I
- 개체명이 시작하는 어절의 레이블은 B와 카테고리의 조합으로 시작한다.
- 어절에 두가지 이상의 개체명이 포함된 경우, 먼저 표현된 개체명만 레이블로 표현한다. 예) “창원대학교(컴퓨터공학과)에서”의 어절은 “창원대학교/LOC_B”와 “컴퓨터공학과/ORG_B” 두개 카테고리를 담고있다. 이런 경우 개체명 레이블은 어절에서 먼저 표현된 “창원대학교”를 기준으로 LOC_B가 된다.
0 나는 - 1 창원대학교에서 LOC_B 2 열린 - 3 대동제를 EVT_B 4 구경하러 - 5 갔다. -
Evalution
평가 방법은 F1-measure를 사용합니다. 여러 어절로 표현된 개체명은 B의 개체명 레이블링 뿐 아니라, 나머지 I 레이블링까지 범위를 체크하여 평가합니다. 예를 들어 개체명 시작어절의 B와 개체명 카테고리는 일치하였지만, 정답은 다음 어절이 I이고 시스템 결과는 ‘-‘인경우 오류로 간주합니다.
Leaderboard [CLOSED]
| Rank | Date | Model | F1 |
| 1 | 2018-12-14 07:45:43 | 모델번호: 14 팀명: State_Of_The_Art |
90.4219 |
| 2 | 2018-12-14 00:29:34 | 모델번호: 22 팀명: cheap_learning |
90.2417 |
| 3 | 2018-12-14 22:46:11 | 모델번호: 1 팀명: nlp_pln |
89.783 |
| 4 | 2018-12-14 15:18:28 | 모델번호: 3 팀명: Sogang_Alzzam |
88.8506 |
| 5 | 2018-12-14 23:51:09 | 모델번호: 0 팀명: ner_master |
88.5818 |
| 6 | 2018-12-13 19:28:32 | 모델번호: 370 팀명: bible |
88.3348 |
| 7 | 2018-12-14 18:12:42 | 모델번호: 22 팀명: adullam |
88.1113 |
| baseline | 2018-11-19 21:05:54 | 모델번호: 1 팀명: nsmlteam |
88.0977 |
| 8 | 2018-12-14 18:46:35 | 모델번호: 0 팀명: nlp___newbie |
87.8633 |
| 9 | 2018-12-06 01:35:06 | 모델번호: 0 팀명: zerocoke |
87.4329 |
| 10 | 2018-12-03 11:33:28 | 모델번호: 0 팀명: Jayten |
87.2177 |
| 11 | 2018-12-14 19:49:41 | 모델번호: 1800 팀명: TEAM904 |
87.0847 |
| 12 | 2018-12-14 23:00:19 | 모델번호: 0 팀명: hardfork |
87.0436 |
| 13 | 2018-12-13 03:42:34 | 모델번호: 2 팀명: iconic |
86.9387 |
| 14 | 2018-12-08 13:04:29 | 모델번호: 11 팀명: eqoo_team |
86.7411 |
| 15 | 2018-12-13 14:32:48 | 모델번호: 14 팀명: mlgalaxy |
86.1864 |
| 16 | 2018-12-13 20:13:34 | 모델번호: 1 팀명: Ger_team |
85.8991 |
| 17 | 2018-12-14 11:26:23 | 모델번호: 2 팀명: TMIM_team |
83.9119 |
| 18 | 2018-12-10 00:29:47 | 모델번호: 187 팀명: Timmy |
83.06 |
| 19 | 2018-12-14 18:54:38 | 모델번호: model_weights/ 팀명: OnlyOne |
82.9129 |
| 20 | 2018-12-12 13:57:36 | 모델번호: 3 팀명: amuse |
82.0366 |
| 21 | 2018-12-03 22:04:22 | 모델번호: 113 팀명: kozistr_team |
78.8023 |
| 22 | 2018-12-02 01:20:50 | 모델번호: 9 팀명: best_NLPing |
77.8714 |
| 23 | 2018-12-07 21:03:04 | 모델번호: 26 팀명: maxmin |
74.6183 |
| 24 | 2018-12-09 19:05:31 | 모델번호: 116 팀명: fortunity |
74.3649 |
| 25 | 2018-12-02 08:35:01 | 모델번호: 999 팀명: NerGenius |
72.2004 |
| 26 | 2018-12-06 13:36:18 | 모델번호: 5 팀명: gyuwonable |
68.768 |
| 27 | 2018-12-13 13:41:50 | 모델번호: 5 팀명: Team_Name_Wanna_One |
67.238 |
| 28 | 2018-12-01 18:04:00 | 모델번호: 61 팀명: Max_30 |
65.9822 |
| 29 | 2018-11-27 14:17:25 | 모델번호: 45 팀명: DataScienceLab |
65.3744 |
| 30 | 2018-11-22 20:36:32 | 모델번호: 48 팀명: FLY_team |
65.1605 |
| 31 | 2018-12-12 08:26:55 | 모델번호: 16 팀명: DATABF |
65.1595 |
| 32 | 2018-12-14 13:06:32 | 모델번호: 27 팀명: LuDeKris |
65.0915 |
| 33 | 2018-11-26 00:00:33 | 모델번호: 48 팀명: NLinees |
64.3896 |
| 34 | 2018-11-27 11:40:55 | 모델번호: 19 팀명: ner12345 |
64.1991 |
| 35 | 2018-12-10 13:24:56 | 모델번호: 19 팀명: CW_Kang |
64.1911 |
| 36 | 2018-11-27 17:51:37 | 모델번호: 19 팀명: GimmeFive |
63.5787 |
| 37 | 2018-11-21 17:34:21 | 모델번호: 19 팀명: redcrow |
63.575 |
| 38 | 2018-11-29 00:10:43 | 모델번호: 18 팀명: RARE_CANDY |
62.873 |
| 39 | 2018-12-04 21:24:24 | 모델번호: 19 팀명: Scamper |
61.0323 |
| 40 | 2018-12-06 17:15:26 | 모델번호: 19 팀명: Habit |
60.9831 |