v1.0

NER-анотація українського корпусу

Опис даних

Це перша версія українського NER корпусу. Корпус розмічених даних знаходиться в папці v1.0/data/. Всього в корпусі:

• 262 текстів
• 237_327 токенів
• 7_441 сутностей NER
  • ПЕРС 4_387
  • ЛОК 1_614
  • ОРГ 780
  • РІЗН 660

Первинним джерелом даних є відкритий корпус українських текстів. Для кожного обробленого тексту з корпусу наявні два файли:

• файл з розширенням tok.txt містить токенізовану версію тексту (токенізація зроблена за наступними правилами)
• файл з розширенням tok.ann містить NER-анотації до цього тексту у форматі Brat Standoff Format (кожний рядок файлу містить 3 записи, розділені табуляцією: номер анотації, початковий і кінцевий індекс в тексті — у даному випадку, токенізованому — через пробіл, текст сутності)

Анотація виконана двома анотаторами на кожний текст за наступними правилами, розбіжності в результатах виправлені третім анотатором.

Для тренування і валідації моделей рекомендовано використовувати Стандартне розбиття на DEV і TEST набори.

Репозиторій також містить скрипти для конвертації даних у інші формати.

🔗Тренуваня моделей

Ліцензія

Ці дані доступні для використання згідно умов ліцензії "Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License"

"Корпус NER-анотацій українських текстів" by lang-uk is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at https://github.com/lang-uk/ner-uk.