Method of the coherence evaluation of Ukrainian text.

Due to the growing role of the SEO technologies, it is necessary to perform an automated analysis of the article’s quality. Such an approach helps both to return the most intelligible pages for the user’s query and to raise the web-sites positions to the top of query results. An automated assessment...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2019
Автори: Pogorilyy, S. D., Kramov, A. A.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут проблем реєстрації інформації НАН України 2019
Теми:
Онлайн доступ:http://drsp.ipri.kiev.ua/article/view/178945
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Data Recording, Storage & Processing

Репозитарії

Data Recording, Storage & Processing
id drspiprikievua-article-178945
record_format ojs
spelling drspiprikievua-article-1789452019-12-10T11:54:19Z Method of the coherence evaluation of Ukrainian text. Метод розрахунку когерентності українського тексту Pogorilyy, S. D. Kramov, A. A. обробка природної мови когерентність тексту граф семантичної схожості нейронна мережа модель Doc2Vec семантична міра схожості речень natural language processing text coherence semantic similarity graph neural network Doc2Vec model semantic similarity value of sentences Due to the growing role of the SEO technologies, it is necessary to perform an automated analysis of the article’s quality. Such an approach helps both to return the most intelligible pages for the user’s query and to raise the web-sites positions to the top of query results. An automated assessment of a cohe-rence is a part of the complex analysis of the text. In this article, main methods for text coherence measurements for Ukrainian languageare analyzed. Expediency of using the semantic similarity graph method in comparison with other methods is explained. It is suggested the improvement of that method by the pre-training of the neural network for vector representations of sentences. Experimental examination of the original method and its modifications is made. Training and examination procedures are made on the corpus of Ukrainian texts, which were previously retrieved from abstracts and full texts of Ukrainian scientific articles. The testing procedure is implemented by performing of two typical tasks for the text coherence assessment: document discrimination task and insertion task. Accordingly to the analysis it is defined the most effective combination of method’s modification and its parameter for the measurement of the text coherence. Проаналізовано основні методи автоматизованої оцінки когерент-ності тексту, який написано природною мовою. Запропоновано вдосконалення методу графа семантичної схожості за допомогою поперед-ньої підготовки моделі, а саме здійснення навчання нейронної мережі векторного представлення речень. Проведено експериментальну перевірку роботи методу графа семантичної схожості та його модифікованих версій на множині україномовних статей наукових журналів різ-ної тематики. Ефективність роботи методу та його модифікацій розраховано за допомогою вирішення типових задач оцінки когерентності тексту: задач розрізнення документів і вставки. На основі отриманих результатів визначено найбільш ефективні модифікацію та параметри методу графа семантичної схожості для оцінки когерентності україномовних текстів. Інститут проблем реєстрації інформації НАН України 2019-11-04 Article Article application/pdf http://drsp.ipri.kiev.ua/article/view/178945 10.35681/1560-9189.2018.20.4.178945 Data Recording, Storage & Processing; Vol. 20 No. 4 (2018); 64-75 Регистрация, хранение и обработка данных; Том 20 № 4 (2018); 64-75 Реєстрація, зберігання і обробка даних; Том 20 № 4 (2018); 64-75 1560-9189 uk http://drsp.ipri.kiev.ua/article/view/178945/182517 Авторське право (c) 2021 Реєстрація, зберігання і обробка даних
institution Data Recording, Storage & Processing
collection OJS
language Ukrainian
topic обробка природної мови
когерентність тексту
граф семантичної схожості
нейронна мережа
модель Doc2Vec
семантична міра схожості речень
natural language processing
text coherence
semantic similarity graph
neural network
Doc2Vec model
semantic similarity value of sentences
spellingShingle обробка природної мови
когерентність тексту
граф семантичної схожості
нейронна мережа
модель Doc2Vec
семантична міра схожості речень
natural language processing
text coherence
semantic similarity graph
neural network
Doc2Vec model
semantic similarity value of sentences
Pogorilyy, S. D.
Kramov, A. A.
Method of the coherence evaluation of Ukrainian text.
topic_facet обробка природної мови
когерентність тексту
граф семантичної схожості
нейронна мережа
модель Doc2Vec
семантична міра схожості речень
natural language processing
text coherence
semantic similarity graph
neural network
Doc2Vec model
semantic similarity value of sentences
format Article
author Pogorilyy, S. D.
Kramov, A. A.
author_facet Pogorilyy, S. D.
Kramov, A. A.
author_sort Pogorilyy, S. D.
title Method of the coherence evaluation of Ukrainian text.
title_short Method of the coherence evaluation of Ukrainian text.
title_full Method of the coherence evaluation of Ukrainian text.
title_fullStr Method of the coherence evaluation of Ukrainian text.
title_full_unstemmed Method of the coherence evaluation of Ukrainian text.
title_sort method of the coherence evaluation of ukrainian text.
title_alt Метод розрахунку когерентності українського тексту
description Due to the growing role of the SEO technologies, it is necessary to perform an automated analysis of the article’s quality. Such an approach helps both to return the most intelligible pages for the user’s query and to raise the web-sites positions to the top of query results. An automated assessment of a cohe-rence is a part of the complex analysis of the text. In this article, main methods for text coherence measurements for Ukrainian languageare analyzed. Expediency of using the semantic similarity graph method in comparison with other methods is explained. It is suggested the improvement of that method by the pre-training of the neural network for vector representations of sentences. Experimental examination of the original method and its modifications is made. Training and examination procedures are made on the corpus of Ukrainian texts, which were previously retrieved from abstracts and full texts of Ukrainian scientific articles. The testing procedure is implemented by performing of two typical tasks for the text coherence assessment: document discrimination task and insertion task. Accordingly to the analysis it is defined the most effective combination of method’s modification and its parameter for the measurement of the text coherence.
publisher Інститут проблем реєстрації інформації НАН України
publishDate 2019
url http://drsp.ipri.kiev.ua/article/view/178945
work_keys_str_mv AT pogorilyysd methodofthecoherenceevaluationofukrainiantext
AT kramovaa methodofthecoherenceevaluationofukrainiantext
AT pogorilyysd metodrozrahunkukogerentnostíukraínsʹkogotekstu
AT kramovaa metodrozrahunkukogerentnostíukraínsʹkogotekstu
first_indexed 2024-04-21T19:34:01Z
last_indexed 2024-04-21T19:34:01Z
_version_ 1796974095344074752