Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв
Метою статті є вирішення проблеми немонотонності словника мультироздільникових кодів та дослідження доцільності використання мультироздільникового кодування на стадії попереднього оброблення природномовних текстів у процесі їхнього архівування. Результати. Введено поняття реверсного мультироздільник...
Збережено в:
| Дата: | 2020 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України
2020
|
| Назва видання: | Cybernetics and computer engineering |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/179367 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв / А.В. Анісімов, І.О. Завадський, Т.С. Чудаков // Cybernetics and computer engineering. — 2020. — № 4 (202). — С. 5-24. — Бібліогр.: 17 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-179367 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1793672021-05-02T01:26:03Z Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв Анісімов, А.В. Завадський, І.О. Чудаков, Т.С. Informatics and Information Technologies Метою статті є вирішення проблеми немонотонності словника мультироздільникових кодів та дослідження доцільності використання мультироздільникового кодування на стадії попереднього оброблення природномовних текстів у процесі їхнього архівування. Результати. Введено поняття реверсного мультироздільникового коду. Побудовано монотонне кодувальне, а також декодувальне відображення з множини натуральних чисел на множину кодових слів реверсного мультироздільникового коду. Досліджено ефективність застосування реверсних мультироздільникових кодів до стискання природномовних текстів. Запропоновано механізм оптимізації використання словника у процесі архівування природномовних текстів. Проведено експерименти, результати яких свідчать, що попереднє кодування англійських та німецьких текстів реверсними мультироздільниковими кодами та застосування запропонованого методу оптимізації словника дає змогу на 1–3% покращити граничну ефективність стискання, яка досягається найкращими архіваторами в режимі максимального стиснення. The purpose of the paper is to solve the problem of non-monotonicity of a multidelimiter code dictionary and investigate the possibility of use the multi-delimiter encoding on the preprocessing stage of natural language texts archiving. Results. The concept of the reverse multi-delimiter code is introduced. The monotonic encoding as well as the decoding mapping from the set of natural numbers to the set of reverse multi-delimiter code codewords is built. The efficiency of applying the reverse multidelimiter codes to natural language text compression is investigated together with the method of dictionary optimization. The provided experiments show that the reverse multi-delimiter encoding of English and German texts on the preprocessing stage and applying the proposed dictionary optimization method allows us to improve the marginal compression efficiency of the most powerful archivers in the maximal compression mode by about 1–3%. 2020 Article Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв / А.В. Анісімов, І.О. Завадський, Т.С. Чудаков // Cybernetics and computer engineering. — 2020. — № 4 (202). — С. 5-24. — Бібліогр.: 17 назв. — укр. 2663-2578 DOI: https://doi.org/10.15407/kvt202.04.005 http://dspace.nbuv.gov.ua/handle/123456789/179367 519.72 uk Cybernetics and computer engineering Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Informatics and Information Technologies Informatics and Information Technologies |
| spellingShingle |
Informatics and Information Technologies Informatics and Information Technologies Анісімов, А.В. Завадський, І.О. Чудаков, Т.С. Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв Cybernetics and computer engineering |
| description |
Метою статті є вирішення проблеми немонотонності словника мультироздільникових кодів та дослідження доцільності використання мультироздільникового кодування на стадії попереднього оброблення природномовних текстів у процесі їхнього архівування. Результати. Введено поняття реверсного мультироздільникового коду. Побудовано монотонне кодувальне, а також декодувальне відображення з множини натуральних чисел на множину кодових слів реверсного мультироздільникового коду. Досліджено ефективність застосування реверсних мультироздільникових кодів до стискання природномовних текстів. Запропоновано механізм оптимізації використання словника у процесі архівування природномовних текстів. Проведено експерименти, результати яких свідчать, що попереднє кодування англійських та німецьких текстів реверсними мультироздільниковими кодами та застосування запропонованого методу оптимізації словника дає змогу на 1–3% покращити граничну ефективність стискання, яка досягається найкращими архіваторами в режимі максимального стиснення. |
| format |
Article |
| author |
Анісімов, А.В. Завадський, І.О. Чудаков, Т.С. |
| author_facet |
Анісімов, А.В. Завадський, І.О. Чудаков, Т.С. |
| author_sort |
Анісімов, А.В. |
| title |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| title_short |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| title_full |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| title_fullStr |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| title_full_unstemmed |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| title_sort |
застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв |
| publisher |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України |
| publishDate |
2020 |
| topic_facet |
Informatics and Information Technologies |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/179367 |
| citation_txt |
Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв / А.В. Анісімов, І.О. Завадський, Т.С. Чудаков // Cybernetics and computer engineering. — 2020. — № 4 (202). — С. 5-24. — Бібліогр.: 17 назв. — укр. |
| series |
Cybernetics and computer engineering |
| work_keys_str_mv |
AT anísímovav zastosuvannâmulʹtirozdilʹnikovihkodivdoarhivuvannâprirodnomovnihtekstiv AT zavadsʹkijío zastosuvannâmulʹtirozdilʹnikovihkodivdoarhivuvannâprirodnomovnihtekstiv AT čudakovts zastosuvannâmulʹtirozdilʹnikovihkodivdoarhivuvannâprirodnomovnihtekstiv |
| first_indexed |
2023-10-18T22:48:09Z |
| last_indexed |
2023-10-18T22:48:09Z |
| _version_ |
1796156472984338432 |