Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв

• Дата: 2020
• Автори: Анісімов, А.В., Завадський, І.О., Чудаков, Т.С.
• Формат: Стаття
• Мова: Ukrainian
• Опубліковано: Міжнародний науково-навчальний центр інформаційних технологій і систем НАН України та МОН України 2020
• Назва видання: Cybernetics and computer engineering
• Теми: Informatics and Information Technologies
• Онлайн доступ: http://dspace.nbuv.gov.ua/handle/123456789/179367
• Назва журналу: Digital Library of Periodicals of National Academy of Sciences of Ukraine
• Цитувати: Застосування мульти-роздiльникових кодiв до архiвування природномовних текстiв / А.В. Анісімов, І.О. Завадський, Т.С. Чудаков // Cybernetics and computer engineering. — 2020. — № 4 (202). — С. 5-24. — Бібліогр.: 17 назв. — укр.

Метою статті є вирішення проблеми немонотонності словника мультироздільникових кодів та дослідження доцільності використання мультироздільникового кодування на стадії попереднього оброблення природномовних текстів у процесі їхнього архівування. Результати. Введено поняття реверсного мультироздільникового коду. Побудовано монотонне кодувальне, а також декодувальне відображення з множини натуральних чисел на множину кодових слів реверсного мультироздільникового коду. Досліджено ефективність застосування реверсних мультироздільникових кодів до стискання природномовних текстів. Запропоновано механізм оптимізації використання словника у процесі архівування природномовних текстів. Проведено експерименти, результати яких свідчать, що попереднє кодування англійських та німецьких текстів реверсними мультироздільниковими кодами та застосування запропонованого методу оптимізації словника дає змогу на 1–3% покращити граничну ефективність стискання, яка досягається найкращими архіваторами в режимі максимального стиснення.