Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения
В останнє десятиліття моделі на нейронних мережах глибокого навчання ефективно використовуються для вирішення багатьох актуальних завдань, що вимагають обробки великих масивів даних. До них відноситься важливе завдання експертизи матеріалів та апаратури цифрового звукозапису — автоматичного виявленн...
Збережено в:
| Опубліковано в: : | Проблемы управления и информатики |
|---|---|
| Дата: | 2020 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2020
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/208671 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения / В.И. Соловьев, О.В. Рыбальский, В.В. Журавель // Проблемы управления и информатики. — 2020. — № 1. — С. 127-133. — Бібліогр.: 9 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859903200275988480 |
|---|---|
| author | Соловьев, В.И. Рыбальский, О.В. Журавель, В.В. |
| author_facet | Соловьев, В.И. Рыбальский, О.В. Журавель, В.В. |
| citation_txt | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения / В.И. Соловьев, О.В. Рыбальский, В.В. Журавель // Проблемы управления и информатики. — 2020. — № 1. — С. 127-133. — Бібліогр.: 9 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | В останнє десятиліття моделі на нейронних мережах глибокого навчання ефективно використовуються для вирішення багатьох актуальних завдань, що вимагають обробки великих масивів даних. До них відноситься важливе завдання експертизи матеріалів та апаратури цифрового звукозапису — автоматичного виявлення слідів цифрової обробки (слідів цифрового монтажу) фонограм. Монтаж фонограм проводиться в паузах мовної інформації. Тому пошук слідів цифрової обробки зводиться до знаходження ознак такого монтажу в паузах, зафіксованих на фонограмах, а сам процес слід віднести до завдання бінарної класифікації. Складність побудови такої системи полягає у тому, що, по-перше, ознаки такого монтажу надзвичайно малі і, по-друге, їх виділення з сигналів пауз відомими класичними методами обробки дуже проблематично. Основна вимога до експертного інструментарію — здатність забезпечити виділення та наочну демонстрацію ознак монтажу. При цьому експерт повинен мати внутрішнє переконання у достовірності результатів експертизи. Тому загальновизнана неможливість встановлення зв’язку як між сигналами на вході з результатами, отриманими на виході моделі, що використовується, так і процесами, що відбуваються в ній, є найважливішим чинником впливу на подальший розвиток систем судової експертизи на нейронних мережах. Автори вважають, що для деяких завдань бінарної класифікації, зокрема завдання виявлення цифрового монтажу фонограм, така можливість існує. Метою дослідження є метод виділення ознак цифрового монтажу фонограм, що задовольняє вимогам експертизи, заснований на застосуванні нейронної мережі глибокого навчання. Запропоновано виявляти паузи мови з ознаками монтажу шляхом бінарної класифікації в мережі. Додаткова обробка результатів моделювання дозволяє отримати їх графічну інтерпретацію, що забезпечує виділення в окремий масив фрагментів пауз з високою мірою ймовірності правильної класифікації. Цим забезпечується можливість створення автоматизованої системи виявлення ознак монтажу в цифрових фонограмах.
In the last decade the models on the neuron networks of the deep learning have been effectively used for the decision of many actual tasks, requiring treatment of large arrays of data. The important task of examination of materials and apparatus of the digital audio recording belongs to them — automatic exposure of tracks of digital treatment (tracks of the digital editing) of phonograms. Editing of phonograms is produced in the pauses of speech information. Therefore the search of tracks of digital treatment is reduced to finding the signs of such editing in the pauses fixed on phonograms, and a process it is necessary to attribute to the task of binary classification. Complication of construction of such system consists in that, firstly, the signs of such editing are extraordinarily small and, secondly, their selection from the signals of pauses by the known classic methods of treatment is very problematic. The basic requirement to the expert tool is ability to provide a selection and obvious demonstration of signs of editing. Thus an expert must be convinced in reliability of results of examination. Therefore generally acknowledged impossibility of establishing a connection both between signals on an input with the results got on the output of the applied model and processes, taking place in it is the major factor of influence on further development of the systems of judicial examination on neuron networks. Authors suppose that for some tasks of binary classification, in particular, tasks of exposure of the digital editing of phonograms, such possibility exists. A research aim is a method of extraction of features of the digital editing of phonograms, suiting examination, based on application of neuron network of the deep learning. The method of exposure of signs of editing is offered and considered in pauses between the signals of speech information with the use of neuron network of the deep learning. It is suggested to expose the pauses of speech with the signs of editing by binary classification in a network. The aftertreatment of design results allows to get their graphic interpretation, that provides a selection in the separate array of fragments of pauses with the high degree of probability of correct classification. This provides possibility of creation of CAS of exposure of signs of editing in digital phonograms.
|
| first_indexed | 2025-12-07T15:58:28Z |
| format | Article |
| fulltext |
© В.И. СОЛОВЬЕВ, О.В. РЫБАЛЬСКИЙ, В.В. ЖУРАВЕЛЬ, 2020
Международный научно-технический журнал
«Проблемы управления и информатики», 2020, № 1 127
УДК 621.317+681.849
В.И. Соловьев, О.В. Рыбальский, В.В. Журавель
МЕТОД ВЫЯВЛЕНИЯ ПРИЗНАКОВ
ЦИФРОВОГО МОНТАЖА В ФОНОГРАММАХ
С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
ГЛУБОКОГО ОБУЧЕНИЯ
Ключевые слова: большие данные, нейронная сеть глубокого обучения, би-
нарная классификация, модель, монтаж, цифровая обработка фонограмм, циф-
ровая фонограмма.
Введение и постановка задачи
В последнее десятилетие модели на нейронных сетях глубокого обучения
эффективно используются во многих задачах [1–4]. Большинство из этих задач
ранее решались на основе классических подходов путем создания физико-
математических моделей. В ряде важных современных задач модели на нейрон-
ных сетях существенно превзошли по эффективности модели на основе классиче-
ских подходов. В задачах распознавания изображений, распознавания речи и ряде
других задач модели на нейронных сетях превосходят, как правило, возможности
человека. Поэтому при решении многих конкретных актуальных задач, требую-
щих обработки больших массивов статистических данных (big data), начали ис-
пользоваться системы на нейронных сетях глубокого обучения [1–4].
В частности, к ним относится конкретная важная задача экспертизы материа-
лов и аппаратуры цифровой звукозаписи — автоматического выявления следов
цифровой обработки (следов цифрового монтажа) фонограмм [5]. Отметим, что
монтаж фонограмм производится в паузах речевой информации (как правило, в
паузах между словами). Поэтому поиск следов цифровой обработки сводится к
нахождению признаков такого монтажа в паузах, зафиксированных на фонограм-
мах [6], а сам процесс следует отнести к задаче бинарной классификации. Слож-
ность построения такой системы состоит в том, что, во-первых, признаки такого
монтажа чрезвычайно малы и, во-вторых, их выделение из сигналов пауз извест-
ными классическими методами обработки весьма проблематично [7]. Это поясня-
ется тем, что сигналы в паузах представляют собой случайный процесс, образо-
ванный смесью сигналов окружающей звуковой среды и собственных шумов ап-
паратуры записи. При этом уровни собственных шумов аппаратуры ничтожно
малы, именно в них содержатся следы цифровой обработки [6, 7]. Эти обстоя-
тельства предопределили применение нейронных сетей глубокого обучения в
качестве основного подхода к созданию экспертного инструментария, предназна-
ченного для решения задачи автоматизации такой экспертизы [5].
Следует сказать, что одним из основных требований к экспертному инстру-
ментарию является способность обеспечить выделение и наглядную демонстра-
цию признаков монтажа, например, в суде. Однако часто принято считать, что
существенным недостатком моделей на нейронных сетях является невозможность
установления прямой связи между исследуемыми сигналами и результатами, по-
лученными на выходе нелинейных моделей с тысячами, а иногда и сотнями тысяч
параметров и взаимодействий. В среде специалистов в конкретных областях, в ча-
стности судебных экспертов, воспитанных на классических физико-математи-
ческих подходах, это в большинстве случаев вызывает внутреннее неприятие та-
128 ISSN 0572-2691
ких моделей. Психологически это вполне оправданно. Практикующий эксперт
должен иметь внутреннее убеждение в достоверности результатов экспертизы.
Поэтому общепризнанная невозможность установления связи как между сигнала-
ми на входе с результатами, полученными на выходе примененной модели, так и
происходящими в ней процессами, является важнейшим фактором влияния на
дальнейшее развитие систем судебной экспертизы на нейронных сетях. Мы счи-
таем, что это, скорее, не невозможность, а сложность, и для некоторых задач би-
нарной классификации, в частности задачи выявления цифрового монтажа фоно-
грамм, такая возможность существует.
Целью данного исследования является метод выделения признаков цифрово-
го монтажа фонограмм, удовлетворяющего требованиям экспертизы, основанный
на применении нейронной сети глубокого обучения. При создании метода ис-
пользуется бинарная классификация сигналов в паузах между сигналами речи.
С учетом требований к экспертному инструментарию, применение такого ме-
тода должно обеспечить эффективное выявление и убедительную демонстрацию
факта наличия (или отсутствия) следов цифрового монтажа в паузах речевой ин-
формации, зафиксированной на фонограмме.
Описание метода
Исследования по использованию нейронных сетей в области речевых техно-
логий и обработки звука показали высокую эффективность полносвязных сетей
глубокого обучения [1]. Поэтому разработанный для этой задачи программный
модуль базировался, в частности, на библиотеке глубокого обучения нейронных се-
тей keras (back end tensor flow). Применялась полносвязная нейронная сеть до 50 ней-
ронных слоев с прореживанием (drop out) и пакетной нормализацией. Решалась за-
дача бинарной классификации на массиве «больших данных» (data set). Для пред-
метного изучения возможности решения этой задачи созданы большие массивы
фрагментов пауз без монтажа и с локализованной точкой монтажа. Этот массив
«больших данных» содержал сотни тысяч фрагментов пауз с монтажом и без мон-
тажа и создавался в автоматизированном компьютерном режиме. Для формирова-
ния массивов данных, подаваемых на вход нейронной сети, использовались сле-
дующие предпосылки. Как показали предыдущие исследования, наличие следов
монтажа проявляется в изменениях спектрального и фрактального состава фрагмен-
тов пауз [8, 9]. Одним из основных условий выявления нейронной сетью таких
изменений является учет динамики изменений фрагментов пауз. Для этого ис-
пользовался следующий способ формирования массивов на входе нейронной се-
ти. Во временных окнах фрагментов пауз длительностью 40 мс выделялись 20 по-
следовательных участков длительностью 20 мс с интервалом сканирования 1 мс.
Эксперименты проводились для звуковых файлов с частотой дискретизации 44,1
кГц, что составляло 882 отсчета на 20 мс временного сигнала.
Из 20 участков путем последовательного присоединения формировались
массивы фрагментов размерностью 882×20 =17640 отсчетов, которые подавались
на вход нейронной сети.
Общий массив всех фрагментов, подаваемых на вход нейронной сети, разбит
на тренировочный и тестовый массивы. В качестве критерия эффективности при-
менялась величина вероятности правильной классификации фрагментов с монта-
жом и без монтажа. Отметим, что практически любая система обучения нейрон-
ной сети позволяет на полученной модели оценить вероятность правильной клас-
сификации.
Результат проведения эксперимента с использованием нейронной сети глу-
бокого обучения проиллюстрирован на рис. 1. Как видно, эффективность, достиг-
нутая на базе обучения за 400 эпох, на тестовом массиве составляет около 0,9 (ис-
пользовался компьютер с графическим адаптером).
Международный научно-технический журнал
«Проблемы управления и информатики», 2020, № 1 129
Рис. 1
В данном случае оценивается вероятность правильной классификации каж-
дого фрагмента пауз без монтажа и с монтажом в зависимости от характерис-
тик сигналов в фрагментах пауз.
Полученная эффективность бинарной классификации (0,9) является недоста-
точной для построения практической системы выявления монтажа. Многолетняя
практика проведения экспертиз показывает, что в среднем на фонограмму при-
ходится 5 % пауз. Тогда, например, фонограмма длительностью 10 мин может
содержать 150 неверно классифицированных фрагментов пауз. Из этого вытекает
необходимость получения более эффективной модели бинарной классификации.
С другой стороны, полученная модель допускает графическую интерпре-
тацию, которая может повысить эффективность принятия решений при экспер-
тизе. Среди сотен тысяч фрагментов, подвергнутых классификации, достаточно
часто встречаются фрагменты с вероятностью правильной классификации 0,999 и
выше. Как показывает ниже графическая интерпретация, фрагменты с монтажом
и без монтажа резко отличаются. Для получения графической интерпретации
проводилось сканирование каждого фрагмента с монтажом временным окном 20 мс
с шагом сканирования 1 мс. В каждом окне по формулам рассчитывалась
средневзвешенная частота и средневзвешенная амплитуда спектра:
,
)(
)(
fA
ffA
F
i
ii
S
,
)(
i
ii
S
f
ffA
A
где )( fAi — амплитуда спектральной составляющей, выделенной на i-м шаге ска-
нирования, fi — частота спектральной составляющей, выделенной на i-м шаге
сканирования.
После проведенных расчетов производилась нормализация для приведения
графиков к единой базе. Для этого на интервале сканирования для совокупностей
Fs и As определялось математическое ожидание и среднеквадратическое отклоне-
ние. После этого все данные нормализировались путем вычитания математиче-
ского ожидания из текущего значения функции и деления результата на средне-
квадратическое отклонение.
На рис. 2 и 3 представлена совокупность графиков изменения нормирован-
ных средневзвешенной частоты Fsn и амплитуды Asn для фрагмента паузы с мон-
тажом с вероятностью правильной классификации выше 0,999. Эта величина при-
нята исходя из следующих соображений. На графиках видно, что полученные
кривые носят сглаженный («ламинарный») характер.
130 ISSN 0572-2691
Рис. 2
Рис. 3
Графики на рис. 2 и 3 фактически являются графической интерпретацией
факта наличия следов монтажа во фрагменте паузы.
В то же время структура графиков для фрагментов пауз без монтажа, пред-
ставленная на рис. 4 и 5, принципиально отличается. Характер динамики изме-
нения этих параметров во фрагментах пауз без монтажа соответствует модели
случайных процессов.
Отметим, что при вероятности правильной классификации 0,999 практически
все кривые, полученные для динамики изменения в паузах с монтажом, соот-
ветствуют кривым, представленным на рис. 2 и 3. В то же время при вероятнос-
ти 0,99 появляется существенное количество кривых, имеющих случайный характер.
Однако распределение вероятностей правильной классификации для пауз с монтажом
и без монтажа, приведенное на рис. 6, показывает, что для пауз с монтажом превали-
руют паузы, вероятность правильной классификации которых превышает 0,999.
Рис. 4
Международный научно-технический журнал
«Проблемы управления и информатики», 2020, № 1 131
Рис. 5
Рис. 6
Это позволяет выделить такие паузы в отдельный массив данных и обес -
печить возможность применения разработанной модели для создания инстру-
ментария автоматизированной экспертизы цифровых фонограмм.
Разработанный метод обработки фрагментов пауз на выходе нейронной сети
глубокого обучения обеспечивает возможность продемонстрировать различие ди-
намических спектральных характеристик для пауз с монтажом и без монтажа. Это
различие говорит о возможности построения системы выявления монтажа, рабо-
тающей в автоматическом режиме.
Заключение
Проведены исследования на созданном программном модуле, реализующем
структурную модель нейронной сети глубокого обучения для бинарной класси-
фикации. Модель создана для выявления следов цифровой обработки в фонограм-
мах (следов цифрового монтажа).
Предложена графическая интерпретация результатов моделирования для
выделения фрагментов пауз с высокой степенью вероятности правильной клас-
сификации в отдельный массив данных. Этим обеспечивается возможность созда-
ния автоматизированной системы выявления признаков монтажа в цифровых
фонограммах.
132 ISSN 0572-2691
В.І. Соловйов, О.В. Рибальський, В.В. Журавель
МЕТОД ВИЯВЛЕННЯ ОЗНАК ЦИФРОВОГО
МОНТАЖУ В ФОНОГРАМАХ З ВИКОРИСТАННЯМ
НЕЙРОННИХ МЕРЕЖ ГЛИБОКОГО НАВЧАННЯ
В останнє десятиліття моделі на нейронних мережах глибокого навчання
ефективно використовуються для вирішення багатьох актуальних завдань,
що вимагають обробки великих масивів даних. До них відноситься важливе
завдання експертизи матеріалів та апаратури цифрового звукозапису — ав-
томатичного виявлення слідів цифрової обробки (слідів цифрового монта-
жу) фонограм. Монтаж фонограм проводиться в паузах мовної інформації.
Тому пошук слідів цифрової обробки зводиться до знаходження ознак тако-
го монтажу в паузах, зафіксованих на фонограмах, а сам процес слід відне-
сти до завдання бінарної класифікації. Складність побудови такої системи
полягає у тому, що, по-перше, ознаки такого монтажу надзвичайно малі і,
по-друге, їх виділення з сигналів пауз відомими класичними методами
обробки дуже проблематично. Основна вимога до експертного інструмен-
тарію — здатність забезпечити виділення та наочну демонстрацію ознак
монтажу. При цьому експерт повинен мати внутрішнє переконання у дос-
товірності результатів експертизи. Тому загальновизнана неможливість
встановлення зв’язку як між сигналами на вході з результатами, отримани-
ми на виході моделі, що використовується, так і процесами, що відбува-
ються в ній, є найважливішим чинником впливу на подальший розвиток сис-
тем судової експертизи на нейронних мережах. Автори вважають, що для
деяких завдань бінарної класифікації, зокрема завдання виявлення цифро-
вого монтажу фонограм, така можливість існує. Метою дослідження є ме-
тод виділення ознак цифрового монтажу фонограм, що задовольняє вимо-
гам експертизи, заснований на застосуванні нейронної мережі глибокого
навчання. Запропоновано виявляти паузи мови з ознаками монтажу шляхом
бінарної класифікації в мережі. Додаткова обробка результатів моделюван-
ня дозволяє отримати їх графічну інтерпретацію, що забезпечує виділення в
окремий масив фрагментів пауз з високою мірою ймовірності правильної
класифікації. Цим забезпечується можливість створення автоматизованої
системи виявлення ознак монтажу в цифрових фонограмах.
Ключові слова: великі дані, нейронна мережа глибокого навчання, бінар-
на класифікація, модель, монтаж, цифрова обробка фонограм, цифрова фо-
нограма.
V.I. Solovyov, O.V. Rybalskiy, V.V. Zhuravel
METHOD OF EXPOSURE OF SIGNS OF THE DIGITAL
EDITING IN PHONOGRAMS WITH THE USE
OF NEURON NETWORKS OF THE DEEP LEARNING
In the last decade the models on the neuron networks of the deep learning have
been effectively used for the decision of many actual tasks, requiring treatment
of large arrays of data. The important task of examination of materials and appa-
ratus of the digital audio recording belongs to them — automatic exposure of
tracks of digital treatment (tracks of the digital editing) of phonograms. Editing
of phonograms is produced in the pauses of speech information. Therefore the
search of tracks of digital treatment is reduced to finding the signs of such edi-
ting in the pauses fixed on phonograms, and a process it is necessary to attribute
to the task of binary classification. Complication of construction of such system
consists in that, firstly, the signs of such editing are extraordinarily small and,
secondly, their selection from the signals of pauses by the known classic me-
thods of treatment is very problematic. The basic requirement to the expert tool
is ability to provide a selection and obvious demonstration of signs of editing.
Международный научно-технический журнал
«Проблемы управления и информатики», 2020, № 1 133
Thus an expert must be convinced in reliability of results of examination. There-
fore generally acknowledged impossibility of establishing a connection both bet-
ween signals on an input with the results got on the output of the applied model
and processes, taking place in it is the major factor of influence on further de-
velopment of the systems of judicial examination on neuron networks. Authors
suppose that for some tasks of binary classification, in particular, tasks of expo-
sure of the digital editing of phonograms, such possibility exists. A research aim
is a method of extraction of features of the digital editing of phonograms, suiting
examination, based on application of neuron network of the deep learning. The
method of exposure of signs of editing is offered and considered in pauses bet-
ween the signals of speech information with the use of neuron network of the
deep learning. It is suggested to expose the pauses of speech with the signs of
editing by binary classification in a network. The aftertreatment of design results
allows to get their graphic interpretation, that provides a selection in the separate
array of fragments of pauses with the high degree of probability of correct clas-
sification. This provides possibility of creation of CAS of exposure of signs of
editing in digital phonograms.
Keywords: dataset, neuron network of the deep learning, binary classification, mo-
del, editing, digital treatment of phonogram, digital phonogram.
1. Understanding machine learning: From theory to algorithms. 2014 by Shai Shalev-Shwartz and
Shai Ben-David Published 2014 by Cambridge University Press, 2014. 449 р. http://www.-
cs.huji.ac.il/~shais/UnderstandingMachineLearning
2. Yoshua Bengio. Deep learnning. Lxmls 2015. Machine learnning summer shool. Portugal :
Lisbon, 2015. 124 p. http://www.iro.umontreal.ca/~bengioy/dlbook/
3. LeCun Y., Bengio Y., Hinton G. Deep lerning. Nature. 2015. 521, N 7553. P. 436–444.
4. Goddfellow J., Bengio Y., Courville A. Deep Lerning. MIT Press 2016. http://www.deeplerning-
book.org
5. Рыбальский О.В., Соловьев В.И., Журавель В.В. Основные требования к системе выявле-
ния точек цифрового монтажа в фонограммах и методология ее создания. Інформатика та
математичні методи в моделюванні. 2018. 8, № 3. С. 232–237.
6. Рыбальский О.В., Жариков Ю.Ф. Современные методы проверки аутентичности маг-
нитных фонограмм в судебно-акустической экспертизе. К. : НАВСУ, 2003. 300 с.
7. Рибальський О.В. Застосування вейвлет-аналізу для виявлення слідів цифрової обробки
аналогових і цифрових фонограм у судово-акустичній експертизі. К. : Нац. акад. внутр.
справ України, 2004. 167 с.
8. Рыбальский О.В., Соловьев В.И., Журавель В.В. Следы монтажа в цифровых фонограммах,
выполненного способом вырезания и перестановки фрагментов. Реєстрація, зберігання і
обробка даних. 2016. 18, № 1 С. 32–41.
9. Рыбальский О.В., Соловьев В. И., Журавель В.В. Экспериментальная проверка эффекта
изменения фрактального состава сигналов при монтаже фонограммы способом вырезания
и перестановки фрагментов. Сучасна спеціальна техніка. 2016. № 3. С. 75–85.
Получено 29.05.2019
http://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning
http://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning
|
| id | nasplib_isofts_kiev_ua-123456789-208671 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2025-12-07T15:58:28Z |
| publishDate | 2020 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Соловьев, В.И. Рыбальский, О.В. Журавель, В.В. 2025-11-03T18:48:44Z 2020 Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения / В.И. Соловьев, О.В. Рыбальский, В.В. Журавель // Проблемы управления и информатики. — 2020. — № 1. — С. 127-133. — Бібліогр.: 9 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/208671 621.317+681.849 10.1615/JAutomatInfScien.v52.i1.30 В останнє десятиліття моделі на нейронних мережах глибокого навчання ефективно використовуються для вирішення багатьох актуальних завдань, що вимагають обробки великих масивів даних. До них відноситься важливе завдання експертизи матеріалів та апаратури цифрового звукозапису — автоматичного виявлення слідів цифрової обробки (слідів цифрового монтажу) фонограм. Монтаж фонограм проводиться в паузах мовної інформації. Тому пошук слідів цифрової обробки зводиться до знаходження ознак такого монтажу в паузах, зафіксованих на фонограмах, а сам процес слід віднести до завдання бінарної класифікації. Складність побудови такої системи полягає у тому, що, по-перше, ознаки такого монтажу надзвичайно малі і, по-друге, їх виділення з сигналів пауз відомими класичними методами обробки дуже проблематично. Основна вимога до експертного інструментарію — здатність забезпечити виділення та наочну демонстрацію ознак монтажу. При цьому експерт повинен мати внутрішнє переконання у достовірності результатів експертизи. Тому загальновизнана неможливість встановлення зв’язку як між сигналами на вході з результатами, отриманими на виході моделі, що використовується, так і процесами, що відбуваються в ній, є найважливішим чинником впливу на подальший розвиток систем судової експертизи на нейронних мережах. Автори вважають, що для деяких завдань бінарної класифікації, зокрема завдання виявлення цифрового монтажу фонограм, така можливість існує. Метою дослідження є метод виділення ознак цифрового монтажу фонограм, що задовольняє вимогам експертизи, заснований на застосуванні нейронної мережі глибокого навчання. Запропоновано виявляти паузи мови з ознаками монтажу шляхом бінарної класифікації в мережі. Додаткова обробка результатів моделювання дозволяє отримати їх графічну інтерпретацію, що забезпечує виділення в окремий масив фрагментів пауз з високою мірою ймовірності правильної класифікації. Цим забезпечується можливість створення автоматизованої системи виявлення ознак монтажу в цифрових фонограмах. In the last decade the models on the neuron networks of the deep learning have been effectively used for the decision of many actual tasks, requiring treatment of large arrays of data. The important task of examination of materials and apparatus of the digital audio recording belongs to them — automatic exposure of tracks of digital treatment (tracks of the digital editing) of phonograms. Editing of phonograms is produced in the pauses of speech information. Therefore the search of tracks of digital treatment is reduced to finding the signs of such editing in the pauses fixed on phonograms, and a process it is necessary to attribute to the task of binary classification. Complication of construction of such system consists in that, firstly, the signs of such editing are extraordinarily small and, secondly, their selection from the signals of pauses by the known classic methods of treatment is very problematic. The basic requirement to the expert tool is ability to provide a selection and obvious demonstration of signs of editing. Thus an expert must be convinced in reliability of results of examination. Therefore generally acknowledged impossibility of establishing a connection both between signals on an input with the results got on the output of the applied model and processes, taking place in it is the major factor of influence on further development of the systems of judicial examination on neuron networks. Authors suppose that for some tasks of binary classification, in particular, tasks of exposure of the digital editing of phonograms, such possibility exists. A research aim is a method of extraction of features of the digital editing of phonograms, suiting examination, based on application of neuron network of the deep learning. The method of exposure of signs of editing is offered and considered in pauses between the signals of speech information with the use of neuron network of the deep learning. It is suggested to expose the pauses of speech with the signs of editing by binary classification in a network. The aftertreatment of design results allows to get their graphic interpretation, that provides a selection in the separate array of fragments of pauses with the high degree of probability of correct classification. This provides possibility of creation of CAS of exposure of signs of editing in digital phonograms. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Роботы и системы искусственного интеллекта Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения Метод виявлення ознак цифрового монтажу в фонограмах з використанням нейронних мереж глибокого навчання Method of exposure of signs of the digital editing in phonograms with the use of neuron networks of the deep learning Article published earlier |
| spellingShingle | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения Соловьев, В.И. Рыбальский, О.В. Журавель, В.В. Роботы и системы искусственного интеллекта |
| title | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| title_alt | Метод виявлення ознак цифрового монтажу в фонограмах з використанням нейронних мереж глибокого навчання Method of exposure of signs of the digital editing in phonograms with the use of neuron networks of the deep learning |
| title_full | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| title_fullStr | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| title_full_unstemmed | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| title_short | Метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| title_sort | метод выявления признаков цифрового монтажа в фонограммах с использованием нейронных сетей глубокого обучения |
| topic | Роботы и системы искусственного интеллекта |
| topic_facet | Роботы и системы искусственного интеллекта |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/208671 |
| work_keys_str_mv | AT solovʹevvi metodvyâvleniâpriznakovcifrovogomontažavfonogrammahsispolʹzovaniemneironnyhseteiglubokogoobučeniâ AT rybalʹskiiov metodvyâvleniâpriznakovcifrovogomontažavfonogrammahsispolʹzovaniemneironnyhseteiglubokogoobučeniâ AT žuravelʹvv metodvyâvleniâpriznakovcifrovogomontažavfonogrammahsispolʹzovaniemneironnyhseteiglubokogoobučeniâ AT solovʹevvi metodviâvlennâoznakcifrovogomontažuvfonogramahzvikoristannâmneironnihmerežglibokogonavčannâ AT rybalʹskiiov metodviâvlennâoznakcifrovogomontažuvfonogramahzvikoristannâmneironnihmerežglibokogonavčannâ AT žuravelʹvv metodviâvlennâoznakcifrovogomontažuvfonogramahzvikoristannâmneironnihmerežglibokogonavčannâ AT solovʹevvi methodofexposureofsignsofthedigitaleditinginphonogramswiththeuseofneuronnetworksofthedeeplearning AT rybalʹskiiov methodofexposureofsignsofthedigitaleditinginphonogramswiththeuseofneuronnetworksofthedeeplearning AT žuravelʹvv methodofexposureofsignsofthedigitaleditinginphonogramswiththeuseofneuronnetworksofthedeeplearning |