Распознавание аккордов на основе метода скелетного распознавания
Разработаны
 методы структурирования и распознавания аккордов на изображении печатного нотного текста.
 Предложены методы распознавания нот в пятне, структурирования и распознавания аккордов при помощи
 скелетизации. Розроблено методи структурування та розпізнавання акордів...
Saved in:
| Published in: | Искусственный интеллект |
|---|---|
| Date: | 2014 |
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем штучного інтелекту МОН України та НАН України
2014
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/85245 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Распознавание аккордов на основе метода скелетного распознавания / Д.С. Азаренко, И.Г. Герасимов // Искусственный интеллект. — 2014. — № 1. — С. 187–192. — Бібліогр.: 7 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860264113627725824 |
|---|---|
| author | Азаренко, Д.С. Герасимов, И.Г. |
| author_facet | Азаренко, Д.С. Герасимов, И.Г. |
| citation_txt | Распознавание аккордов на основе метода скелетного распознавания / Д.С. Азаренко, И.Г. Герасимов // Искусственный интеллект. — 2014. — № 1. — С. 187–192. — Бібліогр.: 7 назв. — рос. |
| collection | DSpace DC |
| container_title | Искусственный интеллект |
| description | Разработаны
методы структурирования и распознавания аккордов на изображении печатного нотного текста.
Предложены методы распознавания нот в пятне, структурирования и распознавания аккордов при помощи
скелетизации.
Розроблено методи структурування та розпізнавання акордів на зображенні друкованого нотного тексту.
Запропоновано методи розпізнавання нот в плямі, структурування та розпізнавання акордів за допомогою
скелетизації.
The methods of structuring and chord recognition on printed image of the musical text. Methods for recognition score
in the spot, structuring and chord recognition using skeletonization.
|
| first_indexed | 2025-12-07T18:58:32Z |
| format | Article |
| fulltext |
ISSN 1561-5359 «Штучний інтелект» 2014 № 1 187
3А
УДК 004.89:004.93
Д.С. Азаренко, И.Г. Герасимов
Институт проблем искусственного интеллекта МОН Украины и НАН Украины, г. Донецк
Украина, 83048, г. Донецк, ул. Артема, 118-б
Распознавание аккордов на основе метода
скелетного распознавания
D.S. Azarenko, I.G. Gerasimov
Institute of Artificial Intelligence MES Ukraine and NAS Ukraine, Donetsk
Ukraine, 83048, Donetsk, st. Artem, 118-b
Chord Recognition Method Based
on the Recognition of Skeletal
Д.С. Азаренко, І.Г. Герасимов
Інститут проблем штучного інтелекту МОН України і НАН України, м. Донецьк
Україна, 83048, м. Донецьк, вул. Артема, 118-б
Розпізнавання акордів на основі методу
скелетного розпізнавання
Разработаны методы структурирования и распознавания аккордов на изображении печатного нотного текста.
Предложены методы распознавания нот в пятне, структурирования и распознавания аккордов при помощи
скелетизации.
Ключевые слова: структурирование, распознавание аккордов, скелетизация.
The methods of structuring and chord recognition on printed image of the musical text. Methods for recognition score
in the spot, structuring and chord recognition using skeletonization.
Key words: structuring, chord recognition, skeletonization.
Розроблено методи структурування та розпізнавання акордів на зображенні друкованого нотного тексту.
Запропоновано методи розпізнавання нот в плямі, структурування та розпізнавання акордів за допомогою
скелетизації.
Ключові слова: структурування, розпізнавання акордів, скелетизації.
Введение
Сложность в распознавании изображения нотного текста заключается не только в
разнообразии его элементов (паузы, знаки альтерации и др.), но и в структуре таких
элементов, как аккорды. В музыкальной грамоте нет ограничения на строение аккорда
или на количество нот, его составляющих. Следовательно, в музыкальном тексте могут
встречаться самые разнообразные по своему строению аккорды, в связи с чем количество
различных распознаваемых объектов существенно увеличивается. На изображении аккорда,
ноты его составляющие, могут соприкасаться друг с другом, вследствие чего не всегда
возможно найти границу между ними, разбить аккорд на отдельные ноты и произвести
распознавание поэлементно. Распознаванию аккордов такого рода посвящена данная статья.
Азаренко Д.С., Герасимов И.Г.
«Искусственный интеллект» 2014 № 1 188
3А
Результаты исследования
На рис. 1 представлено изображение страницы нотного текста. Задача распо-
знавания изображения нотного текста разбивается на этапы. На первом этапе произ-
водится отделение значимых элементов от фона. Далее следует структурирование, то
есть выделение элементов нотного текста. Предложена и использована следующая
иерархическая структура нотного текста [1]:
1) элементарная единица;
2) связка элементарных единиц;
3) строчка нотного текста;
4) строка нотного текста;
5) страница нотного текста.
На этапе структурирования при помощи преобразования Хафа производится де-
тектирование линий нотного стана [2]. Кроме того, вычисляются величины, которые
необходимы для распознавания, такие как размер одной ноты и угол наклона текста к
нижней границе страницы.
Рисунок 1 – Страница нотного текста с фрагментом (а),
подлежащим распознаванию
Распознавание аккордов на основе метода скелетного распознавания
«Штучний інтелект» 2014 № 1 189
3А
Следующим этапом является обнаружение и распознавание нот. Ранее описан-
ный метод шаблонного поиска [3] нот с известной геометрией показал 99,5% результата,
в случае поиска одиночных нот.
На рис. 2 представлен фрагмент распознанного текста, на котором белым вы-
делены центры обнаруженных нот.
Как видно, одиночные ноты распознаются успешно, чего нельзя сказать о некоторых
аккордах. Плохой результат для аккордов связан с тем, что ноты расположены близко
относительно друг друга, из-за чего не удается обнаружить границу между ними.
Рисунок 2 – Результат распознавания методом шаблонного поиска,
фрагмента а текста из рис. 1
Встречаются два вида аккордов:
1) ноты расположены друг над другом и разделены не меньше чем двумя тонами
(рис. 3 a), б));
2) между двумя или более соседними нотами расстояние равняется одному тону
(рис. 3 в), г), д)).
а) б) в) г) д)
Рисунок 3 – Виды аккордов с расстоянием между соседними нотами:
не меньше двух тонов (а, б), один тон (в, г, д)
С первым видом аккордов метод шаблонного поиска одиночных нот справляется,
если расстояние между соседними нотами более двух тонов (ноты не соприкасаются
друг с другом (рис. 3а)). Аккорды, в которых не удается четко определить границу между
нотами (рис. 3б)), методом шаблонного поиска не распознаются. Поэтому воспользуемся
тем, что после прохода по изображению и поиску на нем одиночных нот остаются
группы неразделенных нот принадлежащих одному аккорду (пятна нот). Для распоз-
навания таких групп мы разработали алгоритм распознавания нот в пятне. Применение
алгоритма распознавания нот в пятне требует расположения нот в аккорде одна над
другой. При этом ширина пятна не должна превышать ширину ноты (рис. 3а), б)).
Алгоритм состоит из двух этапов:
1) выделение пятен, удовлетворяющих условию, указанному выше;
2) вычисление количества нот, входящих в пятно.
Количество нот, входящих в пятно, равняется ближайшему целому, полученному
при делении высоты пятна на высоту одной ноты. Определение положения аккорда
относительно линий нотного стана осуществляется за счет определения положения
верхней ноты: каждая из последующих нот смещена на два тона ниже предыдущей.
Азаренко Д.С., Герасимов И.Г.
«Искусственный интеллект» 2014 № 1 190
3А
На рис. 4 представлен распознанный аккорд.
1 2
Рисунок 4 – Аккорд б) из рис. 3 (1) с результатом распознавания (2)
В случае аккордов, у которых расстояние между двумя и более нотами
равняется тону (рис. 3в), г), д)), распознавание описанным алгоритмом невозможно,
так как ширина пятна превышает ширину одной ноты. Распознавание таких аккордов
производится модифицированным методом скелетного распознавания, применяемым для
распознавания печатного и рукописного текста [5-9]. Согласно этому методу, перво-
начально необходимо получить скелет аккорда.
Существует несколько отличных друг от друга способов получения скелета.
Для построения скелета аккорда выбран метод Щепина [6]. Этот метод позволяет
получить скелет толщиной в один пиксель, что исключает его последующую до-
обработку и полностью сохраняет связность исходного изображения, а также все его
особенности.
Скелетизация методом Щепина производится следующим образом. Для каждого
внешнего контура изображения находится исходная верхняя левая точка. Очередная
точка контура рассматривается в конфигурации восьми ее соседей. Точка удаляется,
если ее удаление не приводит к разрыву связного множества, образованного соседями.
Таким образом, осуществляется проход всех точек контура. Далее шаг за шагом
удаляется один слой точек. Слои удаляются до тех пор, пока не останутся только точки,
не подлежащие удалению (рис. 5).
в) г) д)
1
2
3
Рисунок 5 – Аккорды рис. 3в), г), д) до (1) и после удаления (2) внешних слоев
методом скелетизации и аккорды со скелетом (3), показанным белой линией
На заключительном этапе по алгоритму, приведенном на рис. 6, производится
анализ скелета для определения расположения нот, входящих в аккорд.
Определение положения нот относительно линий нотного стана осуществляет-
ся так же, как и в методе распознавания нот в пятне. После выполнения алгоритма
(рис. 6) взаимное расположение нот и расстояние между ними оказывается извест-
ным. Поэтому определив положение верхней ноты легко найти положение на
нотном стане всех остальных нот.
Распознавание аккордов на основе метода скелетного распознавания
«Штучний інтелект» 2014 № 1 191
3А
Рисунок 6 – Алгоритм определения положения нот в аккорде
При помощи данного метода возможно распознавание аккордов любой конфигу-
рации, у которых соседние ноты находятся на расстоянии тона друг от друга. Реализация
разработанных методов позволила получить 98 % корректно распознанных аккордов.
Заключение
Задача распознавания аккордов печатного нотного текста в статье решена при
помощи двух адаптированных методов. Для распознавания аккордов, у которых
ноты расположены друг над другом и разделены не меньше чем двумя тонами,
предложен метод распознавания нот в пятне. Для аккордов, у которых между двумя
или более соседними нотами расстояние равняется одному тону, предложен метод
структурирования распознавания аккордов при помощи скелетизации.
Определение верхней
границы скелета
Вычисление ширины
участка пятна (P)
Если P равняется
ширине одной ноты
да нет
На этом участке находится
одна нота
Сдвиг вниз на расстояние,
равное половине высоты
ноты
Скелет не изменил
свое направление
нет да
Следующая нота находится
на два тона ниже
Следующая нота находится
на тон ниже
Сдвиг вниз на расстояние
равное половине высоты
ноты
Начало
Достигнут конец
скелета
нет да
Конец
Азаренко Д.С., Герасимов И.Г.
«Искусственный интеллект» 2014 № 1 192
3А
Список литературы
1. Азаренко Д.С.Способ структурного анализа изображения нотного текста для дальнейшего распознавания /
Д.С. Азаренко, А.В. Жук // Искусственный интеллект. – 2007. – № 1 – С. 110-122.
2. Азаренко Д.С. Детектирование нот на изображении нотного текста на основе результатов его
структурного анализа / Д.С. Азаренко // Искусственный интеллект. – 2012. – № 4. – С. 120-129.
3. Pavlidis T. Algorithms for Graphics and Image Processing / Pavlidis T. – Computer Science Press, Rockville,MD, 1982.
4. Lam L. Thinning Methodologies: A Comprehensive Survey / L. Lam, S.W. Lee, C.Y. Suen // IEEE Trans. Pattern
Analysis and Machine Intelligence. – Vol. 14, 1992. – P.869-885
5. Methodologies for Evaluating Thinning Algorithms for Character Recognition. Int'l. J / R. Plamondon, C.Y. Suen,
M. Bourdeau, C. Barriere // Pattern Recognition and Artificial Intelligence, special issue thinning algorithms. –
Vol 7, № 5. 1993. – P. 1247-1270.
6. Славин О.А. Методы распознавания грубых объектов / О.А. Славин, Г.В. Корольков, П.В. Болотин //
Развитие безбумажных технологий в организациях. – 1999. – С. 290-311.
7. Щепин Е.В. К топологическому подходу в анализе изображений. Геометрия, топология и приложения
(Межвузовский сборник научных трудов) / Е.В. Щепин, Г.М. Непомнящий. – Москва : Мин. высшего и
средн. спец. образ. РСФСР, Московский институт приборостроения, 1990. – С. 13-25.
References
1. Azarenka D.S., Zhuk A.V. The method of structural analysis of the image of the musical text for further
recognition. // Artificial Intelligence. - 2007. - No.1 - p.110-122.
2. Azarenka D. S. Detection score of the musical text in the image on the basis of its structural analysis. //
Artificial Intelligence. — 2012. — N4. — p. 120–129.
3. T.Pavlidis. Algorithms for Graphics and Image Processing. Computer Science Press, Rockville,MD, 1982.
4. L.Lam, S.W. Lee, C.Y. Suen, Thinning Methodologies: A Comprehensive Survey. IEEE Trans. Pattern Analysis
and Machine Intelligence, vol.14, p.869-885, 1992.
5. R. Plamondon, C.Y. Suen, M. Bourdeau, C. Barriere. Methodologies for Evaluating Thinning Algorithms for
Character Recognition. Int'l. J. Pattern Recognition and Artificial Intelligence, special issue thinning algorithms, vol
7, no.5, 1247-1270, 1993.
6. Slavin O.A., Korol'kov G.V., Bolotin P.V. Recognition methods rough objects. In Sat "The development of a
paperless environment in organizations" 1999, p. 290-311
7. Shchepin, Nepomnyashchii. A topological approach in image analysis. Geometry, topology and applications
(Interuniversity collection of scientific papers). Moscow, Min. Higher and Secondary. specials. image. RSFSR,
Moscow Institute of Instrument, 1990, p. 13-25.
RESUME
D.S Azarenko, I.G. Gerasimov
Chord Recognition Method Based on the Recognition of Skeletal
Background: The problem of recognition printed music text in the presence of a
large variety of complex objects to be recognized and relevant perspective accumulated
translation of publications in electronic form.
Materials and methods: Preview pages of printed musical text, obtained by means
of a scanner. Structuring be based on the Hough’s transform. The basis of the structure and
the recognition of notes in a chord based on the method by Shchepin’s skeletization.
Results: For chord recognition, which notes are arranged one above the other and
separated by not less than two tones, developed of method for the recognition score in the
spot for the chords, which between two or more adjacent notes distance equal to one tone, –
a method of structuring chord recognition through skeletonization.
Conclusion: Implementation of the developed methods yielded 98 % correctly
recognized chords.
Статья поступила в редакцию 18.12.2013.
|
| id | nasplib_isofts_kiev_ua-123456789-85245 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T18:58:32Z |
| publishDate | 2014 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Азаренко, Д.С. Герасимов, И.Г. 2015-07-23T12:12:56Z 2015-07-23T12:12:56Z 2014 Распознавание аккордов на основе метода скелетного распознавания / Д.С. Азаренко, И.Г. Герасимов // Искусственный интеллект. — 2014. — № 1. — С. 187–192. — Бібліогр.: 7 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/85245 004.89:004.93 Разработаны
 методы структурирования и распознавания аккордов на изображении печатного нотного текста.
 Предложены методы распознавания нот в пятне, структурирования и распознавания аккордов при помощи
 скелетизации. Розроблено методи структурування та розпізнавання акордів на зображенні друкованого нотного тексту.
 Запропоновано методи розпізнавання нот в плямі, структурування та розпізнавання акордів за допомогою
 скелетизації. The methods of structuring and chord recognition on printed image of the musical text. Methods for recognition score
 in the spot, structuring and chord recognition using skeletonization. ru Інститут проблем штучного інтелекту МОН України та НАН України Искусственный интеллект Интеллектуальные системы планирования, управления, моделирования и принятия решений Распознавание аккордов на основе метода скелетного распознавания Розпізнавання акордів на основі методу скелетного розпізнавання Chord recognition method based on the recognition of skeletal Article published earlier |
| spellingShingle | Распознавание аккордов на основе метода скелетного распознавания Азаренко, Д.С. Герасимов, И.Г. Интеллектуальные системы планирования, управления, моделирования и принятия решений |
| title | Распознавание аккордов на основе метода скелетного распознавания |
| title_alt | Розпізнавання акордів на основі методу скелетного розпізнавання Chord recognition method based on the recognition of skeletal |
| title_full | Распознавание аккордов на основе метода скелетного распознавания |
| title_fullStr | Распознавание аккордов на основе метода скелетного распознавания |
| title_full_unstemmed | Распознавание аккордов на основе метода скелетного распознавания |
| title_short | Распознавание аккордов на основе метода скелетного распознавания |
| title_sort | распознавание аккордов на основе метода скелетного распознавания |
| topic | Интеллектуальные системы планирования, управления, моделирования и принятия решений |
| topic_facet | Интеллектуальные системы планирования, управления, моделирования и принятия решений |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/85245 |
| work_keys_str_mv | AT azarenkods raspoznavanieakkordovnaosnovemetodaskeletnogoraspoznavaniâ AT gerasimovig raspoznavanieakkordovnaosnovemetodaskeletnogoraspoznavaniâ AT azarenkods rozpíznavannâakordívnaosnovímetoduskeletnogorozpíznavannâ AT gerasimovig rozpíznavannâakordívnaosnovímetoduskeletnogorozpíznavannâ AT azarenkods chordrecognitionmethodbasedontherecognitionofskeletal AT gerasimovig chordrecognitionmethodbasedontherecognitionofskeletal |