Нейромережеве моделювання процесів розпізнавання графічних схем

Нейромережеве моделювання процесів розпізнавання графічних схем

Розроблена нейромережева модель розпізнавання графічних примітивів – вузлів у складі засобів синтаксичного аналізу зображень блок-схем. Сформована базова множина навчальних зображень вузлів БС. Розглянуто етапи програмного синтезу навчальних даних, а також аугментації синтетичних навчальних даних. З...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2019
Hauptverfasser: Чічірін, Є.М., Сосненко, К.П.
Format: Artikel
Sprache:Ukrainian
Veröffentlicht: Інститут кібернетики ім. В.М. Глушкова НАН України 2019
Schriftenreihe:Комп’ютерні засоби, мережі та системи
Online Zugang:http://dspace.nbuv.gov.ua/handle/123456789/168481
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:Нейромережеве моделювання процесів розпізнавання графічних схем / Є.М. Чічірін, К.П. Сосненко // Комп’ютерні засоби, мережі та системи. — 2019. — № 18. — С. 79–85. — Бібліогр.: 6 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id irk-123456789-168481
record_format dspace
spelling irk-123456789-1684812020-05-04T01:26:07Z Нейромережеве моделювання процесів розпізнавання графічних схем Чічірін, Є.М. Сосненко, К.П. Розроблена нейромережева модель розпізнавання графічних примітивів – вузлів у складі засобів синтаксичного аналізу зображень блок-схем. Сформована базова множина навчальних зображень вузлів БС. Розглянуто етапи програмного синтезу навчальних даних, а також аугментації синтетичних навчальних даних. Запропоновано нейромережеві моделі для підвищення точності детектування вузлів БС на основі повнозв'язаних мереж та загорткових нейронних мереж без шарів субдескретизації. Разработана нейросетевая модель распозна-вания графических примитивов – узлов в составе средств синтаксического анализа изображений блок-схем. Сфор-мировано базовое множество обучающих изображений узлов БС. Рассмотрены этапы программного синтеза обучающих данных, а также аугментации синтетических учебных данных. Предложены нейросетевые модели для повышения точности детектирования узлов БС на основе полносвязных сетей и сверточных нейронных сетей без слоев субдискретизаци A neural network model has been developed for recognizing the graphic listed primitives - nodes as part of the tools for parsing graphic images of flowcharts. A basic set of training and test images of BS nodes has been formed. The stages of the software synthesis of training data, as well as the augmentation of synthetic training data for their reproduction, are considered. It is noted that it is necessary not only to classify the node, but also to localize its position, since the reliability of the successful detection of each next node is determined by the accuracy of the combination of the center of the scan window and the center of the real node. Neural network models are proposed to increase the accuracy of detection of flowchart nodes based on fully accessible and convolutional neural networks without layers of subsampling. The expediency of combining syntactic and neural network recognition methods for a wide class of graphic images is substantiated. 2019 Article Нейромережеве моделювання процесів розпізнавання графічних схем / Є.М. Чічірін, К.П. Сосненко // Комп’ютерні засоби, мережі та системи. — 2019. — № 18. — С. 79–85. — Бібліогр.: 6 назв. — укр. 1817-9908 http://dspace.nbuv.gov.ua/handle/123456789/168481 uk Комп’ютерні засоби, мережі та системи Інститут кібернетики ім. В.М. Глушкова НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Ukrainian
description Розроблена нейромережева модель розпізнавання графічних примітивів – вузлів у складі засобів синтаксичного аналізу зображень блок-схем. Сформована базова множина навчальних зображень вузлів БС. Розглянуто етапи програмного синтезу навчальних даних, а також аугментації синтетичних навчальних даних. Запропоновано нейромережеві моделі для підвищення точності детектування вузлів БС на основі повнозв'язаних мереж та загорткових нейронних мереж без шарів субдескретизації.
format Article
author Чічірін, Є.М.
Сосненко, К.П.
spellingShingle Чічірін, Є.М.
Сосненко, К.П.
Нейромережеве моделювання процесів розпізнавання графічних схем
Комп’ютерні засоби, мережі та системи
author_facet Чічірін, Є.М.
Сосненко, К.П.
author_sort Чічірін, Є.М.
title Нейромережеве моделювання процесів розпізнавання графічних схем
title_short Нейромережеве моделювання процесів розпізнавання графічних схем
title_full Нейромережеве моделювання процесів розпізнавання графічних схем
title_fullStr Нейромережеве моделювання процесів розпізнавання графічних схем
title_full_unstemmed Нейромережеве моделювання процесів розпізнавання графічних схем
title_sort нейромережеве моделювання процесів розпізнавання графічних схем
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate 2019
url http://dspace.nbuv.gov.ua/handle/123456789/168481
citation_txt Нейромережеве моделювання процесів розпізнавання графічних схем / Є.М. Чічірін, К.П. Сосненко // Комп’ютерні засоби, мережі та системи. — 2019. — № 18. — С. 79–85. — Бібліогр.: 6 назв. — укр.
series Комп’ютерні засоби, мережі та системи
work_keys_str_mv AT číčírínêm nejromereževemodelûvannâprocesívrozpíznavannâgrafíčnihshem
AT sosnenkokp nejromereževemodelûvannâprocesívrozpíznavannâgrafíčnihshem
first_indexed 2025-07-15T03:15:29Z
last_indexed 2025-07-15T03:15:29Z
_version_ 1837681165679460352
fulltext Computer means, networks and systems. 2019, N 18 79 Нейромережеве моделювання процесів розпізнавання графічних схем Є.М. Чічірін, К.П. Сосненко Інститут кібернетики імені В.М. Глушкова НАН України, 03187, м. Київ, проспект Академіка Глушкова, 40, chenevgen@ukr.net, sosnenkokate@ukr.net E.N. Chichirin, E.P. Sosnenko NEURAL NETWORK MODELING OF GRAPHIC RECOGNITION PROCESSES Abstract. Recognition of the structures of graphic images is impossible without identifying the relationships between their constituent objects. Algorithm flowcharts, along with simple short connections, can contain numerous tracing options for entangled relationships between shapes. In the case of direct neural network simulation of block diagrams together with all their connections, the number of outputs and network size would be unrealistically large for modern technologies. Thus, the final analysis of the relationships and the final structure of the flowcharts is proposed to be carried out on the basis of the rules of grammatical analysis of the relationships of the set of prima- ry objects - graphic primitives of the BS image. For the sake of preserving unity in modelling and recognizing the lines of the contours of figures and the lines of connections between them, the nodes of the joints of the segments of the lines of the con- tours and their connections were selected as primary primitives. These are elementary nodes of the connection of line segments and lines with arrows, which depict turns, reproduction, con- vergence, and simply the continuation of straight and curved lines. A neural network model has been developed for recognizing the graphic listed primitives - nodes as part of the tools for parsing graphic images of flowcharts. A basic set of training and test images of BS nodes has been formed. The stages of the software synthesis of training data, as well as the augmentation of synthetic training data for their reproduction, are considered. It is noted that it is necessary not only to classi- fy the node, but also to localize its position, since the reliability of the successful detection of each next node is determined by the accuracy of the combination of the center of the scan win- dow and the center of the real node. Neural network models are proposed to increase the accuracy of detection of flowchart nodes based on fully accessible and convolutional neural net- works without layers of subsampling. The expediency of com- bining syntactic and neural network recognition methods for a wide class of graphic images is substantiated. Key words: artificial neural networks, machine learning, image recognition, parsing. Анотація. Розроблена нейромережева модель розпізнаван- ня графічних примітивів – вузлів у складі засобів синтакси- чного аналізу зображень блок-схем. Сформована базова множина навчальних зображень вузлів БС.  Є.М. ЧІЧІРІН, К.П. СОСНЕНКО, 2019 Розглянуто етапи програмного синтезу навчальних даних, а також аугментації синтетичних навчальних даних. Запропоновано нейромережеві моделі для підвищення точ- ності детектування вузлів БС на основі повнозв'язаних мереж та загорткових нейронних мереж без шарів субде- скретизації. Ключові слова: штучні нейронні мережі, машинне навчан- ня, розпізнавання зображень, синтаксичний аналіз. Аннотация. Разработана нейросетевая модель распозна- вания графических примитивов – узлов в составе средств синтаксического анализа изображений блок-схем. Сфор- мировано базовое множество обучающих изображений узлов БС. Рассмотрены этапы программного синтеза обучающих данных, а также аугментации синтетических учебных данных. Предложены нейросетевые модели для повышения точности детектирования узлов БС на основе полносвязных сетей и сверточных нейронных сетей без слоев субдискретизации. Ключевые слова: искусственные нейронные сети, машин- ное обучение, распознавание изображений, синтаксиче- ский анализ. Вступ. Сучасні машини успішно досягли 99 % точності в визначенні ознак і об'єктів на зображеннях. Штучні нейронні мережі (ШНМ) імітують людський мозок для вирішення склад- них проблем і пошуку закономірностей в даних. За останні кілька років вони замінили багато алгоритмів машинного навчання і комп'ютерно- го зору. Водночас алгоритми візуального розпі- знавання тільки нещодавно стали навчатися ви- являти закономірності взаємодії та відносин різ- них об'єктів на зображенні (аналіз сцен, анотації зображень тощо). Нейромережеве моделювання графічних зо- бражень, наприклад, блок-схем (БС), належить до таких підрозділів машинного навчання і роз- пізнавання, яке теж не можливе без виявлення зв'язків між складовими фігурами БС. В роботі [1] зазначається, що аналіз структур БС можли- вий на рівні відрізків ліній і їх з'єднань (вузлів), або первинних об'єктів-фігур, та знову ж таки, ліній і їх з'єднань, що пов'язують ці фігури. У разі прямого нейромережевого моделювання Є.М. ЧІЧІРІН, К.П. СОСНЕНКО 80 Комп'ютерні засоби, мережі та системи. 2019, № 18 присутніх в обох випадках численних варіантів зв'язків фігур БС, кількість виходів і розмір ШНМ, що моделює БС, були б нереально вели- кими для сучасних технологій. Наприклад, при загальній кількості фігур БС ,9m їх виходів 11n (дві фігури предиката), кількість класів структур, і відповідно виходів ШНМ ,102)1( 9301  nmk що в мільйон разів перевищує 1000 класів відомої мережі ImageNet. Кількість навчальних прикладів з ура- хуванням їх варіацій для кожного класу – поряд- ку 1110 . Таким чином, остаточний синтаксич- ний аналіз підсумкової структури БС поки що слід виконувати на основі правил граматичного розбору первинних двовимірних об'єктів (графі- чних примітивів) зображення БС, а не за допо- могою ШНМ. Але, якщо відволіктися від необхідності 100 % покриття варіантів зв'язків БС і враховувати ли- ше реальну семантичну складову кожної БС хоча б на рівні сучасного LSA, ШНМ вже нині могли б наробити шуму. Що стосується первинних примітивів зоб- ражень БС, різноманітність яких доступна для моделювання і розпізнавання за допомогою як ШНМ, так і синтаксичних методів, то в їхній якості можуть виступати: - навіть пікселі (точки); - довільно орієнтовані відрізки ліній конту- рів і зв'язків (як в [1]); - вузли з'єднань відрізків ліній контурів і зв'язків (як пропонується); - контури фігур БС (але тоді залишаються ще зв'язки між фігурами). Для збереження єдності при моделюванні і розпізнаванні ліній контурів фігур і ліній з'єд- нань фігур як первинні примітиви обрано вузли з'єднань відрізків ліній контурів, зв'язків і ней- ромережеву згорткову модель для їх розпізна- вання [2]. Згорткова нейронна мережа (ЗНМ) працює добре не тільки з зображеннями, але і з звуком, і текстами за рахунок істотно зменшеної кількості навчальних параметрів (вагових коефіцієнтів), які враховують лише суттєво ко- рельовані (зазвичай, близькі в просторі, часі, застосуванні) елементи вхідних векторів. Сучас- ні фреймворки, такі як Tensorflow, PyTorch, Keras спрощують глибоке навчання ЗНМ. Синтез і аугментація даних. Основні складності в разі нейромережевого розпізна- вання переносяться на підготовку навчальних і тестових (далі навчальних) множин прикладів (даних) і частково на досить тривалий процес машинного навчання. Розглянемо основні ви- моги до вхідних і вихідних навчальних даних ЗНМ, які накладають на них остаточний синтак- сичний підсумковий розбір структури БС. Запропонований в [1] спосіб розпізнавання графічних зображень БС, включаючи зв'язки між фігурами, оснований на послідовному скану- ванні зображень вузлів вздовж ліній зв'язків і контурів фігур, зрівнянні променів iL вузлів, у тому числі двопроменевих вузлів прямих ліній, з множиною V заздалегідь синтезованих ета- лонних радіус-векторів iR з різною орієнтацією i у площині графічних зображень, кратній постійному кроку k/2 їх кута повороту щодо деякого початкового кута 0 : }{ iRV  , },,1|),{( ryxR iii   kikii /360/2  , ,1,0  ki де ,),( iii Ryx  – локальні координати r то- чок радіус-вектора iR . Наявність променя iL зображення в напря- мку і-го радіус-вектора оцінюється шляхом зрі- вняння з деяким порогом суми бінарних значень пікселів зображення по абсолютним координа- там цього радіус-вектора , ix xCX , iy yCY де xC , yC – координати центру сканування поточного вузла. Класифікація вузлів за типами реалізуєть- ся за допомогою сигнатури, в якості якої використовується зростаюча послідовність ,...10    iiizq k індексів променів iL q-го вузла, відносно початкового (при скануванні) променя входу 0L в вузол q, в якій замість постійно нульового значення індексу 00 i за- носиться його абсолютне значення  /00i щодо осі 0x. Відповідно до прийнятих в [1] обмежень, зображення БС є частково орієнтований зв'яза- ний навантаженим текстом граф з множиною вершин Ф і ребер Е. Ребра графа утворюють замкнуті, можливо дугоподібні, контури фігур БС і незамкнуті (деревовидні) об'єднання ліній НЕЙРОМЕРЕЖЕВЕ МОДЕЛЮВАННЯ ПРОЦЕСІВ РОЗПІЗНАВАННЯ ГРАФІЧНИХ СХЕМ Computer means, networks and systems. 2019, N 18 81 зв'язку між фігурами, вершини – вузли з'єднань ліній контурів фігур і ліній зв'язку. Сигнатури вузлів і замкнутість виключно контурів фігур є база для побудови рекурсивно- го алгоритму просування сканера вздовж ліній графа БС. При цьому відносність індексів сигна- тур, крім початкового, робить алгоритм просу- вання інваріантним до орієнтації променів вхо- ду 0L у вузли, а також дає можливість форму- вання абсолютних координат наступних центрів сканування і атрибутів фігур БС як за поточни- ми, так і за відкладеними в стек сигнатурами вузлів. З зазначеного можна зробить такий висно- вок. Для сумісності існуючого алгоритму обходу контурів фігур і гілок зв'язків з запропонованим нейромережевим розпізнаванням вузлів входом і виходом ШНМ на етапі навчання повинні бути графічні зображення і відповідні сигнатури для кожного класу можливих вузлів БС для обраного значення кутового кроку k . Підготовка набору навчальних зображень вузлів (НЗВ) трудомісткий процес, особливо, якщо мова йде про реальні дані. З урахуванням того, що реальні БС в кінцевому підсумку готу- ються із застосуванням програмних засобів, в таблиці представлено такий програмно гене- рований базовий набір НЗВ вузлів БС із зазна- ченням їх класу та сигнатур для 24k і  1512/ . В таблиці 4 типи вузлів утво- рюють 131 клас, кожний з яких має унікальну сигнатуру. . ТАБЛИЦЯ. Базовий набір навчальних зображень вузлів БС Тип вузла Клас Базові зображення можливих вузлів БС Сигнатури 1- проме- неві 1…4 18 18^ 0 0^ 2- проме- неві 5 ...64 0,12 0,11 0,6 14,22 2,10 1,13 1,12 6,12 ....... ...... 2,14 ...... 12,18 17,19 5,7 ...... 12,23 0,18 9,21 0,13 4,18 8,18 10,22 ....... ...... ...... 11,23 10,23 1,23 1,13 3- проме- неві 65...124 6, 12^,18^.......... 6, 12, 18 0^,12, 18^ ........ 0, 12, 18 0^,6^, 18^...........0, 6, 18 0, 6^, 12^...........0, 6, 12 0, 7, 17...1, 8,18 0^, 7,17.. 0, 8, 16...1, 9, 17 0^, 8,16.. 0, 9, 15...1,10,16 0^, 9,15.. 0,10,14...1,11,15 0^,10,14.. 0,11,13.. 1,12,14 0^,11,13.. 4- проме- неві 125...131 0^,6, 12^,18 0, 6^,12, 18^ 0^, 6^,12^, 18 0, 6^,12^, 18^ 0^, 6, 12^, 18^ 0^, 6^, 12, 18^ 0, 6, 12, 18 Є.М. ЧІЧІРІН, К.П. СОСНЕНКО 82 Комп'ютерні засоби, мережі та системи. 2019, № 18 Формат представлення НЗВ m x m = = 21х21 пікселів. Значення формату m і куто- вого кроку k обрано з міркувань фільтрування впливу периферійних областей вузлів БС на помилки їх класифікації і збереження важливої інформації з навколо центральних областей цих вузлів. Значення індексів сигнатур 1271  i представлено байтом цілих чисел від 1 до 127. Індексам променів зі стрілками відповідають значення 128^ i (тільки в базі НЗВ). Множина НЗВ розбита на групи відпо- відно до кількості променів у вузлі та від- по- відає наступним значенням і діям: а) однопроменеві вузли зустрічаються тільки на етапі виявлення стартової точки ал- горитму розпізнавання БС; б) двопроменеві НЗВ утворюють 4 підгру- пи, всього з 60 зображень: 1) 12 НЗВ – апроксимують лінії (прямі) без утворення нового вузла апроксимації, якщо зміна  напрямку лінії порівняно з поперед- нім вузлом знаходиться у діапазоні kk //  ; 2) 24 НЗВ – апроксимують вигнуті лінії контурів фігур. Утворює новий вузол у разі зміни напрямку вигнутої лінії порівняно з по- переднім вузлом знаходиться у діапазоні kk /3/  ; 3) 4 НЗВ – апроксимують кутові вузли прямокутників і прямі кути вузлів ліній зв'яз- ків при )/2//2/ kk  ; 4) 5х4 = 20 НЗВ – апроксимують усі 4 кутові вузли ромбів при )/3/3 kk  ; в) трипроменеві НЗВ – утворюють підгру- пи вузлів ліній зв'язку та відводів до прямоку- тника і ромба, всього 4х5 + 5х4х2 = 60 зобра- жень: г) чотирипроменеві НЗВ – утворюють 6 зображень вузлів і один перетин ліній зв'язку. Алгоритм генерування базового набору очевидним чином випливає з характеру пред- ставлених зображень, а саме, обертання на необхідне (4, 5, 12, 24) число раз стартових зображень навколо центру вузла. Тут тільки треба відмітити, що повинне обертатися не само зображення, а відповідним чином пере- раховуватися кутові параметри його генеру- вання. Це дає можливість зберегти редактор- ський алгоритм формування ліній і стрілок різної орієнтації. З тієї ж причини недоцільно економити на базовому наборі і обертати не НЗВ, а сканований з БС вузол. Запропонований базовий набір НЗВ вклю- чає 131 позицію, що явно недостатньо для на- вчання навіть неглибокої ШНМ. Аугментація (збільшення) кількості НЗВ – метод, який до- зволяє програмно отримати додаткові віртуа- льні навчальні приклади шляхом 2D і 3D- трансформацій візуальних форм базових зраз- ків. У нашому випадку – це просто розширен- ня списку програмних алгоритмів генерації і обробки зображень, а саме: - дзеркальні відображення, повороти і зрушення в площині рисунку; - зміна видів стрілок і товщини ліній; - масштабування й інші довільні трансфо- рмації по горизонтальних і вертикальних осях 2D-зображення; - зміна контрасту, яскравості кольору і фону зображень; - додавання шуму. Всі перераховані форми аугментації, крім першої групи, можуть бути використані для збільшення НЗВ. Частина алгоритмів автома- тично підтримується в Tensorflow і PyTorch. Наприклад, масштабування і додавання шуму. Частина реалізується спеціально розроблени- ми програмами. На рисунку показується гра- фічне відображення результату роботи такої програми, розробленої для підготовки різно- манітних можливих зображень вузлів при створенні БС. Дзеркальні відображення не є інваріант- ними зображеннями одного того ж класу вуз- лів, так як вже представлені в базовому наборі різними класами з різними сигнатурами. І нарешті, важливе питання для стійкості алгоритму керованого просування вікна скане- ра напряму зв'язано з використанням зобра- жень, які отримані за рахунок поворотів і зсу- вів базових НЗВ. Такі інваріантні перетво- рення дійсно корисні для методів класифікації, особливо за допомогою згорткових ШНМ. Але в даному випадку завдання ШНМ не тільки класифікувати вузол, а й локалізувати (визна- чити) його положення в площині БС, інакше – "детектувати" вузол. При цьому достовірність успішного детектування кожного наступного вузла визначаються точністю поєднання центру НЕЙРОМЕРЕЖЕВЕ МОДЕЛЮВАННЯ ПРОЦЕСІВ РОЗПІЗНАВАННЯ ГРАФІЧНИХ СХЕМ Computer means, networks and systems. 2019, N 18 83 РИСУНОК. Аугментація базового набору навчальних зображень вузлів за рахунок товщини ліній і розмірів стрілок вікна сканування з центром реального вузла. Це пов'язано з тим, що глобальні (абсолютні) координати кожного наступного вузла вздовж лінії сканування являються сумами: t x t x t xCC 1 , t y t y t yCC 1 , де x tC , y tC – глобальні координати центру сканування поточного вузла; tx , ty – локальні (відносні) координати, які незалежно прописані для кожного індексу сигнатури кожного класу. Тобто положення наступного центру визначається вектором V довжини myx tt  2/122 )( (за замовчуван- ням 8 ), проведеним з центру поточного вузла з координатами x tC . y tC , під кутом  , який задано індексом наступного обраного променя  1ti . Структура моделі. Отже помилки позиці- онування центру вікна сканера за рахунок дискретної апроксимації локальних зсувів tx , ty , і не кратних кроку V відстаней між вуз- Є.М. ЧІЧІРІН, К.П. СОСНЕНКО 84 Комп'ютерні засоби, мережі та системи. 2019, № 18 лами БС, можуть накопичуватися і привести до критичних збоїв розпізнавання. Далі запро- поновані варіанти організації нейромережево- го моделювання БС для компенсації вказаної накопичуваної помилки. Всі методи викорис- товують додаткове навчання ШНМ на аугмен- тованих зображеннях вузлів зі зміщеними центрами, отриманих за рахунок зсувів x і y координат центру базових НЗВ: xmC x  2/)1( , ymC y  2/)1( . Перший варіант нейромережевої моделі передбачає використання повністю пов'язаної ШНМ (FFN), або інакше – багатошарового персептрона. FFN модель має більше парамет- рів, чим CNN (але в розумних межах для 21m ) і більш чутлива до зсуву зображень, тому її можна навчити розрізняти зображення з різними невеликими значеннями зсувів x і .y Для цього кожної комбінації зсувів *x і *y з їх загальної кількості *x * *y (вклю- чно базову нульову комбінацію) призначається свій клас вузлів з тією ж самою сигнатурою, але з компенсованими локальними координа- тами ** xxx tt  , ** yyy tt  . Другий варіант – згорткова ШНМ (CNN). CNN за рахунок шарів субдискретизації більш інваріантні до масштабування і зсуву зобра- жень, і тому краще класифікують зображення одного класу з невеликими зсувами координат *x і *y центру сканованих зображень вуз- лів. Ці зсуви поточного вузла мережею CNN ніде не фіксуються і помилкові координати наступних вузлів далі можуть накопичуватися tt x t x t xCC  )( ** 1 tt y t y t yCC  )( ** 1 . Усунення цього недоліку можливо шля- хом виключення з CNN шарів субдискретиза- ції. Це приведе до збільшення кількості пара- метрів, але знову ж таки – не набагатьох для ( 21m ). Навчання модифікованої CNN вико- нується так, як в першому варіанті. Для навчання та дослідження запропоно- ваних моделей ШНМ використовувався фрей- мворк PyTorch. Це другий за популярністю фреймворк для побудови глибоких ШНМ, пропонує простий на базі мови Python API, підтримує тензорні динамічні обчислювальні графіки, автоматичне диференціювання і роз- рахунок градієнтів, у тому числі з викорис- танням GPU. Спадкування функції базового класу nn.Module дозволяє створювати і ефек- тивно використовувати практично всі архітек- тури і технології глибоких ШНМ. Післямова. Повертаючись до зауваження про необхідності 100 % покриття варіантів зв'язків БС, слід все ж уточнити, що людина цілеспрямовано мінімізує довжину та спрощує конфігурації зв'язків між фігурами БС. Систе- ми автоматизованого проектування роблять це ще краще. Але можливість появи в БС навіть одного заплутаного зв'язку потребує навчати ШНМ на всіх можливих конфігураціях таких зв'язків, а це теж нереально. З іншого боку, необхідність подання стру- ктур, процесів і алгоритмів у вигляді БС вини- кає в разі складності побудови однозначного для сприйняття відповідного текстового опису. Тобто в БС з самого початку закладена більш проста і формалізована мова уявлень, ніж при- родна мова людини, і тому складність розпі- знавання таких конструкцій має бути технічно простіше. Досягнення в області обробки (на- приклад, переведення) природних мов за останні роки дуже вражаючі. В першу чергу це стало можливо за рахунок застосування таких нейромережевих технологій, як рекурентне перетворення (трансляція) текстової послідов- ності в іншу послідовність – seq2seq [3], век- торне семантичне представлення (embedding) слів в word2vec [4], облік елементів уваги – attention [5]. Тому уявити як одну із сторін такої трансляції довільне зображення, в тому числі БС, цілком можливо, що і було зроблено [6]. Основна складність тут полягає у тому, що ШНМ все ще не спроможні самостійно гаран- тувати достатню точність детектування всіх складових зображення і трансляції сукупної композиції в адекватні семантичні (особливо технічні) характеристики. Людина розпізнає зв'язки на зображеннях вибірковим їх скануванням на основі, напри- клад, уваги, спільним розв'язуванням за допо- могою логічних (синтаксичних) або образних (нейромережевих) підходів. При цьому в ієра- рхії об'єктів, що утворюють зображення, для кожної системи розпізнавання, вочевидь, існує НЕЙРОМЕРЕЖЕВЕ МОДЕЛЮВАННЯ ПРОЦЕСІВ РОЗПІЗНАВАННЯ ГРАФІЧНИХ СХЕМ Computer means, networks and systems. 2019, N 18 85 деяке оптимальне співвідношення величин складності самих об'єктів і зв'язків між ними. Наприклад, людина розпізнає заплутані зв'яз- ки в БС послідовним скануванням їх первин- них графічних примітивів, в якості яких, в кращому разі, виступають закінчені відрізки ліній між вузлами, візуально відмітними від самої лінії. Скоріш за все, це також буде най- кращий автоматично обраний рівень деталіза- ції зв'язків БС у складі наступних нейромере- жево-синтаксичних (або нейрологічних) засо- бів розпізнавання і опису довільних зображень і відео. Висновки. Розроблена нейромережева модель розпізнавання графічних примітивів у складі засобів синтаксичного аналізу графіч- них зображень блок-схем. Сформована базова множина навчальних і тестових зображень вузлів БС. Розглянуто етапи програмного син- тезу й аугментації синтетичних навчальних даних. Запропоновано нейромережеві моделі для підвищення точності процесів детекту- вання вузлів БС на основі повнозв'язаних та згорткових мереж. Обґрунтовано доцільність поєднання синтаксичних та нейромережевих методів розпізнавання для широкого класу графічних зображень. СПИСОК ЛІТЕРАТУРИ 1. Чічірін Є.М. Распознавание структуры графических изображений блок-схем.. Комп`ютерні засоби, мере- жі та системи. 2017. № 16. С. 87 – 96. 2. LeCun, Yann. LeNet-5, convolutional neural networks. November 2013. 3. Sutskever I., Vinyals O., & Le Q.V. Sequence to sequence learning with neural networks. In Advances in Neural In- formation Processing Systems. 2014. 4. Mikolov T., Corrado G., Chen K., & Dean J. Efficient Estimation of Word Representations in Vector Space. Proceedings of the International Conference on Learning Representations. ICLR 2013. 5. Bahdanau D., Cho K., & Bengio Y. Neural Machine Translation by Jointly Learning to Align and.Translate. In ICLR 2015. 6. Vinyals O., Toshev A., Bengio S., & Erhan, D. Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. P. 3156–3164. REFERENCES 1. Chichirin E.N. Recognition of the structure of graphic images of flowcharts. Computer system, measure and system. 2017. No. 16. S. 87 – 96. 2. LeCun, Yann. LeNet-5, convolutional neural networks. November 2013. 3. Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems. 4. Mikolov, T., Corrado, G., Chen, K., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. Proceedings of the International Conference on Learning Representations (ICLR 2013). 5. Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. In ICLR 2015. 6. Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and tell: A neural image caption generator. In Pro- ceedings of the IEEE conference on computer vision and pattern recognition (P. 3156–3164). Одержано 24.09.2019

Ähnliche Einträge