Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень
In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticit...
Gespeichert in:
| Datum: | 2022 |
|---|---|
| Hauptverfasser: | , , , |
| Format: | Artikel |
| Sprache: | Englisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2022
|
| Schlagworte: | |
| Online Zugang: | http://journal.iasa.kpi.ua/article/view/275082 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
Institution
System research and information technologies| _version_ | 1856543567857582080 |
|---|---|
| author | Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris |
| author_facet | Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris |
| author_sort | Martynenko, Andrii |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2023-05-21T20:04:38Z |
| description | In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticity — provenance. Automation of such examination is hampered by the need to take into account numerical values of visual features, quality indicators, and verbal descriptions from provenance. In this paper, we consider the problem of automatic multi-task classification of paintings for museum expertise. A system architecture is proposed that checks provenance, implements a fine-grained image analysis (FGIA) of visual image features, and automatically classifies a painting by authorship, genre, and time of creation. Provenance is contained in a knowledge graph; for its vectorization, it is proposed to use a graph2vec type encoder with an attention mechanism. Fine-grained image analysis is proposed to be performed using searching discriminative regions (SDR) and learning discriminative regions (LDR) allocated by convolutional neural networks. To train the classifier, a generalized loss function is proposed. A data set is also proposed, including provenance and images of paintings by European and Ukrainian artists. |
| first_indexed | 2025-07-17T10:28:05Z |
| format | Article |
| id | journaliasakpiua-article-275082 |
| institution | System research and information technologies |
| language | English |
| last_indexed | 2025-07-17T10:28:05Z |
| publishDate | 2022 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| spelling | journaliasakpiua-article-2750822023-05-21T20:04:38Z The problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks In order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticity — provenance. Automation of such examination is hampered by the need to take into account numerical values of visual features, quality indicators, and verbal descriptions from provenance. In this paper, we consider the problem of automatic multi-task classification of paintings for museum expertise. A system architecture is proposed that checks provenance, implements a fine-grained image analysis (FGIA) of visual image features, and automatically classifies a painting by authorship, genre, and time of creation. Provenance is contained in a knowledge graph; for its vectorization, it is proposed to use a graph2vec type encoder with an attention mechanism. Fine-grained image analysis is proposed to be performed using searching discriminative regions (SDR) and learning discriminative regions (LDR) allocated by convolutional neural networks. To train the classifier, a generalized loss function is proposed. A data set is also proposed, including provenance and images of paintings by European and Ukrainian artists. Для запобігання незаконному вивезенню картин за кордон проводиться музейна експертиза з використанням різних методів дослідження твору мистецтва, зокрема аналіз історичних, мистецтвознавчих, фінансових та інших відомостей і документів, що підтверджують справжність картин – провенансу. Автоматизація такої експертизи ускладнюється необхідністю враховувати числові значення візуальних ознак, показників якості та словесні описи з провенансу. Розглянуто завдання автоматичної багатозадачної класифікації картин під час музейної експертизи. Запропоновано архітектуру системи, яка перевіряє провенанс, реалізує детальний аналіз (FGIA) візуальних ознак зображення та виконує автоматичну класифікацію картини за авторством, жанром та часом створення. Провенанс міститься у графі знань, для векторизації якого запропоновано використовувати енкодер типу graph2vec з механізмом уваги, а детальний аналіз пропонується виконувати за допомогою пошукових відмітних регіонів (SDR) та навчальних відмітних регіонів (LDR), що виділяються згортковими нейронними мережами. Для навчання класифікатора запропоновано узагальнену функцію втрат, а також набір даних, що включає провенанс та зображення картин європейських та українських художників. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022-12-27 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/275082 10.20535/SRIT.2308-8893.2022.4.05 System research and information technologies; No. 4 (2022); 58-67 Системные исследования и информационные технологии; № 4 (2022); 58-67 Системні дослідження та інформаційні технології; № 4 (2022); 58-67 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/275082/270205 |
| spellingShingle | автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі Martynenko, Andrii Tevyashev, Andriy Kulishova, Nonna Moroz, Boris Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title | Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_alt | The problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis |
| title_full | Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_fullStr | Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_full_unstemmed | Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_short | Проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| title_sort | проблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображень |
| topic | автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі |
| topic_facet | автоматична багатозадачна класифікація граф знань механізм уваги дрібнодетальний аналіз зображень музейна експертиза твори живопису згорткові нейронні мережі automatic multi-task classification knowledge graph attention mechanism fine-grained image analysis museum expertise paintings convolutional neural networks |
| url | http://journal.iasa.kpi.ua/article/view/275082 |
| work_keys_str_mv | AT martynenkoandrii theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT tevyashevandriy theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT kulishovanonna theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT morozboris theproblemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT martynenkoandrii problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT tevyashevandriy problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT kulishovanonna problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT morozboris problemaavtomatičnoíklasifíkacíízobraženʹzavikoristannâíntelektualʹnoísistemiprijnâttâríšenʹnaosnovígrafaznanʹítočnogoanalízuzobraženʹ AT martynenkoandrii problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT tevyashevandriy problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT kulishovanonna problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis AT morozboris problemofautomaticclassificationofpicturesusinganintelligentdecisionmakingsystembasedontheknowledgegraphandfinegrainedimageanalysis |