Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу

Проведено порівняльний аналіз класичних нелінійних методів стабілізації яскравості та підвищення контрастності відеоданих. Уперше запропоновано оригінальний метод лінійної стабілізації яскравості відеопотоку з реалізацією в реальному часі. Наукова новизна отриманих результатів полягає у створенні но...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Проблеми керування та інформатики
Дата:	2024
Автори:	Білозерський, В.О., Білоус, О.О., Дергачов, К.Ю., Краснов, Л.О.
Формат:	Стаття
Мова:	Українська
Опубліковано:	Інститут кібернетики ім. В.М. Глушкова НАН України 2024
Теми:	Методи обробки та захисту інформації
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/211142
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу / В.О. Білозерський, О.О. Білоус, К.Ю. Дергачов, Л.О. Краснов // Проблеми керування та інформатики. — 2024. — № 1. — С. 87–103. — Бібліогр.: 16 назв. — укр

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860017025952251904
author	Білозерський, В.О. Білоус, О.О. Дергачов, К.Ю. Краснов, Л.О.
author_facet	Білозерський, В.О. Білоус, О.О. Дергачов, К.Ю. Краснов, Л.О.
citation_txt	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу / В.О. Білозерський, О.О. Білоус, К.Ю. Дергачов, Л.О. Краснов // Проблеми керування та інформатики. — 2024. — № 1. — С. 87–103. — Бібліогр.: 16 назв. — укр
collection	DSpace DC
container_title	Проблеми керування та інформатики
description	Проведено порівняльний аналіз класичних нелінійних методів стабілізації яскравості та підвищення контрастності відеоданих. Уперше запропоновано оригінальний метод лінійної стабілізації яскравості відеопотоку з реалізацією в реальному часі. Наукова новизна отриманих результатів полягає у створенні нового алгоритму, здатного ефективно стабілізувати яскравість відеопотоку в умовах негативного впливу зовнішніх факторів, зберігаючи якість відео. Результати підтверджено експериментально. A comparative analysis of classical nonlinear methods for stabilizing brightness and increasing video data contrast has been conducted. For the first time, an original linear brightness stabilization method for video streaming, implemented in real time, is proposed. The scientific novelty of the obtained results lies in creating a new algorithm capable of effectively stabilizing video stream brightness under adverse external factors while maintaining video quality. The results are experimentally verified.
first_indexed	2026-03-18T16:14:25Z
format	Article
fulltext	© В.О. БІЛОЗЕРСЬКИЙ, О.О. БІЛОУС, К.Ю. ДЕРГАЧОВ, Л.О. КРАСНОВ, 2024 Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 87 УДК 004.932 В.О. Білозерський, О.О. Білоус, К.Ю. Дергачов, Л.О. Краснов ОЦІНКА ЕФЕКТИВНОСТІ НОВОГО МЕТОДУ СТАБІЛІЗАЦІЇ ЯСКРАВОСТІ ВІДЕОПОТОКУ В РЕАЛЬНОМУ МАСШТАБІ ЧАСУ Білозерський Владислав Олександрович Національний аерокосмічний університет ім. М.Є. Жуковського «Харківський авіа- ційний інститут», orcid: 0000-0002-5503-3163 v.o.bilozerskyi@khai.edu Білоус Олександр Олександрович Національний аерокосмічний університет ім. М.Є. Жуковського «Харківський авіа- ційний інститут», orcid: 0009-0004-2362-7460 aabelous@ukr.net Дергачов Костянтин Юрійович Національний аерокосмічний університет ім. М.Є. Жуковського «Харківський авіа- ційний інститут», orcid: 0000-0002-6939-3100 k.dergachov@khai.edu Краснов Леонід Олександрович Національний аерокосмічний університет ім. М.Є. Жуковського «Харківський авіа- ційний інститут», orcid: 0000-0003-2607-8423 leonid.krasnov.1947@gmail.com Проведено порівняльний аналіз класичних нелінійних методів стабілізації яскравості та підвищення контрастності відеоданих, а також уперше запро- поновано оригінальний метод лінійної стабілізації яскравості відеопотоку і працюючий в реальному масштабі часу алгоритм, що його реалізує. Дано обʼєктивну оцінку якості стабілізації яскравості відеоданих за результатами попереднього оброблення порівняно з нелінійними методами. Метою ро- боти є створення методології аналізу мінливості параметрів відеоданих під впливом негативних чинників і розробка ефективних алгоритмів стабілізації параметрів відеопотоку; ретельно перевіряється достовірність нового ме- тоду на реальних відеозаписах, здійснених у різних умовах. Визначено най- більш універсальний, стійкий до зовнішніх впливів та інформативний пока- зник, необхідний для обʼєктивного оцінювання якості відеоданих за різних умов знімання та особливостей освітлення сцени; розроблено та програмно реалізовано лінійний алгоритм, що дає змогу ефективно стабілізувати яск- равість відео в реальному масштабі часу. Розробка базується на основі су- часних засобів програмування. Для дослідження проведено статистичний аналіз та попередню обробку параметрів відеопотоку як випадкового прос- торово-часового процесу, алгоритми обробки відеоданих в реальному мас- штабі часу шляхом цифрової фільтрації та адаптивної стабілізації парамет- рів відеопотоку. Запропоновано та експериментально доведено, що оптима- льним показником якості відеопотоку є середня кадрова яскравість (Average Frame Brightness — AFB). Описано лінійний алгоритм просторово-часової обробки відеоданих, який генерує послідовність значень AFB з вихідного відеопотоку, а також цифрові алгоритми фільтрації та стабілізації яскра- вості відеопотоку та досліджено ефективність їх застосування. Наукова mailto:aabelous@ukr.net mailto:leonid.krasnov.1947@gmail.com 88 ISSN 2786-6491 новизна отриманих результатів полягає в новому методі аналізу та оцінки параметрів даних відеоспостереження, алгоритмах фільтрації та стабілізації яскравості відеопотоку в реальному масштабі часу. Продуктивність запро- понованих алгоритмів перевірено на реальних даних. Алгоритми реалізо- вані в програмному середовищі Python з використанням функцій бібліотеки OpenCV. Ключові слова: відеопотік, середня яскравість кадру, тренд яскравості ві- део, цифрова фільтрація трендів, алгоритми стабілізації яскравості в реаль- ному масштабі часу. Вступ Нині спостерігається значний прогрес у розвʼязанні різних задач розпізна- вання образів методами компʼютерного зору. Дуже важливу роль при цьому відіг- рають методи й алгоритми штучного інтелекту на базі нейронних мереж з глибоким навчанням. Їх ефективність висока — ймовірність безпомилкових рішень стано- вить понад 99 %. Однак існує низка негативних експлуатаційних чинників, що іс- тотно обмежують можливості їх використання. Іноді це призводить навіть до пору- шення працездатності систем обробки даних. До основних чинників, що обмежу- ють якість процедур виявлення і розпізнавання образів, відносять погані та мінливі умови освітлення сцени, а також неконтрольовані переміщення і тремтіння камери під час зйомки відео. Стабілізація яскравості та контрастності відеопотоку і компенсація впливу неконтрольованого положення камери — основна суть попе- редньої обробки відеоданих програмними засобами. Слід зазначити наполегливі спроби радикального розвʼязання проблеми попереднього опрацювання відео з боку багатьох дослідників, їхні результати розглядаються далі. Але, на жаль, остаточного вирішення цих завдань на сьогоднішній день немає. Тому подальші дослідження актуальні й, безумовно, корисні. Мета роботи — досягнення стабілізації яскравості відеопотоку з максимально можливою якістю та без відчутного погіршення візуальної складової при його пе- регляді. Для досягнення цієї мети планується розробка нового методу стабілізації та відповідного алгоритму його реалізації. Окремо увагу приділено забезпеченню можливості обробки відеопотоку в реальному масштабі часу. Для досягнення даної мети ставилися такі завдання: • провести порівняльний аналіз відомих робіт щодо поліпшення контрастності та стабілізації яскравості даних у системах відеоспостереження; • розробити універсальний, стійкий та інформативний показник якості, що дає змогу обʼєктивно оцінити стан відеоданих за різних умов зйомки та характеру осві- тленості сцени; • створити ефективний лінійний алгоритм стабілізації показника яскравості прийнятого відеопотоку за результатами аналізу; • дослідити можливість роботи алгоритму з відеопотоками високої роздільної здатності у форматі Full HD і Ultra HD у режимі реального часу; • оцінити властивості відеоданих у результаті їх попередньої обробки за зага- льноприйнятими статистичними критеріями якості; • написати мовою Python з використанням функцій бібліотеки OpenCV про- грамні коди для роботи нового алгоритму; • перевірити і підтвердити на реальних записах відеоспостережень достовір- ність отриманих результатів. Як зазначалося, попереднє опрацювання вихідного відео для компенсації негатив- них зовнішніх впливів сприяє комфортнішому візуальному сприйняттю відео і повні- шому й ефективнішому використанню методів і алгоритмів компʼютерного зору. Перші ранні спроби підвищення контрасту цифрових зображень і відео засновані на методі еквалізації (вирівнювання) гістограм розподілу яскравостей пікселів [1, 2]. Це простий і досить ефективний метод поліпшення якості зображення. Однак йому Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 89 притаманна й низка суттєвих недоліків. Головний з них — значна зміна середньої яскравості зображення. Це зазвичай тягне за собою надмірне посилення шумів і появу інших дратівливих артефактів. Глобальна зміна яскравості призводить до не- донасичення, або перенасичення окремих фрагментів зображення. Проблема стабілізації яскравості зображення для поліпшення якості зорового сприйняття значно загострилася з розвитком засобів компʼютерного зору, що вимага- ють більш якісної стабілізації інформаційних параметрів. У звʼязку з цим опублі- кована низка робіт [3−5], у яких ставилося завдання — поліпшити метод еквалізації гістограми. Розглядалися й аналізувалися модифіковані методи еквалізації гістог- рам, засновані на бігістограмній або мультигістограмній еквалізації, і еквалізації гістограм з обрізанням. Пізніше зʼявилися й інші публікації з різними пропозиці- ями щодо поліпшення процедури підвищення контрастності [6−9]. На найбільшу увагу заслуговують публікації [10, 11], які мають оглядовий характер цієї про- блеми. Однак усі спроби збільшення контрастності зі збереженням характеристик яскравості кадрів не мали успіху, оскільки процедура еквалізації сама по собі нелі- нійна, а це неминуче порушує колірний баланс кадрів відео та неконтрольованої зміни їхньої середньої яскравості. У роботах [12−14] запропоновано альтернативний метод розвʼязання задачі підвищення якості даних відеоспостереження — метод лінійної стабілізації яскра- вості кадрів на основі аналізу показника середньої яскравості (Average Frame Brightness — AFB), який істотно перевершує за характеристиками якості класичні алгоритми поліпшення яскравості та контрастності. Оцінювання якості перетво- рень проводили з використанням сучасних статистичних метрик, що врахову- ють властивості зорової системи людини (Human Vision System — HVS) [15, 16]. Аналіз показав необхідність продовження досліджень, які, безсумнівно, сприяти- муть підвищенню ефективності систем компʼютерного зору. Реалізація алгоритмів підвищення контрастності та стабілізації яскравості відео Для обʼєктивного порівняння показників якості запропонованого лінійного алгоритму стабілізації яскравості відео та класичних алгоритмів підвищення його контрастності виконано їхню програмну реалізацію. На рис. 1 , а, б наведено два варіанти класичного алгоритму еквалізації кадрів відеопотоку: з використанням колірного простору HSV і простору YIQ. Рис. 1 а б H V Veq q Veq q S I Q Y 90 ISSN 2786-6491 Структура цих алгоритмів гранично проста, особливість їх використання зу- мовлена нелінійністю процедури еквалізації, виконання якої в ортогональному ко- лірному просторі RGB істотно порушує колірний баланс. Тому потрібен перехід в інший колірний простір з незалежною компонентою яскравості та двома каналами колірного балансу зображення. Такими просторами є HSV і YIQ, який з них кра- щий, покажемо далі. Після еквалізації каналу яскравості здійснюється зворотний перехід у RGB. Програмний код одного з таких алгоритмів показано на рис. 2. Тут і далі всі приклади реалізації алгоритмів і розрахунки показників якості наведено мо- вою програмування Python з використанням ресурсів бібліотеки OpenCV. Зазначимо, що в програмі для оцінки можливості роботи запропонованого ал- горитму в реальному масштабі часу розраховується час виконання необхідних процедур. Рис. 2 Запропонований авторами лінійний алгоритм стабілізації яскравості відеопо- току детально описано в [12–14], його структуру показано на рис. 3. Видно, що структуру класичного алгоритму доповнено такими блоками: зміна розмірів кадру (Frames Reszing), обчислення середньої яскравості кадру AFB (Average brightness calculation), НЧ-фільтрації (Low-pass Filtration), лінійного дискримінатора рівня се- редньої яскравості кадру (Linear Discriminator for Brightness Level), алгоритму ста- білізації яскравості кадру (Brightness Stabilization Algorithm). Блок зміни розмірів кадру забезпечує роботу алгоритму стабілізації в реаль- ному масштабі часу під час використання відео високої роздільної здатності, на- приклад, у форматі Full HD. Зменшення розмірів кадру помітно зменшує наванта- ження на процесор комп’ютера при обчисленні показника AFB у блоці Average Brightness Calculation за формулою 1 1 1 AFB ( , ), N M n m V n m MN = = =   (1) де ( , )V n m — двовимірний масив чисел, що визначають яскравість пікселів зобра- ження кадру розміром .M N На рис. 4 показано програмний код функції обчислення AFB-кадру в HSV-фор- маті, а на рис. 5 — програмний код лінійного алгоритму корекції яскравості відео. Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 91 Рис. 3 Під час аналізу зміни яскравості кадрів відеопотоку добре видно, що це ви- падковий процес, який містить низькочастотну та високочастотну компоненти. Швидка і спонтанна зміна яскравості кадрів відео характеризує ВЧ-компоненту як перешкоду, для усунення якої необхідно використовувати процедуру НЧ-філь- трації. Блок НЧ-фільтрації проводить обчислення за формулою filtr 1 1 AFB , W w w AFB W = =  (2) V H S 92 ISSN 2786-6491 де wAFB — одновимірний масив чисел, що представляють послідовність значень середньої яскравості кадрів AFB (див. формулу (1)) у межах вікна W-фільтра. На кожному новому кроці фільтрації буфер зсувається, до нього додають нове значення AFBw + 1 і прибирають найстаріше AFB1, після чого процедуру усеред- нення повторюють. Так вікно фільтра ковзає масивом значень AFB. Рис. 4 Рис. 5 Далі в блоці лінійного дискримінатора рівня середньої яскравості кадру середня яскравість кадрів після згладжування НЧ-фільтром обирається як опорне значення, і для кожного кадру відеопотоку визначається різниця значень середньої яскравості вихідного значення AFBі та опорного значення filtrі AFB (2) з урахуванням знака. Блок алгоритму стабілізації яскравості кадру працює за логікою, що визнача- ється формулою - ;i i filtr iAFB AFB AFB = 0 ;i i correction i iif AFB then AFB AFB AFB−  =  .0i i correction i iif AFB then AFB AFB AFB+  =  Для всіх значень корекції вводяться обмеження, які не дають змоги пікселям стабілізованого кадру вийти за межі діапазону яскравостей [0, ..., 255]. Це оберігає від появи недонасиченості або перенасиченості окремих фрагментів кадру. Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 93 Оцінка ефективності алгоритмів поліпшення якості відео Для обʼєктивного оцінювання якості різних алгоритмів необхідно провести їхнє тестування на наборі відеозаписів з різними властивостями: різною розділь- ною здатністю кадрів і різною частотою їхнього проходження (fps). Сформовано набір відеофайлів для тестування, їхні характерні кадри показано на рис. 6. Рис. 6 Для повноти аналізу розглянемо як візуальні, так і кількісні маркери. До візу- альних показників слід віднести зображення кадрів відео до і після підвищення ко- нтрастності та стабілізації яскравості, а також гістограми розподілу яскравостей ка- дрів відео до і після цих перетворень. Для опрацювання цифрових зображень прийнято використовувати кілька популярних статистичних показників для оцінювання якості перетворень. У да- ному випадку доцільно використовувати такий набір показників . 1. AMBE (Absolute Mean Brightness Error). Для оцінки ефективності збере- ження вихідної яскравості кадру прийнято оцінювати абсолютну помилку серед- ньої яскравості AMBE. Вона визначається як абсолютна різниця між середнім зна- ченням яскравості вихідного і перетвореного кадрів і є важливим маркером якості перетворення [10, 11]: output input AMBE AFB AFB ,I I= − (3) де intput AFBI і output AFBI — середня яскравість вихідного і перетвореного кадрів відповідно, AFB — середнє статистичне значення яскравості кадру, і обчислюється за формулою 1 1 1 AFB ( , ). N M n m V n m MN = = =   а б в д e г 94 ISSN 2786-6491 Зменшення значення AMBE вказує на краще збереження яскравості зобра- ження. Рівняння (3) показує, що AMBE призначений для виявлення одного з неприємних спотворень — надмірної зміни яскравості. 2. PSNR (Peak Signal to Noise Ratio). Зазвичай як показник подібності вико- ристовують пікове відношення сигнал/шум, що визначається формулою 2 10 255 10log ,PSNR MSE = де середньоквадратична помилка MSE (Mean Square Error) визначається виразом 1 1 2 0 0 , , 1 ( ( ) ( , )) M N i j MSE I m n C m n M N − − = = = −    де ( , ) i ( , )I m n C m n — вихідне і скореговане зображення кадру. Цей показник ви- користовують для аналізу якості перетворень у більшості додатків. 3. NCC (Normalized-Cross-Correlation). Нормалізована крос-кореляція NCC показує, наскільки сильно вихідний та перетворений кадри корелюють між собою. Значення NCC лежить у діапазоні від 0 до 1. Якщо значення NCC дорівнюють 1, це означає повну ідентичність кадрів. NCC представляється формулою 1 1 1 1 2 0 0 0 0 1 ( ( , ) ( ., )) ( ( , ))/ M N M N i j i j NCC S i j C i j S i j M N − − − − = = = = =       4. SSIM (Structural Similarity Index Measurement) — вимірювання індексу структурної подібності. Це метрика оцінки якості зображення, яка порівнює два зображення (вихідне та перетворене) для отримання подібності між ними. Пропо- нується як поліпшення PSNR. SSIM набуває форми (2 ) (2 )1 2( , ) , 2 2 2 2( ) ( )1 2 c cC S CSSSIM C S c cC S C S   +   + =  + +    + де C — середнє значення C перетвореного кадру, S — середнє значення S-пік- селів вихідного кадру, 2 C — дисперсія C, 2 S — дисперсія S, CS — коваріація C і S, 2( )1 1c K L= і 2( )2 2c K L= — дві змінні, що стабілізують розподіл зі слабким знаменником, L — динамічний діапазон значень пікселів, 0,011K = і 0,032K = за замовчуванням. Наведемо кілька прикладів оцінки якості за візуальними маркерами. Приклад 1. Використовується класичний алгоритм підвищення контрастності відеоданих із переходом для еквалізації з колірного простору RGB у простір HSV. На рис. 7, а, б показано зображення кадру до і після еквалізації, а на рис. 7, в в одному вікні наведено гістограми розподілу яскравостей кадру до і після перетворення. У цьому ж вікні у вигляді різнокольорових стовпчиків наведено розрахункові значення середньої яскравості кадру до і після еквалізації. На рис. 7, б добре по- мітні структурні зміни кадру після еквалізації — на тлі світлого неба зображення хмари явно перенасичені. Гістограма після перетворення набуває більш колива- льного характеру, а середня яскравість кадру зростає приблизно на 10 одиниць шкали яскравості. Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 95 Рис. 7 У разі використання для підвищення контрастності цього відеопотоку алгори- тму з переходом з колірного простору RGB у простір YIQ результати мають значно гірший вигляд (рис. 8). Візуальне сприйняття погіршується, значно помітнішими стають структурні зміни, гістограма розподілу яскравостей має хаотичний харак- тер, а зміни середньої яскравості кадру досягають 25 одиниць шкали. Приклад 2. Розглянемо аналогічний приклад роботи класичного алгоритму підвищення контрастності відео з переходом у простір HSV. Однак як тестове відео будемо використовувати запис з низьким рівнем освітленості. Результати обробки показано з переходом у простір HSV на рис. 9. На рис. 9, в видно, що рівень серед- ньої яскравості кадру помітно зріс — від 40 до 120 одиниць шкали яскравості, гіс- тограма розподілилася більш рівномірно в діапазоні всієї шкали яскравості, але по- чала мати гребінчастий характер, візуальне сприйняття кадру стало дещо комфор- тнішим, проте з’явилися ознаки перенасиченості зображення. У разі використання колірного простору YIQ негативні тенденції тільки посилилися. Як видно на рис. 10, середній рівень яскравості кадру зріс ще більше (від 40 до 130 одиниць шкали), гістограма розподілу яскравостей стала більш гребінчастою, а візуальне сприй- няття погіршилося до дискомфортного. На підставі аналізу цих двох прикладів можна зробити висновок, що в розгля- нутих алгоритмах підвищення контрастності доцільно використовувати тільки пе- рехід з колірного простору RGB у простір HSV. Для цього є свої причини. Еквалі- зація за каналом Y у форматі YIQ спотворює зображення, воно втрачає в контраст- ності та кольорі, руйнується колірний баланс. Тому що канал V в HSV — яскравість пікселя, а канал Y в YIQ — освітленість. Це означає, що еквалізація, застосована до каналу V в HSV, з більшою ймовірністю дасть візуально приємніші результати з підвищення контрастності, оскільки вона безпосередньо націлена на рівні яскра- вості зображення. а б в г 96 ISSN 2786-6491 Рис. 8 Рис. 9 Крім візуальних маркерів, для повноцінного аналізу розраховувалися і кількісні статистичні показники для всіх тестових відео, показаних на рис. 6, для алгоритму підвищення контрастності з переходом у простір HSV і алгоритму з викорис- танням колірного простору YIQ. Результати розрахунків зведено в табл. 1 і 2 відповідно. Аналізуючи кількісні показники, нескладно помітити, що використання алго- ритму підвищення контрасту кадрів з застосуванням колірного простору HSV без- умовно краще. а б в г а б а в г Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 97 Рис. 10 Таблиця 1 Показники якості алгоритму покращення контрастності у просторі HSV Показник A B C D E F Average MSE 86,58 88,27 106,134 93,85 89,56 106,49 95,147 PSNR 28,76 28,67 27,87 28,41 28,61 27,86 28,36 NCC 0,9705 0,9766 0,8352 0,93 0,83 0,90 0,906 SSIM 0,87 0,88 0,35 0,77 0,41 0,58 0,643 AMBE 82,47 88,27 84,93 77,18 47,41 55,15 72,61 Таблиця 2 Показники якості алгоритму покращення контрастності у просторі YIQ Показник A B C D E F Average MSE 116,55 101,99 111,09 85,31 105,18 85 100,85 PSNR 27,47 28,04 27,67 28,82 17,91 28,84 26,458 NCC 0,96 0,9375 0,8 0,88 0,6755 0,8603 0,8522 SSIM 0,81 0,82 0,3 0,5 0,1 0,41 0,49 AMBE 116,55 93,26 99,09 75,11 100,88 75,55 93,4 Приклад 3. Розглянемо характеристики якості лінійного алгоритму стабіліза- ції яскравості кадру з переходом у простір HSV. Візуальні результати оброблення показано на рис. 11, а кількісні оцінки якості — в табл. 3. Для оцінки візуального сприйняття зображення кадру використано те саме те- стове відео, що й у прикладі 1. Зверніть увагу, у цьому разі перетворене зображення кадру не викликає зорового дискомфорту. Зауважимо, що середня яскравість кадру трохи зменшилася (приблизно на п’ять одиниць шкали яскравості), але водночас істотно згладилася гістограма яскравості та зрушилася в бік зменшення яскравості. Це, що є дуже важливим в різних технічних додатках, свідчить про ефективну фі- льтрацію високочастотних коливань яскравості. Наведемо ще один приклад обробки лінійним алгоритмом стабілізації яскра- вості кадрів зі заниженим рівнем освітлення сцени (тестове відео С). Результати розрахунків з переходом у простір HSV наведено на рис. 12. а б в г 98 ISSN 2786-6491 Рис. 11 Таблиця 3 Показники якості алгоритму лінійної стабілізації яскравості у просторі HSV Показник A B C D E F Average MSE 16,5710 14,40 18,49 12,85 11,10 15,40 14,80 PSNR 35,94 36,55 35,46 37,04 37,68 36,25 36,48 NCC 0,999 0,997 0,996 0,99 0,997 0,997 0,997 SSIM 1,0 1,1 0,99 1,0 0,95 0,98 0,97 AMBE 4,06 4,24 4,21 3,79 3,85 3,78 3,98 Рис. 12 а б в г а б в г Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 99 Як і в попередньому прикладі, гістограма розподілу яскравості успішно згладилася, але форма її залишилася незмінною. Для фільтрації тренда серед- ньої яскравості використано НЧ-фільтр з постійною часу 5 с. Відбулося неве- лике збільшення яскравості, яке складно помітити візуально. Але в цих випад- ках яскравість можна збільшити додаванням до кожного пікселя кількох града- цій яскравості. У даному прикладі додано 30 одиниць. Зрозуміло, що ця добавка виконана із захистом від переповнення шкали яскравостей. На жаль, обмежений обсяг публікації не дозволяє навести більшу кількість прикладів. Однак переваги запропонованого лінійного алгоритму стабілізації яск- равості відеоданих, на думку авторів, цілком очевидні. Аналіз можливості роботи алгоритму в реальному масштабі часу Обробка відео в режимі реального часу є найважливішим показником якості використовуваних алгоритмів. Для цього застосовують різні методи і техноло- гії: ефективні алгоритми обробки зображень, апаратну підтримку, оптимізацію структури даних та архітектури програмного забезпечення. При цьому виника- ють певні складнощі — необхідно враховувати великий обсяг обчислень під час обробки кожного кадру. Паралельне опрацювання і використання спеціалізова- них обчислювальних пристроїв допомагають впоратися з цією проблемою. Ва- жливо враховувати і стійкість алгоритмів до змін параметрів відео. Час обробки має бути мінімізованим. Для аналізу роботи алгоритму стабілізації яскравості в режимі реального часу розроблено окремий застосунок, інтерфейс якого представлено на рис. 13. Рис. 13 Позначення на рис. 13: 1 — іконка для вибору поточного відеофайлу для ро- боти; 2 — іконка для початку роботи з відеоданими, отриманими з web-камери; 3 — іконка для побудови графіків залежностей параметрів відеопотоку; 4, a, б — списки, що випадають, для вибору варіанта відображення кадру; 5, a, б — вікна 4, а 5, а 4, б 5, б 9, а 9, б 100 ISSN 2786-6491 відображення потокових кадрів відеопотоку; 6 — часова шкала для відеопотоку; 7 — кнопка для запуску/зупинки відеопотоку; 8 — кнопка для перезапуску відеопотоку; 9, a, б — інформаційні вікна для параметрів кожного з вікон відо- браження; 10 — повзунок адаптивного налаштування розмірного коефіцієнта алгоритму. Цей додаток дозволив дослідити роботу лінійного алгоритму стабілізації яск- равості відеопотоку з метою вивчення швидкодії в порівнянні з алгоритмом еква- лізації, зробити вибір оптимальних розмірів вихідних кадрів, провести аналіз впливу розмірного коефіцієнта (Size_m) на швидкість роботи. Як вихідні дані для досліджень використовувалися відеофайли з різною роздільною здатністю (1280х720, 1920х1080, 2560х1440, 3840х2160). Спочатку досліджувалася залежність швидкодії алгоритму стабілізації яскра- вості від значення розмірного коефіцієнта. Так, згідно з рис. 3 кожен кадр відеопо- току перетворюється у формат HSV і зменшується в розмірах для подальшої обро- бки. У [13, 14] показано, що робота алгоритму стійка до змін розмірності кадру, що дає змогу зменшити час обробки без втрати загальної якості. Отже, необхідно оцінити рівень впливу розмірного коефіцієнта на швидкодію алгоритму. Отримані результати показані на рис. 14, це графіки параметрів часу обробки та кількості кадрів за секунду від часу, вираженого в порядкових номерах кадрів. Рис. 14 На рис. 14, а і в показано часові витрати на повне виконання алгоритму з урахуванням зчитування окремих кадрів (Reading Time), обробки алгоритмом стабілізації яскравості (Preprocessing Time) і відображення результату у вікні програми (Displaying Time). При цьому в обох прикладах виділено часові області, що належать до різних значень розмірного коефіцієнта (Size_m). На рис. 14, а зменшується значення коефіцієнта з 1,0 до 0,25, а на рис. 14, б — збільшується з 0,25 до 1,25. Проаналізувавши отримані графіки, можна помітити, що час читання і відображення кадрів не залежать від розмірного коефіцієнта Size_m. а б в г Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 101 Це повністю відповідає загальній ідеї, оскільки зміну розмірності виконують тільки в процесі алгоритму стабілізації яскравості для прискорення обчислюва- льного етапу показника AFB, а читання і відображення виконують з кадром ви- хідного розміру. Головний висновок полягає в тому, що зменшення розмірного коефіцієнта (Size_m) призводить до зменшення часу опрацювання, однак при цьому яскраво спостерігається ефект насичення. Так, для першого прикладу під час зменшення розмірного коефіцієнта зі значення 1,0 до 0,75 час обробки зме- ншився на 17 %, а зі значення 0,5 до 0,25 — лише на 5 %. Відповідно надмірне зменшення розміру (Size_m < 0,25) не привнесе відчутного (> 5 %) прискорення роботи алгоритму. Для оптимального значення розмірного коефіцієнта Size_m = 0,25 розраховано процентне значення прискорення роботи алгоритму. В результаті отримуємо, що для першого прикладу прискорення склало близько 35 %, для другого — 32 %. За- значені тенденції можна побачити на рис. 14, б і рис. 14, г, оскільки значення Current FPS є зворотним значенням загального часу виконання. Отже, зменшення розмірного коефіцієнта призводить до збільшення FPS. Крім значення розмірного коефіцієнта (Size_m), для оптимальної роботи алго- ритму необхідно проаналізувати швидкість його роботи за різних розмірностей ви- хідного відеопотоку. Для цього проведено дослідження, під час якого для постій- ного значення Size_m = 0,25 використовувалися відеодані роздільних здатностей 1280х720, 1920х1080, 2560х1440, 3840х2160. Це стандартизовані розмірності, які часто зустрічаються під час запису в реальному масштабі часу. Отримані резуль- тати дослідження впливу розмірності вихідних кадрів на швидкодію представлені на рис. 15. Можна помітити, що тільки для відеоданих розмірності 1280х720 вдалося одержати достатній рівень швидкодії, що відповідає значенню FPS понад 30. Однак під час роботи з відеоданими розмірності 1920х1080 середній рівень FPS перебуває на рівні 22 кадрів за секунду, що є прийнятним результатом для певного кола завдань, які не потребують максимальної швидкодії. Що стосується розмірів 2560х1440 і 3840х2160, швидкість роботи алгоритму абсолютно не дає змоги одер- жувати прийнятну якість вихідного відеопотоку, оскільки кількість кадрів за секу- нду перебуває на рівні менше 15 в обох випадках. Зазначимо, що дослідження проводилися на ноутбуці з невисокими характе- ристиками (двоядерний процесор Intel(R) Core(TM) i5-6200U @ 2,3 ГГц, обʼєм ОЗП — 8 ГБ, дискретна відеокарта GeForce 940MX), тому всі часові показники алгоритму можуть змінитися при виборі більш потужного і спеціалізованого обладнання. Рис. 15 а б 102 ISSN 2786-6491 Останнє дослідження становить собою порівняльний аналіз роботи лінійного алгоритму стабілізації яскравості та алгоритму еквалізації Value каналу в режимі реального часу. Для перевірки обрано відеофайл розмірності 1280х720 і розмірний коефіцієнт Size_m = 0,25. Отримані результати впливу розмірності вихідних даних на швидкодію представлені на рис. 16 (video1 — стабілізація яскравості, а video2 — еквалізація). Рис. 16 Проаналізувавши рис. 16, а і б, можна зробити висновок, що алгоритм стабілі- зації яскравості поступається алгоритму еквалізації за показником швидкодії. Так, різниця в FPS становить у середньому 15 кадрів на секунду. Однак при цьому ва- жливо зазначити, що порівняльна повільність роботи цінніша, ніж описані в по- передніх розділах переваги. Також під час роботи з відеоданими розмірності 1280х720 або менше алгоритм стабілізації яскравості володіє достатньою швид- кодією (FPS >=30) для оптимальної роботи, тому дана різниця у швидкості роботи з еквалізацією не впливає на виконання головного завдання, а саме, підвищення якості вихідних даних через стабілізацію яскравості. Висновок Результати досліджень дають змогу рекомендувати метод лінійної стабілізації яскравості відео для попереднього опрацювання даних у системах технічного зору під час розвʼязання широкого кола прикладних задач. Показано, що перетворення вихідного відеопотоку не призводять до неконтрольованої зміни параметрів яскра- вості та контрастності і не порушують колірний баланс кадрів. Великою перевагою методу є можливість роботи в реальному масштабі часу. Вважаємо, що проведені дослідження актуальні та корисні. Надалі планується адаптувати отримані резуль- тати для використання їх в автономних мобільних системах технічного зору на базі мікрокомпʼютерів Raspbery Pi або їх аналогів. V. Bilozerskyi, O. Bilous, K. Dergachov, L. Кrasnov PERFORMANCE EVALUATION OF A NOVEL METHOD FOR REAL-TIME BRIGHTNESS STABILIZATION OF VIDEO STREAMING Vladyslav Bilozerskyi National Aerospace University «Kharkiv Aviation Institute», v.o.bilozerskyi@khai.edu, а б Міжнародний науково-технічний журнал Проблеми керування та інформатики, 2024, № 1 103 Oleksandr Bilous National Aerospace University «Kharkiv Aviation Institute», aabelous@ukr.net Konstantin Dergachov National Aerospace University «Kharkiv Aviation Institute», k.dergachov@khai.edu Leonid Кrasnov National Aerospace University «Kharkiv Aviation Institute», leonid.krasnov.1947@gmail.com This article presents a comparative analysis of classical nonlinear methods for stabilizing the brightness and increasing the contrast of video data, and for the first time proposes an original method of linear brightness stabilization of a video stream and an algorithm that implements it, which works in real time. An objec- tive assessment of the quality of video data brightness stabilization based on the results of pre-processing in comparison with nonlinear methods is given. The aim of the work is to create a methodology for analyzing the variability of video data parameters under the influence of negative factors and to develop effective algo- rithms for stabilizing video stream parameters; a thorough verification of the reli- ability of the new method is provided on real video recordings made in different conditions. To determine the most versatile, resistant to external influences and informative indicator necessary for an objective assessment of the quality of video data under different shooting conditions and scene lighting features; to develop and programmatically implement a linear algorithm that allows to effectively sta- bilize video brightness in real time. The development should be carried out on the basis of modern programming tools. Statistical analysis and pre-processing of video stream parameters as a random spatio-temporal process, algorithms for pro- cessing video data in real time by digital filtering and adaptive stabilization of video stream parameters. It is proposed and experimentally proved that the opti- mal indicator of video stream quality is the average frame brightness (AFB). A lin- ear algorithm for spatio-temporal video data processing is proposed, which gener- ates a sequence of AFB values from the original video stream. The paper also pro- poses digital algorithms for filtering and stabilizing the brightness of the video stream and investigates the effectiveness of their application. The scientific novelty of the obtained results lies in a new method for analyzing and evaluating the param- eters of video surveillance data, algorithms for filtering and stabilizing the brightness of the video stream in real time. The performance of the proposed algorithms is tested on real data. The algorithms are implemented in the Python software environ- ment using the functions of the OpenCV library. Keywords: video stream, average frame brightness, video brightness trend, digi- tal trend filtering, real-time brightness stabilization algorithms. ПОСИЛАННЯ 1. Kim Y.T. Contrast enhancement using brightness preserving bi-histogram equation, IEEE Trans- actions on Consumer Electronics. 1997. Vol. 43, N 1. P. 1–8. 2. Ooi C.H., Mat Isa N.A. Adaptive contrast enhancement methods with brightness preserving. IEEE Transactions on Consumer Electronics. 2010. Vol. 56, N 4. P. 2543–2551. 3. Kim T.K., Paik J.K., Kang B.S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering. IEEE Transaction on Consumer Electronics, 1998. Vol. 44, N 1. P. 82–86. 4. Sengee N., Choi H.K. Brightness preserving weight clustering histogram equalization. IEEE Trans- actions on Consumer Electronics. 2008. Vol. 54, N 3. P. 1329–1337. mailto:aabelous@ukr.net mailto:.dergachov@khai.edu mailto:leonid.krasnov.1947@gmail.com 104 ISSN 2786-6491 5. Wang Q., Ward R.K. Fast image/video contrast enhancement based on weighted threshold histo- gram equalization. IEEE transactions on Consumer Electronics. 2007. Vol. 53, N 2. P. 757–764. 6. Chen S.-D., Ramli A.R. Minimum mean brightness error bi-histogram equalization in contrast en- hancement. IEEE Transactions on Consumer Electronics. 2003. Vol. 49, N 4. P. 1310–1319. 7. Chen S.-D., Ramli A.R. Preserving brightness in histogram equalization based contrast enhance- ment techniques. Digital Signal Processing. 2004. Vol. 14. P. 413–428. 8. Chen S.-D. A new image quality measure for assessment of histogram eualization-based contrast enhancement technique. Digital Signal Processing. 2012. Vol. 22. P. 640–647. 9. Liang K., Ma Y., Xie Y., Zhou B., Wang R. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization. Infrared Physics & Technology. 2012. Vol. 55. P. 309–315. 10. Raju A., Dwarakish G.S., Venkat D. Reddy a comparative analysis of histogram equalization based techniques for contrast enhancement and brightness preserving. International Journal of Signal Processing. Image Processing and Pattern Recognition. 2013. Vol. 6, N5, P. 353–366, DOI: http://dx.doi.org/10.14257/ijsip.2013.6.5.31 11. Su Y., Wu M., Yan Y. Image enhancement and brightness equalization algorithms in low illumination environment based on multiple frame sequences. IEEE Access. 2023. Vol. 11, P. 61535–61545. 12. Bilozerskyi V., Dergachov K., Кrasnov L. Analysis and pre-processing of video data to improve the quality of computer vision systems. International Scientific Technical Journal Problems of Control And Informatics. 2023. Vol. 68, N 2, P. 50–66. DOI: https://doi.org/ 10.34229/1028-0979- 2023-2-4. (In Ukrainian) 13. Bilozerskyi V., Dergachov K., Кrasnov L. New method for video stream brightntss stabilization: algorithms and performance evaluation. Radioelectronic and computer systems. 2023. N3. P. 125–135. DOI: https://doi.org/ 10.32620/reks.2023.3.10 14. Bilozerskyi V., Dergachov K., Krasnov L. New methods for video data pre-processing to improve the quality of computer vision systems. IEEE 4th KhPI Week on Advanced Technology (KhPIWeek), Kharkiv, Ukraine. 2023. P. 1–6. DOI: https://doi.org/10.1109/KhPIWeek61412. 2023.10312988 15. Egiazarian K., Ponomarenko M., Lukin V., Ieremeiev O. Statistical evaluation оf visual qual- ity metrics for image Denoising. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, Canada, 2018. P. 6752–6756. DOI: https://doi.org/ 10.1109/ICASSP.2018.8462294 16. Lukin V.V., Zriakhov M.S., Ponomarenko N.N., Krivenko S. S., Zhenjiang M. Lossy compression of images without visible distortions and its application. IEEE 10th international conference on signal processing proceedings. China : Beijing. 2010. P. 698–701. DOI: https://doi.org/10.1109/ ICOSP.2010.5655751 Отримано 19.12.2023 Доопрацьовано 25.01.2024 https://doi.org/
id	nasplib_isofts_kiev_ua-123456789-211142
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0572-2691
language	Ukrainian
last_indexed	2026-03-18T16:14:25Z
publishDate	2024
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
record_format	dspace
spelling	Білозерський, В.О. Білоус, О.О. Дергачов, К.Ю. Краснов, Л.О. 2025-12-24T19:02:51Z 2024 Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу / В.О. Білозерський, О.О. Білоус, К.Ю. Дергачов, Л.О. Краснов // Проблеми керування та інформатики. — 2024. — № 1. — С. 87–103. — Бібліогр.: 16 назв. — укр 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/211142 004.932 10.34229/1028-0979-2024-1-8 Проведено порівняльний аналіз класичних нелінійних методів стабілізації яскравості та підвищення контрастності відеоданих. Уперше запропоновано оригінальний метод лінійної стабілізації яскравості відеопотоку з реалізацією в реальному часі. Наукова новизна отриманих результатів полягає у створенні нового алгоритму, здатного ефективно стабілізувати яскравість відеопотоку в умовах негативного впливу зовнішніх факторів, зберігаючи якість відео. Результати підтверджено експериментально. A comparative analysis of classical nonlinear methods for stabilizing brightness and increasing video data contrast has been conducted. For the first time, an original linear brightness stabilization method for video streaming, implemented in real time, is proposed. The scientific novelty of the obtained results lies in creating a new algorithm capable of effectively stabilizing video stream brightness under adverse external factors while maintaining video quality. The results are experimentally verified. uk Інститут кібернетики ім. В.М. Глушкова НАН України Проблеми керування та інформатики Методи обробки та захисту інформації Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу Performance Evaluation of a Novel Method for Real-Time Brightness Stabilization of Video Streaming Article published earlier
spellingShingle	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу Білозерський, В.О. Білоус, О.О. Дергачов, К.Ю. Краснов, Л.О. Методи обробки та захисту інформації
title	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
title_alt	Performance Evaluation of a Novel Method for Real-Time Brightness Stabilization of Video Streaming
title_full	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
title_fullStr	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
title_full_unstemmed	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
title_short	Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
title_sort	оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу
topic	Методи обробки та захисту інформації
topic_facet	Методи обробки та захисту інформації
url	https://nasplib.isofts.kiev.ua/handle/123456789/211142
work_keys_str_mv	AT bílozersʹkiivo ocínkaefektivnostínovogometodustabílízacííâskravostívídeopotokuvrealʹnomumasštabíčasu AT bílousoo ocínkaefektivnostínovogometodustabílízacííâskravostívídeopotokuvrealʹnomumasštabíčasu AT dergačovkû ocínkaefektivnostínovogometodustabílízacííâskravostívídeopotokuvrealʹnomumasštabíčasu AT krasnovlo ocínkaefektivnostínovogometodustabílízacííâskravostívídeopotokuvrealʹnomumasštabíčasu AT bílozersʹkiivo performanceevaluationofanovelmethodforrealtimebrightnessstabilizationofvideostreaming AT bílousoo performanceevaluationofanovelmethodforrealtimebrightnessstabilizationofvideostreaming AT dergačovkû performanceevaluationofanovelmethodforrealtimebrightnessstabilizationofvideostreaming AT krasnovlo performanceevaluationofanovelmethodforrealtimebrightnessstabilizationofvideostreaming

Оцінка ефективності нового методу стабілізації яскравості відеопотоку в реальному масштабі часу

Репозитарії

Схожі ресурси