Машинне навчання під час діагностування і моніторингу сонного апное

This paper contains a review and analysis of applications of modern ma-chine learning approaches to solve sleep apnea severity level detection by localization of apnea episodes and prediction of the subsequent apnea episodes. We demonstrate that signals provided by cheap wearable devices can be used...

Full description

Saved in:
Bibliographic Details
Date:2020
Main Authors: Tkachenko, Dmytro, Krush, Ihor, Mykhalko, Vitalii, Petrenko, Anatolii
Format: Article
Language:Ukrainian
Published: The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2020
Subjects:
Online Access:https://journal.iasa.kpi.ua/article/view/228369
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:System research and information technologies
Download file: Pdf

Institution

System research and information technologies
_version_ 1866302720264110080
author Tkachenko, Dmytro
Krush, Ihor
Mykhalko, Vitalii
Petrenko, Anatolii
author_facet Tkachenko, Dmytro
Krush, Ihor
Mykhalko, Vitalii
Petrenko, Anatolii
author_sort Tkachenko, Dmytro
baseUrl_str http://journal.iasa.kpi.ua/oai
collection OJS
datestamp_date 2021-04-08T14:17:06Z
description This paper contains a review and analysis of applications of modern ma-chine learning approaches to solve sleep apnea severity level detection by localization of apnea episodes and prediction of the subsequent apnea episodes. We demonstrate that signals provided by cheap wearable devices can be used to solve typical tasks of sleep apnea detection. We review major publicly available datasets that can be used for training respective deep learning models, and we analyze the usage options of these datasets. In particular, we prove that deep learning could improve the accuracy of sleep apnea classification, sleep apnea localization, and sleep apnea prediction, especially using more complex models with multimodal data from several sensors.
doi_str_mv 10.20535/SRIT.2308-8893.2020.4.04
first_indexed 2025-07-17T10:27:04Z
format Article
fulltext  Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко, 2020 Системні дослідження та інформаційні технології, 2020, № 4 43 УДК 004.855.5 DOI: 10.20535/SRIT.2308-8893.2020.4.04 МАШИННЕ НАВЧАННЯ ПІД ЧАС ДІАГНОСТУВАННЯ І МОНІТОРИНГУ СОННОГО АПНОЕ Д.А. ТКАЧЕНКО, І.В. КРУШ, В.Г. МИХАЛЬКО, А.І. ПЕТРЕНКО Анотація. Розглянуто та проаналізовано використання сучасних підходів ма- шинного навчання для визначення рівня тяжкості апное уві сні шляхом локалі- зації епізодів апное в часі та передбачення наступних епізодів апное. Проде- монстровано, що за допомогою сигналів від доступних і портативних сенсорів можна з відносно високою точністю розв’язувати типові задачі з визначення апное уві сні, а також розглянуто основні публічні набори даних для трену- вання відповідних моделей машинного навчання та варіанти їх можливого ви- користання. Зокрема, доведено, що застосування глибинного навчання може підвищити точність класифікації, локалізації та передбачення апное, особливо за допомогою використання більш складних моделей глибинного навчання, які враховують мультимодальні дані від декількох сенсорів. Ключові слова: моніторинг, респіраторні хвороби, глибинне навчання, полі- сомнографія, сонне апное, CNN. ВСТУП Сонне апное (апное уві сні) є загальним захворюванням, яке вражає як дітей, так і дорослих. Воно характеризується періодами припинення дихання (ап- ное) і періодами зниження дихання (гіпопное). Обидва типи подій мають подібну патофізіологію і, як правило, вважаються однаковими щодо їх впливу на пацієнтів. Найпоширенішу форму апное уві сні, що називається обструктивним апное уві сні, зумовлено частковим або повним колапсом верхніх дихальних шляхів. Обструктивний апное спричиняється механічни- ми напруженнями на горлі, центральний апное сну — нездатністю мозку відсилати сигнал діафрагмі. Існує кілька методів кількісного оцінювання тяжкості розладу дихання, таких як вимірювання кількості апное та гіпоп- ное за одну годину сну (тобто індекс апное-гіпопное (AHI), тяжкістю кисне- вого голодування під час сну (оксиметрія, SpO2) або ступенем денної сонли- вості [1]. Поширеність AHI 5 становить 24% у чоловіків та 9% у жінок у віці від 30 до 60 років у пацієнтів, що підозрюються на апное сну. Найточнішим методом для діагностування апное уві сні є полісомно- графія [2]. Під час полісомнографії зазвичай записується принаймні 12 сиг- налів і використовуються щонайменше 22 дротові під’єднання до пацієнта, що проходить таку процедуру. Основним недоліком використання полісомнографії для визначення апное уві сні є те, що цей метод є відносно дорогим і незручним для пацієнта. Для виконання полісомнографії пацієнту необхідно провести ніч у спеціально обладнаній лабораторії або це потребує встановлення приладу вдома, а результати має визначити лікар. Крім цього, велика кількість під’єднаних дротів може впливати на поведінку під час сну. Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 44 Оскільки полісомнографія відносно дорогий і важкодоступний метод, вважається, що більшість людей із середнім або важким ступенем тяжкості апное не знає про свій діагноз, зокрема, у праці [3] виконано розрахунки і з’ясовано, що 93% жінок і 82% чоловіків не знають про наявність у них апное. Останнім часом дедалі більшого поширення набувають мобільні і не- дорогі пристрої, які містять сенсори для вимірювання сигналів, що пов’язані з диханням, зокрема, сенсори для вимірювання ECG, рівня насиченості крові киснем, сенсори для фіксаціїї та вимірювання різних респіраторних рухів та деякі інші. У багатьох працях показано, як за допомогою викори- стання машинного навчання і даних від сенсорів можна визначати апное:  бінарна класифікація та визначення індексу апное-гіпопное;  локалізація апное у часі;  передбачення наступного епізоду апное. У цій роботі розглянуто і проаналізовано:  основні сенсори і сигнали, що можна використовувати для визна- чення апное;  наявні набори даних для тренування моделей машинного навчання;  найбільш передові підходи і методи машинного навчання, які можна використовувати для розв’язування типових задач, пов’язаних з визначен- ням апное. СИГНАЛИ ТА СЕНСОРИ Розглянемо основні типи сигналів, які можна використовувати для визна- чення апное. Електрокардіографія Електрокардіографія дає змогу вимірювати електричну активність серця за допомогою електродів, які прикріплюються до тіла. Будь-яка пара таких електродів дозволяє вимірювати різницю їх потенціалів. Результатом елек- трокардіографії є електрокардіограма, що по суті є графіком напруги за ча- сом. В електрокардіографах у лікарнях і лабораторіях зазвичай наявні 10 електродів, але в портативних пристроях для вимірювання електрокардіограми може бути тільки два електроди. Кожна з вимірюваних різниць потенціалів електродів називається відведеннями (leads). Один цикл кардіограми складається з P-хвилі, QRS-комплексу, T-хвилі (інколи і U-хвилі) (рис. 1). Застосовуючи традиційні техніки машинного навчання, зазвичай спо- чатку обробляють ECG для отримання похідних сигналів, таких як кількість серцевих скорочень за хвилину (heart rate), варіативність серцевого ритму (heart rate variability), амплітуда QRS комплексу [5]. Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 45 За допомогою ECG можна визначати і респіраторні події, як наприклад у праці [6]. Як відрізняються RR-інтервали і площа QRS ділянок для нор- мального сну і для сну з апное показано на рис. 2 [7]. Для використання deep learning подібний ручний вибір ознак уже не за- стосовують, оскільки більш складні моделі здатні самостійно виділяти висо- корівневі характеристики. P R Se gm en t PR Interval S T Se gm en t QT Interval QRS Complex Рис. 1. Цикл кардіограми Рис. 2. RR-інтервали і площа QRS ділянок для нормального сну і для сну з апное R R (s ) R A (m y) R(t–1) R(t) Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 46 В останнє десятиліття з’явилось багато портативних і доступних при- строїв для вимірювання ECG вдома, при цьому є пристрої як з одним відве- денням, так і з декількома. Огляд основних таких пристроїв наведено у праці [8]. Фотоплетизмографія та рівень насиченості крові киснем Фотоплетизмографія (PPG) використовується для вимірювання зміни об’єму крові, що проходить через певну тканину в тілі. Для цього застосовують фо- топлетизмограф, що є простим пристроєм, який складається з джерела світла і світлочутливого сенсора. Кількість світла, що доходить до сенсора, залежить від довжини хвилі світла та від середовища, через яке це світло проходить. Розрізняють два види фотоплетизмографів: перші вимірюють кількість світла, що проходить крізь тканину, а другі — кількість світла, що відбивається від тканини [9]. Одним з основних застосувань фотоплетизмографії є пульсоксиметрія, що дозволяє вимірювати рівень насиченості крові киснем. Рівень насиче- ності крові киснем показує відношення кількості гемоглобіну, насиченого оксигеном, до сумарної кількісті гемоглобіну в крові. Найбільш точним вимірюванням цього показника є тест артеріальної крові на газовий склад (SaO2), але для цього необхідно взяти зразок крові і виконати її аналіз в ла- бораторії. Більш простим і доступним способом є застосування пульс- оксиметрів, які використовують властивості крові по-різному пропускати світло залежно від рівня насиченості крові оксигеном. Пульсоксиметри дозволяють вимірювати периферійний рівень насиченості крові киснем (SpO2), що є наближенням SaO2. Приклад сигналу з пульсоксиметра ілюструє рис. 3. Для застосування традиційних технік машинного навчання із сирих да- них PPG спочатку конструюють відповідні характеристики, зокрема кіль- кість часу із SpO2, що менший за певний рівень [11]. Крім цього, SpO2 сен- сори використовують для обчислення HRV [12]. За глибинного навчання низькорівневі характеристики із SpO2 виокремлюються вже самою моделлю. Time(sec) Рис. 3. Сигнал з пульсоксиметра [10] Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 47 Актиграфія Ще один вид сигналів, які дозволяють діагностувати апное уві сні, — це різні респіраторні рухи під час дихання. Основним сенсором у цьому випад- ку є акселерометр, що зазвичай вимірює прискорення вздовж трьох осей. Пристрій з акселерометром може розміщуватись на грудній клітці [13] або на трахеї. Здебільшого застосовують окремі малогабаритні пристрої з аксе- лерометром, але можна скористатись і звичайними смартфонами, при- кріпивши їх до спеціального респіраторного пояса. Аудіо- та відеосигнали Для роботи з аудіосигналами є два основні підходи. 1) Розв’язувати задачу класифікації про наявність апное за розмовною мовою, оскільки з мови можна визначати багато інформації, що стосується статі, віку, рис особистості та її здоров’я. Цей підхід використано у праці [14]. 2) Визначати наявність апное за звуками дихання під час сну, оскільки вони різнитимуться для нормального дихання та для епізодів апное. Такий підхід використано у праці [15]. Можна також записувати звук і відео сну людини, що дає змогу визна- чати і рухи грудної клітки [16]. Однією з основних переваг використання аудіо- та відеосигналів є те, що відповідні сенсори (мікрофон і камера) є майже у будь-якому смартфоні, що робить використання зазначених підходів досить доступним. Іншою важливою перевагою є те, що до пацієнта не потрібно прикріпляти жодних додаткових пристроїв, а отже, це не буде впливати на сон. Ороназальний потік повітря Іншим сигналом для визначення апное може бути кількість повітря, яке проходить через дихальні шляхи. Для цього необхідно одягати спеціальну маску, яка містить сенсори для вимірювання кількості і тиску повітря, що проходить через ротову та носову порожнини. Такий підхід використано у праці [17]. Недолік таких сенсорів — вони можуть заважати сну більше ніж ті, що описано вище. НАБОРИ ДАНИХ Розглянемо набори даних, які збирались для дослідження апное уві сні та характеристики сигналів у них. Апное уві сні є досить дослідженим захво- рюванням, однак набори даних, які вже існують, часто містять у собі доволі багато різних сигналів з полісомнографії, зокрема EOG, EMG щелепи, які неможливо зняти з носимих пристроїв. Для побудови моделей, які працюва- ли б із сигналами з носимих пристроїв, запропоновано орієнтуватись на сигнал ECG і SpO2. Однак варто зауважити, що сигнали полісомнографії є також важливими для побудови якісних просторів ознак та алгоритмів ав- томатичного виділення ознак, навіть коли вони доступні лише під час тре- нування, а не під час використання моделі. Таку архітектуру моделі Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 48 з умовним змішуванням сигналів описано на прикладі з домену відеоаналізу у праці [18]. Нижче розглядаються шість наборів даних, п’ять з яких містять сигнал ECG, три — SpO2 сигнал, що дозволяє застосовувати дані з них під час до- слідження. Sleep Heart Health Study PSG Database Це найбільший набір даних, що містить 9736 сигналів полісомнографії [19]. У дослідженні брали участь 6441 людина. Дані знімались у два підходи. У першому підході отримано дані 6441 полісомнографій, у другому підході брали участь 3295 з них. Усі 9736 записів містять такі сигнали:  EEG сигнал частотою 125 Гц;  EOG сигнал частотою 50 Гц;  EMG сигнал щелепи частотою 125 Гц;  ECG сигнал, знятий з першого підходу частотою 125 Гц; ECG сиг- нал, знятий з другого підходу, — 250 Гц;  анотації. Набір містить детальну статистику популяції, на якій були зібрані дані. Набір даних містить ще декілька сигналів, однак наведені сигнали можна використати для вивчення ефективних просторів ознак. Apnea-ECG Database Цей набір даних для дослідження проблеми детекції апное [20] містить 70 записів — 35 навчальних, 35 тестових — довжиною від семи до десяти го- дин кожен. Крім цього, набір містить детальну статистику популяції, на якій були зібрані дані. Усі 70 записів містять:  ECG сигнал частотою 100 Гц;  анотацію апное;  автоматичну QRS анотацію. Набір містить 8 записів SpO2 сигналу, а також кілька сигналів, які не є релевантними для дослідження. Sleep-EDF Database Expanded Є дуже повним набором даних з 197 записами від 74 людей, однак він не містить сигналу ECG [21]. Утім цей набір даних можна використовувати для поліпшення вивчених просторів ознак. Усі 197 записів містять:  EEG сигнал частотою 100 Гц;  EOG сигнал частотою 100 Гц;  EMG щелепи частотою 100 Гц;  анотації-маркери апное частотою 1 Гц. Набір містить також детальну статистику популяції, на якій були зібрані дані. Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 49 St. Vincent’s University Hospital / University College Dublin Sleep Apnea Database Містить 25 записів нічного сну [22]. Усі 25 записів містять сигнали полісомнографії — EEG, EOG, EMG, а також ECG і SpO2 сигнал з пульсоксиметра на пальці. Цей набір даних також надає досить детальну статистику популяції, з якої отримано сигнали. Apnea HRV Dataset Є найновішим — дані були зібрані у 2014 р. [23]. Набір містить 77 записів від 77 людей з детальними статистиками популяції. Кожен запис містить ECG сигнал частотою 200 Гц, а також сигнали EEG, EOG, EMG. MIT-BIH Polysomnographic Database Має 18 записів, 1:18–6:30 годин кожен [24]. Набір містить 18 ECG сигналів з апное анотацією та сигналами полісомнографії — EEG, EOG, EMG щелепи; для 5 записів є сигнал SpO2, однак пульсоксиметр тут використовувався на мочці вуха. Статистики ознак популяції також наведено в описі даних з цьо- го набору. МЕТОДИ МАШИННОГО НАВЧАННЯ ДЛЯ ВИЯВЛЕННЯ АПНОЕ УВІ СНІ Розглянемо методи машинного навчання, що застосовувалися для виявлення апное уві сні. Частина з розглянутих нижче праць стосується безпосередньо автоматичного аналізу сигналів, які можна отримати з носимих сенсорів; інші праці містять більш загальний аналіз сигналів, за якими можна діагно- стувати епізод апное уві сні, тобто такими, які корисні для розуміння ди- наміки пов’язаних фізіологічних процесів, або ж для огляду інших сигналів, які потенційно можуть мати діагностичну цінність. Праця [25] не фокусується на використанні сигналів, зазвичай доступ- них з носимих сенсорів (ECG, PPG, SpO2). Натомість використовуються всі сигнали PSG. Таким чином, оцінюється можливість застосування методів машинного навчання для встановлення діагнозу за записами PSG — що наразі виконується відповідними експертами вручну. Це дослідження є цікавим з точки зору використання мультимодальних комбінованих архітектур нейронних мереж: CNN застосовуються для моде- лювання локальних просторово-часових характеристик 30-секундних фраг- ментів PSG, а отримані в результаті ознаки (репрезентації) потім подаються на вхід RNN, які моделюють довготривалі часові залежності. Розроблену RCNN архітектуру показано на рис. 4. У результаті отримано рівень точності класифікації, близький до люд- ського в таких категоріях: визначення стадій сну, апное та рухів кінцівок. Це показує перспективність методів машинного навчання, які враховують не- оброблені сигнали різних модальностей, а також у цілому можливості авто- матично аналізувати сон та діагностувати апное уві сні. Далі розглянемо дослідження, які використовують непрямі ознаки ап- ное уві сні, записані з неконтактних сенсорів. Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 50 Р ис . 4 . К ом бі но ва на а рх іт ек ту ра R C N N , з ап ро по но ва на у п ра ці [ 25 ] Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 51 У статті [14] пропонується модель передбачення обструктивного апное уві сні за записами мови (спонтанними та записаними у спеціалізованій медичній установі). У ході цього дослідження отримано результати, що вказують на ефек- тивність використання мови як біомаркера для виявлення апное: досягнуто TPR 88% і TNR 80%. Використання запису мови обґрунтовується тим, що до OSA призво- дять анатомічні та функціональні зміни верхніх дихальних шляхів, які мо- жуть проявлятися під час говоріння. Модель натреновано на наборі даних, що містять записи розмови пор- тугальською мовою, і цілком можливо, що перенесення результатів на інші мови потребуватиме перетреновування або дотреновування моделі відповідною мовою через можливі фонетичні особливості. Варто зазначити, що, незважаючи на використання контрольного набору даних (записи мови людей без апное), вибірка є надто малою і може бути упередженою. Більш переконливі результати можна було б отримати, порівнюючи записи мови однієї і тієї самої людини до та після виникнення захворювання, але збиран- ня таких даних потребуватиме великої кількості часу та участі більшої кіль- кості суб’єктів. У новішій праці [26] на більшому наборі даних отримано нижчу точ- ність (76,6%), незважаючи на застосування більш сучасних підходів (моде- лювання акустичних підпросторів, вивчення репрезентацій нейронною ме- режею). Основний внесок цієї праці — використання доменно-змагального тренування (domain-adversarial training) для зменшення ефекту джерел мін- ливості, таких як вік або BMI пацієнта. Утім такі результати показують пев- ний вплив апное уві сні на голос, хоча поточні дослідження не досягають достатньої точності для надійної діагностики. У праці [15] також використовується звуковий сигнал, але такий, який містить запис звуків (дихання) безпосередньо під час сну. Автори отримали достатню точність, щоб показати, що за таким сигналом можна діагностува- ти OSA з певною точністю: вони досягли точності 92,5% у бінарній класи- фікації і 88,3% у класифікації за ступенем розладу сну (чотири класи). Ав- тори зазначають, що використовували мікрофон невисокої якості, що може спростити розгортання такої системи моніторингу. Під час дослідження застосовувався закритий набір даних, що робить відтворення результатів неможливим і ускладнює удосконалення запропо- нованого методу. Варто відзначити, що у відкритому доступі немає жодного набору даних із записами аудіовізуальних сигналів, записаних під час сну. Імовірно це пояснюється підвищеною необхідністю захистити приватність пацієнтів під час запису таких даних. На відміну від попереднього дослідження автори [16] використовували ширший набір даних: вони запропонували метод детекції різних респіратор- них подій за допомогою відео- та аудіозапису сплячої людини. Це дося- гається за рахунок оптимізації параметрів моделі двох еліпсів (один з яких визначає позицію грудної клітки, другий — черевної порожнини). Отримані ознаки комбінуються з аудіоінформацією. Із результуючого набору ознак визначаються респіраторні події за допомогою SVM класифікатора. Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 52 Автори використали інфрачервоний сенсор системи Microsoft Kinect для отримання об’ємного відео. Як і інші системи безконтактної детекції апное це вирішення має переваги, оскільки традиційні системи полісомно- графії дуже дорогі і використовують контактні сенсори, які можуть погір- шити якість сну. Результати експериментів було порівняно із вручну розміченими дани- ми полісомнографії і отримано близькі до ідеальних результати (0,4% похиб- ки). Оскільки отримані результати кращі за отримані у дослідженні [15], видається, що відео (і отримані з нього позиції грудної клітки та черевної порожнини) додають корисний сигнал. Однак варто зазначити, що незро- зуміло, чи стійкий даний метод до змін у розташуванні камери. Для збиран- ня даних камеру було розташовано в одній і тій самій позиції; у разі розгор- тання системи, якщо користувачі встановлюватимуть камеру вдома самостійно, кут огляду пацієнта може бути іншим. Перейдемо до огляду методів, безпосередньо релевантних щодо вико- ристання сигналів, записаних з носимих сенсорів. Основним внеском [27] є використання моментального пульсу (IHR) як єдиної ознаки для класифікації апное уві сні за допомогою LSTM. У ході експериментів отримано F1 score = 1,0 на наборі даних Apnea-ECG. Це по- казує перспективи використання моментального пульсу як стійкої ознаки для детекції апное уві сні. Іншим цікавим аспектом є те, що автори викори- стали набір даних із записами ECG пацієнтів з аритмією як контрольний, таким чином, навчивши модель відрізняти зміни в пульсі, що притаманні аритмії, від викликаних апное уві сні. Це дослідження показує перспективність використання носимих сен- сорів для діагностики апное уві сні. Утім застосовність цієї єдиної ознаки на даних з носимих сенсорів потребує подальшого дослідження. У цьому до- слідженні пульс визначався за даними ECG, записаними в медичній установі за допомогою якісного обладнання. Носимі сенсори (такі як фітнес-трекери) мають набагато нижчу точність (можливо різну залежно від діапазону зна- чень; скажімо, фітнес-трекери можуть бути оптимізовані для високих зна- чень пульсу, які спостерігаються під час занять спортом). До того ж, крім якості апаратного забезпечення таких приладів, на вимірювання впливають інші фактори (наприклад, наручний вимірник може нещільно прилягати до зап’ястя) та випадковий шум. Цілком можливо, що для застосування ма- шинного навчання для виявлення апное уві сні за сигналами з носимих при- ладів буде корисним застосування мультимодальних сигналів, урахування яких компенсуватиме зазначені систематичні похибки та випадкові шуми. Праця [28] є ще одним прикладом дослідження, у якому використову- ється лише одна ознака для класифікації апное уві сні. У наведених експе- риментах використання SpO2 переважало за точністю IHR, даючи майже ідеальні результати. Використання комбінації SpO2 + IHR продовжує по- кращувати результати. Таким чином, застосовуючи пристрої, які вимірюють PPG, можна виділити обидві ці ознаки та отримати прийнятну точність кла- сифікації. Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 53 Ще одним дослідженням, у якому використано похідну ознаку, отри- ману з ECG, є [29]. У цій праці використовуються LSTM, що навчаються на RR інтервалах (тобто часових інтервалах між R-хвилями на ECG). При цьо- му використовувалися досить короткі часові вікна, результати з яких агре- гувалися. Незважаючи на високу точність (97,80%), отриману на наборі даних Apnea-ECG, видається, що на більших вибірках можуть знадобитися моделі, що враховують більш довгостроковий контекст. Це потенційно можна вико- нати за допомогою архітектур типу Transformer, або комбінації CNN + RNN (у яких одновимірні CNN виокремлюють ознаки з невеликих часових вікон, і послідовність цих ознак потім обробляється RNN) аналогічно праці [25]. Праця [30] є прикладом застосування мультимодального машинного навчання для аналізу сигналів, отриманих з найбільшої кількості носимих сенсорів: ECG, SpO2, сигнали з респіраторних ременів. У ній описується но- вий підхід (Branched Fusion Method with Backward Shortcut Connections (BFM-SC)) до детекції апное за даними з багатьох сенсорів, що використо- вує зворотні обхідні з’єднання (Backward Shortcut Connections) в архітектурі нейронної мережі. Цю архітектуру показано на рис. 5 (діаграма (г)); у роботі цей підхід порівнюється з архітектурами (a)–(в). Запропонований метод BFM-SC переважає BFM, оскільки під час тре- нування нейронної мережі максимізується використання даних з кожного сенсора одночасно, у той час як у BFM можлива ситуація, коли один з кана- лів надаватиме достатньо інформації, а інші матимуть нульову вагу. Цей підхід, як стверджується, дає кращі результати (перевірено на на- борі даних Sleep-Heart-Health-Study-1) порівняно з двома простішими підхо- дами до сенсорного синтезу: a б в г Рис. 5. Архітектури сенсорного синтезу [30]: а — Single Input Method (SIM); б — Multi Input Method (MIM); в — Branched Fusion Method (BFM); г — Branch Fusion Method with Backward Shortcut Connection (BFM-SC) Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 54 1) конкатенація декількох сигналів в один, який подається на вхід ней- ронної мережі (Multi Input Method, MIM) — метод раннього синтезу (early fusion); 2) поділ нейронної мережі на дві частини, де перша частина отримує на вхід сигнали від сенсорів і повертає їх репрезентації, які, у свою чергу, по- даються на вхід другій частині, яка вже повертає результат (Branched Fusion Model, BFM) — метод пізнього синтезу (late fusion). Авторами отримано AUPR від 0,61 до 0,78 залежно від групи пацієнтів у наборі даних Sleep-Heart-Health-Study-1. Ця робота є найновішою з роз- глянутих і містить найкращі результати; тому бачимо, що ці результати да- лекі від ідеальних, а набір даних Sleep-Heart-Health-Study-1 більший і склад- ніший для класифікації порівняно з Apnea-ECG. Це показує, що проблему автоматичного визначення апное уві сні за сигналами з носимих сенсорів ще не вирішено, і це обґрунтовує необхідність подальших досліджень з пошуку ефективніших методів машинного навчання, або ж методів їх поєднання з класичними методами з галузей цифрового оброблення сигналів і статис- тики. Більшість підходів до детекції апное є реактивними: вони визначають епізод апное через деякий час після його виникнення, або навіть після закін- чення. У праці [31] автори застосували непараметричну статистичну модель Dirichlet-Process Mixture-Gaussian-Process (DPMG) для прогнозування часу, що залишається до переходу з нормального стану до епізоду обструктивного апное уві сні. Під час тестування підходу на наборі даних, що містить дані з відкри- тих джерел, а також деякі закриті дані, автори виявили ймовірності пра- вильного визначення передбачення апное на рівні від 61,1% (упродовж на- ступних п’яти хвилин) до 83,6% (упродовж наступної хвилини). Це дослідження корисне для вивчення динаміки виникнення епізодів апное, а також для побудови систем, що допомагають проводити медичні інтервенції до виникнення гострих симптомів. Нещодавні успіхи моделей, що базуються на архітектурах нейронних мереж з увагою та архітектурі типу Transformer у різних галузях машинного навчання — починаючи від оброблення природної мови і закінчуючи пере- дбаченням часових рядів — дозволяють припустити успішне застосування таких моделей для проблеми детекції апное. Ураховуючи мультимодальну природу даних дослідження, можна застосовувати підхід типу суміш експертів просторів вивчених ознак, які використовують архітектуру транс- формер та механізм самоуваги для вирішення проблеми класифікації [18], де експертами у розгляданому випадку можуть бути простори вивчених ознак різних сигналів. Цей підхід дуже гнучкий; він дозволяє проводити кла- сифікацію із застосуванням лише тих сигналів, які доступні в конкретний момент часу для конкретного запису, а не всі. Узагальнений огляд проаналізованих методів наведено в таблиці. Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 55 Узагальнений огляд методів Дослідження Мета Сигнали Висновки / результати [25] Визначення стадій сну, апное та рухів кінцівок за даними PSG Усі сигнали PSG: ECG, EMG, SaO2 та ін. Близький до людського рівень точності в разі автоматичного аналізу [14] Визначення ефективності використання запису мови як біомаркера OSA Аудіо (запис) людської мови Мова має певні ознаки, які корелюють з OSA. Точність недостатня для надійної діагностики [26] Визначення ефективності використання запису мови як біомаркера OSA Аудіо (запис) людської мови. Використання доменно-змагального тренування (domain-adversarial training) для зменшення ефекту джерел мінливості, таких як вік або BMI пацієнта, підвищує точність класифікації [15] Визначення ап- ное уві сні за звуками дихання під час сну Аудіо (запис звуків дихання під час сну) За звуками дихання під часу сну можна діагностувати OSA з певною точністю [16] Детекція різних респіраторних подій за допомо- гою відео- та аудіозапису сплячої людини Аудіо + відеозапис сплячої людини Висока точність класифікації, відповідно відео (і отримані з нього позиції грудної клітки та черевної порожнини) додає корисний сигнал (порівняно з використанням лише аудіо) [27] Класифікація апное уві сні моделлю LSTM за єдиною ознакою — пульсом (IHR) Пульс, визначений за ECG Пульс є інформативною ознакою для детекції апное. Засто- совність моделей, що використовують лише одну ознаку, потребує подальших досліджень [28] Огляд поодиноких ознак, за якими можна кла- сифікувати апное уві сні IHR, SpO2 та ін. Використання SpO2 дає високу точність. Застосування комбінації SpO2 + IHR надалі покращує результати. Показує перспективність використання сенсорів, що вимірюють PPG [29] Визначення ап- ное уві сні за RR інтервалами RR інтервали, розраховані з ECG Ця ознака корелює з апное; класифікація за нею дає високу точність. Урахування більш довгостро- кового контексту може дати кращі ре- зультати [30] Розроблення нового методу сенсорного син- тезу Велика кількість сигналів, отриманих з носимих сен- сорів: ECG, SpO2, сигнали з респіраторних ременів Дослідження архітектур нейронних ме- реж, що найкращим чином ураховують мультимодальні сигнали, перспективні. Є прикладом передових результатів, які не досягають точності, достатньої для якісної діагностики, відповідно, задача класифікації апное уві сні не є повністю вирішеною [31] Прогнозування апное уві сні Вручну створені ознаки, що базу- ються на HRV (з ECG) Прогнозування апное уві сні за сигналом ECG можливе з прийнят- ною точністю за одну–три хвилини до епізоду апное Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 56 ВИСНОВКИ Апное уві сні є складним захворюванням, яке наразі недостатньо діагносто- ване через складності отримання аналізів пацієнта. У роботі розглянуто під- ходи діагностування апное уві сні за допомогою сигналів з носимих сенсо- рів у домашніх умовах, а також наявні набори даних, які можна використати для побудови і тестування розроблених моделей та алгоритмів. Описані ме- тоди (для класифікації, локалізації та прогнозування апное уві сні) та набори даних дозволяють очікувати, що детекція апное за допомогою сигналів з носимих сенсорів можлива і дасть змогу діагностувати хворобу у великої кількості людей, що уможливить їх лікування та поліпшення рівня життя. Огляд опублікованих методів показує, що перспективним напрямом дослідження є розроблення складніших моделей машинного навчання, які ефективніше використовують мультимодальні сигнали. ЛІТЕРАТУРА 1. L. Almazaydeh, K. Elleithy, and M. Faezipour, “A Panoramic Study of Obstructive Sleep Apnea Detection Technologies”, 28th International Conference on Computers and Their Applications, 2013. 2. F.W. Ward et al., “Home Diagnosis of Sleep Apnea: A Systematic Review of the Literature”, Chest, no. 124(4), pp. 1543–1579, 2003. 3. T.Young, L. Evans, L. Finn, and M. Palta, “Estimation of the Clinically Diagnosed Proportion of Sleep Apnea Syndrome in Middle-aged Men and Women”, Sleep, no. 20(9), pp. 705–706, 1997. 4. Electrocardiography [Online]. Available: https://en.wikipedia.org/wiki/Electro car- diography. 5. C. Varon et al., “A Novel Algorithm for the Automatic Detection of Sleep Apnea From Single-Lead ECG”, IEEE Transactions on Biomedical Engineering, no. 62(9), pp. 2269–2278, 2015. 6. M. Bsoul, H. Minn, and L. Tamil, “Apnea MedAssist: Real-time Sleep Apnea Moni- tor Using Single-Lead ECG”, IEEE Transactions on Information Technology in Bi- omedicine, no. 15(3), pp. 416–427, 2011. 7. M. Mendez et al., “Sleep Apnea Screening by Autoregressive Models From a Single ECG Lead”, IEEE Transactions on Biomedical Engineering, no. 56(2), pp. 2838–2850, 2009. 8. A. Bansal and R. Joshi, “Portable out-of-hospital electrocardiography: A review of current technologies”, Journal of Arrhythmia, no. 34(2), pp. 129–138, 2018. 9. T. Tamura, “Current progress of photoplethysmography and SPO2 for health moni- toring”, Biomedical Engineering Letters, no. 9(1), pp. 21–36, 2019. 10. Photoplethysmogram [Online]. Available: https://en.wikipedia.org/wiki/Photo plethys mogram 11. A. Burgos, A. Goñi, A. Illarramendi, and J. Bermúdez, “Real-time detection of ap- neas on a PDA”, IEEE Transactions on Information Technology in Biomedicine, no. 14, pp. 995–1002, 2010. 12. G. Angius and L. Raffo, “A sleep apnoea keeper in a wearable device for continuous detection and screening during daily life”, 2008 Computers in Cardiology, pp. 433–436, 2008. 13. A. Petrenko, R. Kyslyi, and I. Pysmennyi, “Detection of human respiration patterns using deep convolution neural networks”, Eastern-European Journal of Enterprise Technologies, no. 4, pp. 6–13, 2018. Машинне навчання під час діагностування і моніторингу сонного апное Системні дослідження та інформаційні технології, 2020, № 4 57 14. C.M. Botelho, I. Trancoso, A. Abad, and T. Paiva, “Speech as a Biomarker for Ob- structive Sleep Apnea Detection”, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5851–5855, 2019. 15. T. Kim, J. Kim, and L. Kyogu, “Detection of sleep disordered breathing severity us- ing acoustic biomarker and machine learning techniques”, BioMedical Engineering OnLine, no. 17, 2018. 16. C. Yang et al., “Sleep Apnea Detection via Depth Video & Audio Feature Learning”, IEEE Transactions on Multimedia, no. 19, pp. 822–835, 2017. 17. Rohan S. Puri et al., “Design and preliminary evaluation of a wearable device for mass-screening of sleep apnea”, 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 1870–1873, 2016. 18. A. Miech, I. Laptev, and J. Sivic, “Learning a Text-Video Embedding from Incom- plete and Heterogeneous Data”, ArXiv, 2018. 19. Guo-Qiang Zhang et al., “The National Sleep Research Resource: towards a sleep data commons”, Journal of the American Medical Informatics Association: JAMIA, no. 25, pp. 1351–1358, 2018. 20. T. Penzel, G. Moody, and R. Mark, “The apnea-ECG database”, Computers in Car- diology 2000, no. 27, pp. 255–258, 2000. 21. B. Kemp et al., The Sleep-EDF Database [Expanded], 2018. [Online]. Available: https://physionet.org/content/sleep-edfx/1.0.0/. doi: 10.13026/C2X676 22. W. McNicholas et al., St. Vincent’s University Hospital / University College Dublin Sleep Apnea Database. 2004. [Online]. Available: https://physionet.org/content/ ucddb/1.0.0/. doi: 10.13026/C26C7D. 23. A.G. Ravelo-García, “APNEA HRV DATASET”, Mendeley, 2018. [Online]. Avail- able: https://data.mendeley.com/datasets/vv6wdpbrsh/1. 24. A. Goldberger et al., “PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals”, Circulation, no. 101, pp. E215–20, 2000. 25. S. Biswal, H. Sun, and B. Goparaju, “Expert-level sleep scoring with deep neural networks”, Journal of the American Medical Informatics Association: JAMIA, no. 25, pp. 1643–1650, 2018. 26. J.M. Perero-Codosero et al., “Modeling Obstructive Sleep Apnea Voices Using Deep Neural Network Embeddings and Domain-Adversarial Training”, IEEE Journal of Selected Topics in Signal Processing, no. 14, pp. 240–250, 2020. 27. R.K. Pathinarupothi et al., “Instantaneous heart rate as a robust feature for sleep ap- nea severity detection using deep learning”, IEEE EMBS International Conference on Biomedical & Health Informatics (BHI), pp. 293–296, 2017. 28. R.P. Krishnan et al., “Single Sensor Techniques for Sleep Apnea Diagnosis using Deep Learning”, IEEE International Conference on Healthcare Informatics (ICHI), pp. 524–529, 2017. 29. M. Cheng et al., “Recurrent Neural Network Based Classification of ECG Signal Features for Obstruction of Sleep Apnea Detection”, IEEE International Conference on Computational Science and Engineering (CSE) and IEEE International Confer- ence on Embedded and Ubiquitous Computing (EUC), no. 2, pp. 199–202, 2017. 30. T. Van Steenkiste, D. Deschrijver, and T. Dhaene, “Sensor Fusion using Backward Shortcut Connections for Sleep Apnea Detection in Multi-Modal Data”, Machine Learning for Health Workshop, pp. 112–125, 2020. 31. T.Q. Le and S.T. Bukkapatnam, “Nonlinear Dynamics Forecasting of Obstructive Sleep Apnea Onsets”, PLoS ONE, no. 11, 2016. Надійшла 22.09.2020 Д.А. Ткаченко, І.В. Круш, В.Г. Михалько, А.І. Петренко ISSN 1681–6048 System Research & Information Technologies, 2020, № 4 58 INFORMATION ON THE ARTICLE Dmytro A. Tkachenko, ORCID: 0000-0003-2804-7305, Educational and Scientific Complex “Institute for Applied System Analysis” of the National Technical Univer- sity of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail: me@dmitriytkachenko.com Ihor V. Krush, ORCID: 0000-0001-7083-1799, Educational and Scientific Complex “In- stitute for Applied System Analysis” of the National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail: ihor@kroosh.me Vitalii G. Mykhalko, ORCID: 0000-0002-1811-8344, Educational and Scientific Complex “Institute for Applied System Analysis” of the National Technical Univer- sity of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail: vitalii.mykhalko@gmail.com Anatolii I. Petrenko, ORCID: 0000-0001-6712-7792, Educational and Scientific Complex “Institute for Applied System Analysis” of the National Technical Univer- sity of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Ukraine, e-mail: tolja.petrenko@gmail.com MACHINE LEARNING FOR DIAGNOSIS AND MONITORING OF SLEEP APNEA / D.A. Tkachenko, I.V. Krush, V.G. Mykhalko, A.I. Petrenko Abstract. This paper contains a review and analysis of applications of modern ma- chine learning approaches to solve sleep apnea severity level detection by localiza- tion of apnea episodes and prediction of the subsequent apnea episodes. We demon- strate that signals provided by cheap wearable devices can be used to solve typical tasks of sleep apnea detection. We review major publicly available datasets that can be used for training respective deep learning models, and we analyze the usage op- tions of these datasets. In particular, we prove that deep learning could improve the accuracy of sleep apnea classification, sleep apnea localization, and sleep apnea pre- diction, especially using more complex models with multimodal data from several sensors. Keywords: monitoring, respiratory illnesses, deep learning, polysomnography, sleep apnea, CNN. МАШИННОЕ ОБУЧЕНИЕ ПРИ ДИАГНОСТИРОВАНИИ И МОНИТОРИНГЕ СОННОГО АПНОЭ / Д.А. Ткаченко, И.В. Круш, В.Г. Михалько, А.И. Петренко Аннотация. Рассмотрено и проанализировано использование современных подходов машинного обучения для решения задач определения уровня слож- ности апноэ во сне путем локализации эпизодов апноэ во времени и предска- зании последующих эпизодов апноэ. Продемонстрировано, что с помощью сиг- налов от доступных портативных сенсоров можно с относительно высокой точностью решать типичные задачи для определения апноэ во сне, а также рассмотрены основные публичные наборы данных для тренировки соответст- вующих моделей глубинного обучения и варианты их возможного использо- вания. В частности, доказано, что использование глубинного обучения может повысить точность классификации, локализации и предсказания апноэ, осо- бенно с помощью использования более сложных моделей глубинного обуче- ния с учетом мультимодальных данных из нескольких сенсоров. Ключевые слова: мониторинг, респираторные заболевания, глубинное обуче- ние, полисомнография, сонное апноэ, CNN.
id journaliasakpiua-article-228369
institution System research and information technologies
keywords_txt_mv keywords
language Ukrainian
last_indexed 2025-07-17T10:27:04Z
publishDate 2020
publisher The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
record_format ojs
resource_txt_mv journaliasakpiua/a5/809bef9d67170515b8653cc9418e34a5.pdf
spelling journaliasakpiua-article-2283692021-04-08T14:17:06Z Machine learning for diagnosis and monitoring of sleep apnea Машинное обучение при диагностировании и мониторинге сонного апноэ Машинне навчання під час діагностування і моніторингу сонного апное Tkachenko, Dmytro Krush, Ihor Mykhalko, Vitalii Petrenko, Anatolii моніторинг респіраторні хвороби глибинне навчання полісомнографія сонне апное CNN monitoring respiratory illnesses deep learning polysomnography sleep apnea CNN мониторинг респираторные заболевания глубинное обучение полисомнография сонное апноэ CNN This paper contains a review and analysis of applications of modern ma-chine learning approaches to solve sleep apnea severity level detection by localization of apnea episodes and prediction of the subsequent apnea episodes. We demonstrate that signals provided by cheap wearable devices can be used to solve typical tasks of sleep apnea detection. We review major publicly available datasets that can be used for training respective deep learning models, and we analyze the usage options of these datasets. In particular, we prove that deep learning could improve the accuracy of sleep apnea classification, sleep apnea localization, and sleep apnea prediction, especially using more complex models with multimodal data from several sensors. Рассмотрено и проанализировано использование современных подходов машинного обучения для решения задач определения уровня слож-ности апноэ во сне путем локализации эпизодов апноэ во времени и предска-зании последующих эпизодов апноэ. Продемонстрировано, что с помощью сигналов от доступных портативных сенсоров можно с относительно высокой точностью решать типичные задачи для определения апноэ во сне, а также рассмотрены основные публичные наборы данных для тренировки соответствующих моделей глубинного обучения и варианты их возможного использования. В частности, доказано, что использование глубинного обучения может повысить точность классификации, локализации и предсказания апноэ, особенно с помощью использования более сложных моделей глубинного обучения с учетом мультимодальных данных из нескольких сенсоров. Розглянуто та проаналізовано використання сучасних підходів машинного навчання для визначення рівня тяжкості апное уві сні шляхом локалізації епізодів апное в часі та передбачення наступних епізодів апное. Продемонстровано, що за допомогою сигналів від доступних і портативних сенсорів можна з відносно високою точністю розв’язувати типові задачі з визначення апное уві сні, а також розглянуто основні публічні набори даних для тренування відповідних моделей машинного навчання та варіанти їх можливого використання. Зокрема, доведено, що застосування глибинного навчання може підвищити точність класифікації, локалізації та передбачення апное, особливо за допомогою використання більш складних моделей глибинного навчання, які враховують мультимодальні дані від декількох сенсорів. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2020-12-29 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/228369 10.20535/SRIT.2308-8893.2020.4.04 System research and information technologies; No. 4 (2020); 43-58 Системные исследования и информационные технологии; № 4 (2020); 43-58 Системні дослідження та інформаційні технології; № 4 (2020); 43-58 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/228369/227489
spellingShingle моніторинг
респіраторні хвороби
глибинне навчання
полісомнографія
сонне апное
CNN
Tkachenko, Dmytro
Krush, Ihor
Mykhalko, Vitalii
Petrenko, Anatolii
Машинне навчання під час діагностування і моніторингу сонного апное
title Машинне навчання під час діагностування і моніторингу сонного апное
title_alt Machine learning for diagnosis and monitoring of sleep apnea
Машинное обучение при диагностировании и мониторинге сонного апноэ
title_full Машинне навчання під час діагностування і моніторингу сонного апное
title_fullStr Машинне навчання під час діагностування і моніторингу сонного апное
title_full_unstemmed Машинне навчання під час діагностування і моніторингу сонного апное
title_short Машинне навчання під час діагностування і моніторингу сонного апное
title_sort машинне навчання під час діагностування і моніторингу сонного апное
topic моніторинг
респіраторні хвороби
глибинне навчання
полісомнографія
сонне апное
CNN
topic_facet моніторинг
респіраторні хвороби
глибинне навчання
полісомнографія
сонне апное
CNN
monitoring
respiratory illnesses
deep learning
polysomnography
sleep apnea
CNN
мониторинг
респираторные заболевания
глубинное обучение
полисомнография
сонное апноэ
CNN
url https://journal.iasa.kpi.ua/article/view/228369
work_keys_str_mv AT tkachenkodmytro machinelearningfordiagnosisandmonitoringofsleepapnea
AT krushihor machinelearningfordiagnosisandmonitoringofsleepapnea
AT mykhalkovitalii machinelearningfordiagnosisandmonitoringofsleepapnea
AT petrenkoanatolii machinelearningfordiagnosisandmonitoringofsleepapnea
AT tkachenkodmytro mašinnoeobučeniepridiagnostirovaniiimonitoringesonnogoapnoé
AT krushihor mašinnoeobučeniepridiagnostirovaniiimonitoringesonnogoapnoé
AT mykhalkovitalii mašinnoeobučeniepridiagnostirovaniiimonitoringesonnogoapnoé
AT petrenkoanatolii mašinnoeobučeniepridiagnostirovaniiimonitoringesonnogoapnoé
AT tkachenkodmytro mašinnenavčannâpídčasdíagnostuvannâímonítoringusonnogoapnoe
AT krushihor mašinnenavčannâpídčasdíagnostuvannâímonítoringusonnogoapnoe
AT mykhalkovitalii mašinnenavčannâpídčasdíagnostuvannâímonítoringusonnogoapnoe
AT petrenkoanatolii mašinnenavčannâpídčasdíagnostuvannâímonítoringusonnogoapnoe