Новые средства альтернативной коммуникации для людей с ограниченными возможностями

Предложена информационная технология, позволяющая с использованием современных IT-устройств (нетбуки, планшеты, телефоны и т.д.) осуществлять альтернативную коммуникацию для людей, у которых отсутствует (временно или постоянно) основной канал вербальной коммуникации. Реализовать такую коммуникацию...

Full description

Saved in:
Bibliographic Details
Published in:Кибернетика и системный анализ
Date:2016
Main Authors: Кривонос, Ю.Г., Крак, Ю.В., Бармак, А.В., Багрий, Р.А.
Format: Article
Language:Russian
Published: Інститут кібернетики ім. В.М. Глушкова НАН України 2016
Subjects:
Online Access:https://nasplib.isofts.kiev.ua/handle/123456789/142012
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:Новые средства альтернативной коммуникации для людей с ограниченными возможностями / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Р.А. Багрий // Кибернетика и системный анализ. — 2016. — Т. 52, № 5. — С. 3-13. — Бібліогр.: 13 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1860019560887877632
author Кривонос, Ю.Г.
Крак, Ю.В.
Бармак, А.В.
Багрий, Р.А.
author_facet Кривонос, Ю.Г.
Крак, Ю.В.
Бармак, А.В.
Багрий, Р.А.
citation_txt Новые средства альтернативной коммуникации для людей с ограниченными возможностями / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Р.А. Багрий // Кибернетика и системный анализ. — 2016. — Т. 52, № 5. — С. 3-13. — Бібліогр.: 13 назв. — рос.
collection DSpace DC
container_title Кибернетика и системный анализ
description Предложена информационная технология, позволяющая с использованием современных IT-устройств (нетбуки, планшеты, телефоны и т.д.) осуществлять альтернативную коммуникацию для людей, у которых отсутствует (временно или постоянно) основной канал вербальной коммуникации. Реализовать такую коммуникацию предложено путем интеллектуализации процесса ввода текстовой информации с применением ограниченного числа соответствующих управлений, задаваемых рукой. Исследована модель скелета человека в целях определения ограниченного количества движений и конфигураций руки, устойчивых к распознаванию средствами IT-устройств. Запропоновано інформаційну технологію, що дозволяє з використанням сучасних ІТ-пристроїв (нетбуки, планшети, телефони тощо) здійснювати альтернативну комунікацію для людей, у яких відсутній (тимчасово чи постійно) основний канал вербальної комунікації. Реалізувати таку комунікацію запропоновано шляхом інтелектуалізації процесу введення текстової інформації із застосуванням обмеженої кількості відповідних керувань, що задаються рукою. Досліджено модель скелета людини з метою визначення обмеженої кількості рухів та конфігурацій руки, стійких до розпізнавання засобами IT-пристроїв. The paper presents an information technology that uses modern IT devices (netbooks, tablets, phones, etc.) to implement alternative communication for people who do not have (temporarily or permanently) the main channel of verbal communication. The author propose to implement alternative communication through intellectualization of the input of text information with a limited number of relevant controls specified by a hand. The human skeleton model is investigated to identify a limited number of hand configurations and motions, resistant to IT device recognition.
first_indexed 2025-12-07T16:47:18Z
format Article
fulltext Þ.Ã. ÊÐÈÂÎÍÎÑ, Þ.Â. ÊÐÀÊ, À.Â. ÁÀÐÌÀÊ, Ð.À. ÁÀÃÐÈÉ ÓÄÊ 004.93.12 ÍÎÂÛÅ ÑÐÅÄÑÒÂÀ ÀËÜÒÅÐÍÀÒÈÂÍÎÉ ÊÎÌÌÓÍÈÊÀÖÈÈ ÄËß ËÞÄÅÉ Ñ ÎÃÐÀÍÈ×ÅÍÍÛÌÈ ÂÎÇÌÎÆÍÎÑÒßÌÈ Àííîòàöèÿ. Ïðåäëîæåíà èíôîðìàöèîííàÿ òåõíîëîãèÿ, ïîçâîëÿþùàÿ ñ èñ- ïîëüçîâàíèåì ñîâðåìåííûõ IT-óñòðîéñòâ (íåòáóêè, ïëàíøåòû, òåëåôîíû è ò.ä.) îñóùåñòâëÿòü àëüòåðíàòèâíóþ êîììóíèêàöèþ äëÿ ëþäåé, ó êîòîðûõ îòñóòñòâóåò (âðåìåííî èëè ïîñòîÿííî) îñíîâíîé êàíàë âåðáàëüíîé êîììó- íèêàöèè. Ðåàëèçîâàòü òàêóþ êîììóíèêàöèþ ïðåäëîæåíî ïóòåì èíòåëëåêòóà- ëèçàöèè ïðîöåññà ââîäà òåêñòîâîé èíôîðìàöèè ñ ïðèìåíåíèåì îãðàíè÷åí- íîãî ÷èñëà ñîîòâåòñòâóþùèõ óïðàâëåíèé, çàäàâàåìûõ ðóêîé. Èññëåäîâàíà ìîäåëü ñêåëåòà ÷åëîâåêà â öåëÿõ îïðåäåëåíèÿ îãðàíè÷åííîãî êîëè÷åñòâà äâèæåíèé è êîíôèãóðàöèé ðóêè, óñòîé÷èâûõ ê ðàñïîçíàâàíèþ ñðåäñòâàìè IT-óñòðîéñòâ. Êëþ÷åâûå ñëîâà: àëüòåðíàòèâíàÿ êîììóíèêàöèÿ, êîíòðîëëåð Leap Motion, êëàñòåðèçàöèÿ, èíôîðìàöèîííàÿ òåõíîëîãèÿ. ÂÂÅÄÅÍÈÅ È ÏÎÑÒÀÍÎÂÊÀ ÇÀÄÀ×È Êîíöåïöèÿ äîïîëíèòåëüíîé è àëüòåðíàòèâíîé êîììóíèêàöèè (Augmentative and Alternative Communication — AAC) [1] ïîêà íåäîñòàòî÷íî èçâåñòíà â Óêðàèíå. Ìåæäó òåì ñîîáùåñòâî ñïåöèàëèñòîâ, ïîëüçîâàòåëåé è ïðîèçâîäè- òåëåé AAC áîëåå 30 ëåò íàçàä ñôîðìèðîâàëî ýòî íàïðàâëåíèå è ñàìîñòîÿòåëü- íóþ îáëàñòü ìåæäèñöèïëèíàðíîãî çíàíèÿ. Àêòèâíîå ðàçâèòèå êîíöåïöèÿ ïî- ëó÷èëà áëàãîäàðÿ èäåÿì èíêëþçèè — èíòåãðàöèè ëþäåé ñ îãðàíè÷åííûìè âîçìîæíîñòÿìè æèçíåäåÿòåëüíîñòè â îáùåñòâåííóþ æèçíü. AAC èñïîëüçóåòñÿ äëÿ îêàçàíèÿ ïîìîùè ëþäÿì, ó êîòîðûõ â ñèëó âðîæäåííûõ èëè ïðèîáðåòåííûõ ðàññòðîéñòâ îòñóòñòâóåò óñòíàÿ ðå÷ü, ñóùåñòâåííî îãðàíè÷åíà èëè íåäîñòàòî÷íî ñôîðìèðîâàíà. Äîïîëíèòåëüíàÿ êîììóíèêàöèÿ ïðåäñòàâëåíà ñèñ- òåìîé ñïåöèàëüíûõ ìåòîäîâ è ñðåäñòâ, ïðèçâàííûõ, ñ îäíîé ñòîðîíû, ïîìî÷ü äåòÿì ñ âðåìåíí�ì îïîçäàíèåì ðå÷åâîãî ðàçâèòèÿ, ñ äðóãîé — îáëåã÷èòü ïîíèìàíèå âåð- áàëüíûõ ñîîáùåíèé ëèö ñ òÿæåëûìè ðå÷åâûìè íàðóøåíèÿìè. Àëüòåðíàòèâíàÿ êîì- ìóíèêàöèÿ àêòóàëüíà â ñëó÷àå îòñóòñòâèÿ óñòíîé ðå÷è è ïðåäïîëàãàåò îâëàäåíèå äðóãîé êîììóíèêàòèâíîé ñèñòåìîé, â êîòîðîé îñîáîå çíà÷åíèå ïðèîáðåòàþò íåâåð- áàëüíûå êîììóíèêàòèâíûå ñðåäñòâà (ïðåäìåòû, ôîòîãðàôèè, æåñòû [2], ñèìâîëû è ò.ï.).  çàâèñèìîñòè îò ñôîðìèðîâàííîñòè ïîíèìàíèÿ ðå÷è è ïîòåíöèàëüíûõ ñïî- ñîáíîñòåé ê îâëàäåíèþ èìïðåññèâíûì è ýêñïðåññèâíûì ÿçûêàìè âûäåëÿþò òðè ãðóïïû ïîëüçîâàòåëåé äîïîëíèòåëüíîé è àëüòåðíàòèâíîé êîììóíèêàöèè. Ïåðâàÿ ãðóïïà — ëþäè, êîòîðûå äîñòàòî÷íî õîðîøî ïîíèìàþò ðå÷ü, íî íå â ñîñòîÿíèè âûðàçèòü ñâîè ïîòðåáíîñòè âåðáàëüíî. Êàê ïðàâèëî, îíè èìåþò òÿæåëûå ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 3 © Þ.Ã. Êðèâîíîñ, Þ.Â. Êðàê, À.Â. Áàðìàê, Ð.À. Áàãðèé, 2016 äâèãàòåëüíûå ðå÷åâûå ðàññòðîéñòâà, íå èñïûòûâàþò ÷óâñòâ îò äâèæåíèé îðãàíîâ àðòè- êóëÿöèîííîãî àïïàðàòà è íå ñïîñîáíû âûïîëíÿòü ïðîèçâîëüíûå öåëåíàïðàâëåííûå äâèæåíèÿ. ÀÀÑ ÿâëÿåòñÿ äëÿ íèõ ñðåäñòâîì âûðàæåíèÿ ñàìî÷óâñòâèÿ, ïîòðåáíîñòåé, æåëàíèé è èíòåðåñîâ. Îíè ïîëüçóþòñÿ ÀÀÑ ïîñòîÿííî, â òå÷åíèå âñåé æèçíè. Âòîðàÿ ãðóïïà — ëþäè ñ çàìåäëåííûì ðàçâèòèåì, îíè èñïûòûâàþò çíà÷è- òåëüíûå òðóäíîñòè â îâëàäåíèè ðå÷üþ (äåòè ñ èíòåëëåêòóàëüíîé íåäîñòàòî÷íîñ- òüþ, ìîòîðíîé àëàëèåé).  ýòîì ñëó÷àå ÀÀÑ ïðèìåíÿåòñÿ âðåìåííî è ñïîñîá- ñòâóåò ôîðìèðîâàíèþ èìïðåññèâíîé è ýêñïðåññèâíîé ðå÷è.  ýòó ãðóïïó òàêæå âêëþ÷àþò ëèö, ðå÷ü êîòîðûõ ïîíÿòíà òîëüêî ïðè íàëè÷èè ñïåöèàëüíûõ äîïîëíè- òåëüíûõ ñðåäñòâ (íàïðèìåð, ïðè äåòñêîì àóòèçìå). Òðåòüÿ ãðóïïà — ëþäè, äëÿ êîòîðûõ óñòíàÿ ðå÷ü êàê ñðåäñòâî êîììóíèêà- öèè ñëèøêîì ñëîæíà (íàïðèìåð, ïðè òÿæåëûõ ìíîæåñòâåííûõ íàðóøåíèÿõ), îíè ïîñòîÿííî, â òå÷åíèå äëèòåëüíîãî âðåìåíè, íóæäàþòñÿ â ñîîòâåòñòâóþùåé àëü- òåðíàòèâå. Ïîëüçîâàòåëåé ýòîé ãðóïïû îáó÷àþò êàê ïîíèìàíèþ ÿçûêà, òàê è ñïî- ñîáíîñòè âûðàæàòü ñâîè æåëàíèÿ. ÀÀÑ èñïîëüçóåò öåëûé ñïåêòð ðàçíîîáðàçíûõ ñðåäñòâ, ïîìîãàþùèõ ëþäÿì âûðàæàòü ñâîè ìûñëè è ýôôåêòèâíî îáùàòüñÿ. Ñîâðåìåííûå ñðåäñòâà ÀÀÑ ïðåäñòàâëåíû òðåìÿ îñíîâíûìè ãðóïïàìè. 1. Ïðîñòûå ñðåäñòâà: ïðåäìåòû, æåñòû, ôîòîãðàôèè, èçîáðàæåíèÿ, ñèìâîëû. Îíè ïîìîãàþò âûðàæàòü æåëàíèå êîììóíèêàöèè, ñèãíàëèçèðîâàòü î íàñóùíûõ ïîòðåáíîñòÿõ æèçíåäåÿòåëüíîñòè, ïîëó÷àòü ïðåäñòàâëåíèå î ïîñëåäîâàòåëüíîñòè ñîáûòèé â òå÷åíèå îïðåäåëåííîãî âðåìåíè, à òàêæå îâëàäåâàòü îñíîâíûìè ÿçû- êîâûìè ñòðóêòóðàìè. 2. Ñðåäñòâà êîììóíèêàöèè ñ èñïîëüçîâàíèåì ïðîñòîé òåõíèêè: ìàãíèòîôî- íû ñ âîñïðîèçâåäåíèåì ñîîáùåíèé, ãîëîñîâûå èãðóøêè, áëîêíîòû, ôîòîàëüáî- ìû, êîììóíèêàòîðû è äð. Ñ èõ ïîìîùüþ ìîæíî çàïèñûâàòü è ñîõðàíÿòü â ïàìÿ- òè ãîëîñîâûå ñîîáùåíèÿ è òåì ñàìûì ñîçäàâàòü óñëîâèÿ äëÿ àêòèâíîãî îáùåíèÿ ëþäåé ñî çíà÷èòåëüíûìè îãðàíè÷åíèÿìè âåðáàëüíîé êîììóíèêàöèè. 3. Ìíîãîôóíêöèîíàëüíûå ñðåäñòâà êîììóíèêàöèè íà îñíîâå ñëîæíûõ òåõíè- ÷åñêèõ óñòðîéñòâ: ñåíñîðíûå ýêðàíû, ñèíòåçàòîðû ðå÷è [3] è ò.ï. Îíè îáåñïå÷èâà- þò çíà÷èòåëüíîå ðàñøèðåíèå ñëîâàðÿ, ïîçâîëÿþò çàäàâàòü òåìó áåñåäû, îáúåäè- íÿòü îäíîâðåìåííî íåñêîëüêî òåì, äåëàþò âîçìîæíûì îáùåíèå íà ðàññòîÿíèè, óïðîùàþò îáùåíèå â ãðóïïå è ïî òåëåôîíó. Ñîâðåìåííîå ðàçâèòèå ñðåäñòâ âû÷èñëèòåëüíîé òåõíèêè è èíôîðìàöèîííûõ òåõíîëîãèé äàåò âîçìîæíîñòü ñóùåñòâåííî ðàçâèòü òðåòüþ ãðóïïó ñðåäñòâ ÀÀÑ. Ïðèñóòñòâèå â îáùåñòâå ëþäåé ñ îãðàíè÷åííûìè âîçìîæíîñòÿìè äëÿ îáùåíèÿ (ñ íåäîñòàòêàìè ñëóõà, ÷åëþñòíî-ëèöåâûìè òðàâìàìè, ïîñëå èíñóëüòîâ è ò.ä.) ïî- áóæäàåò ê èññëåäîâàíèÿì àëüòåðíàòèâíûõ ñðåäñòâ êîììóíèêàöèè. Âàðèàíòàìè òà- êîé êîììóíèêàöèè ÿâëÿþòñÿ: æåñòû, ðàçëè÷íûå êîíôèãóðàöèè êèñòè, äâèæåíèÿ ãëàçàìè, ãîëîâîé è ò.ä. [4]. Öåëü äàííîé ðàáîòû — ïðîåêòèðîâàíèå èíôîðìàöèîííîé òåõíîëîãèè, ïî- ìîãàþùåé â ðåàëèçàöèè àëüòåðíàòèâíûõ ïîäõîäîâ ê îáùåíèþ. Îñíîâíàÿ åå èäåÿ çàêëþ÷àåòñÿ â ñîçäàíèè êîìïëåêñíîãî ïîäõîäà ê îñóùåñòâëåíèþ àëüòåðíàòèâíîé êîììóíèêàöèè. Àïïàðàòíî-ïðîãðàììíàÿ ðåàëèçàöèÿ òåõíîëîãèè äîëæíà îáåñïå÷èòü êîììóíèêàöèþ ìàêñèìàëüíî âîçìîæíûìè ñïîñîáàìè. ÎÏÈÑÀÍÈÅ ÈÍÔÎÐÌÀÖÈÎÍÍÎÉ ÒÅÕÍÎËÎÃÈÈ Ðàçðàáîòàíà èíôîðìàöèîííàÿ òåõíîëîãèÿ (ðèñ. 1), ïîçâîëÿþùàÿ ñ èïîëüçîâàíè- åì ñîâðåìåííûõ IT-óñòðîéñòâ (íåòáóêè, ïëàíøåòû, òåëåôîíû è ò.ä.) îñóùåñò- âëÿòü àëüòåðíàòèâíóþ êîììóíèêàöèþ äëÿ ëþäåé, êîòîðûì îíà íåîáõîäèìà. Îòìåòèì, ÷òî âõîäíàÿ èíôîðìàöèÿ äëÿ ââîäà ñ ïîìîùüþ IT-óñòðîéñòâ òðå- áóåò ðåàëèçàöèè ôóíêöèé óïðàâëåíèÿ êóðñîðîì (ïåðåìåùåíèå êóðñîðà äëÿ âûáî- 4 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 ðà/óêàçàíèÿ) è ôóíêöèé íåïîñðåäñòâåííîãî ââîäà íàèìåíüøåé êîììóíèêàöèîí- íîé åäèíèöû — ñèìâîëà (áóêâû). Äëÿ èíòåëëåêòóàëèçàöèè ââîäà èíôîðìàöèè ìîæíî èñïîëüçîâàòü ñèñòåìó óñêîðåííîãî ââîäà òåêñòà â öèôðîâûõ óñòðîéñòâàõ, êîòîðàÿ â ïðîöåññå ââîäà áóêâ ïðåäëàãàåò âàðèàíòû îêîí÷àíèé ñëîâ è ïðåäëîæå- íèé, îñíîâûâàÿñü íà äàííûõ ñëîâàðåé, óêàçûâàåò íà îñíîâíûå îøèáêè. Èñõîäíàÿ èíôîðìàöèÿ ìîæåò áûòü âîñïðîèçâåäåíà íà óñòðîéñòâå â âèäå: îáû÷íîãî òåêñòà, çâóêîâîãî ôàéëà, ïîñëåäîâàòåëüíîñòè æåñòîâ (æåñòîâûé ÿçûê) è äð. Îòäåëüíî äåêëàðèðóåòñÿ âîçìîæíîñòü äèíàìè÷åñêîãî ðàñøèðåíèÿ äàííîé òåõíîëîãèè: äîáàâëåíèå ôóíêöèé óïðàâëåíèÿ êóðñîðîì, ââîä ñèìâîëà, èíòåëëåêòóàëèçàöèÿ ââîäà/âûâîäà òåêñòîâîé èíôîðìàöèè. ÎÁÇÎÐ ÑÏÎÑÎÁΠÈÍÒÅËËÅÊÒÓÀËÈÇÀÖÈÈ È ÀËÜÒÅÐÍÀÒÈÂÍÛÕ ÂÀÐÈÀÍÒΠÂÂÎÄÀ ÒÅÊÑÒÀ Îáçîð ñïîñîáîâ èíòåëëåêòóàëèçàöèè ââîäà ïîêàçàë, ÷òî óêàçàííàÿ ïðîáëåìà ðåøàëàñü äëÿ ñèñòåì ââîäà òåêñòîâîé èíôîðìàöèè â ìîáèëüíûå óñòðîéñòâà ñ öèôðîâûìè êíîïêàìè. Ñ ïîìîùüþ äåâÿòè öèôðîâûõ êíîïîê ïðåäëàãàëèñü ðàçëè÷íûå ñïîñîáû ââåäåíèÿ áóêâåííîé èíôîðìàöèè. Äëÿ àëüòåðíàòèâíûõ ñèñòåì êîììóíèêàöèè âàæíà ìèíèìèçàöèÿ êîëè÷åñòâà óïðàâëåíèé äëÿ ââîäà òåêñòîâîé èíôîðìàöèè. Âûäåëèì ñëåäóþùèå ìåòîäû ââåäåíèÿ: Multi-press Input Method, Two-key Input Method è T9 Input Method [5]. Multi-press Input Method ÿâëÿåòñÿ îñíîâíûì ìåòîäîì ââîäà òåêñòà äëÿ ìî- áèëüíûõ òåëåôîíîâ. Îí ñîñòîèò â íàæàòèè êàæäîé êíîïêè îäèí èëè íåñêîëüêî ðàç äëÿ óêàçàíèÿ âõîäíîãî ñèìâîëà. Ýòîò ìåòîä èìååò ïðîáëåìó ñåãìåíòàöèè, âîçíèêàþùóþ, êîãäà ïîëüçîâàòåëþ íåîáõîäèìî èñïîëüçîâàòü òó æå êíîïêó, ÷òî è äëÿ ðàíåå ââåäåííîãî ñèìâîëà. Ñèñòåìà äîëæíà îïðåäåëèòü: íàæàòèå íà êíîïêó îòíîñèòñÿ ê «ïîäêàòåãîðèè» ïðåäûäóùåãî ñèìâîëà èëè ÿâëÿåòñÿ íîâûì ñèìâî- ëîì. Òàêèì îáðàçîì, íåîáõîäèì ìåõàíèçì, îïðåäåëÿþùèé íà÷àëî íîâîãî ñèìâî- ëà. Èñïîëüçóþò äâà îñíîâíûõ ïóòè ðåøåíèÿ ýòîé ïðîáëåìû: òàéì-àóò (çàäåð- æêà), â òå÷åíèå êîòîðîãî íàæàòèå êíîïêè áóäåò îçíà÷àòü òîò æå ñèìâîë; íàëè÷èå ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 5 Âõîäíàÿ èíôîðìàöèÿ Èíòåëëåêòóàëüíûé ââîä òåêñòàÓïðàâëåíèå êóðñîðîì Ìûøêà1 Ñåíñîð2 Ãîëîâà3 Ãëàçà4 LeapMotion5 … Ââîä ñèìâîëà Âèðòóàëüíàÿ êëàâèàòóðà — ñòàíäàðòíàÿ — Swype — Snapkeys — … 6 Ðóêîïèñü 8 Êëàâèàòóðà 7 Web-êàìåðà 9 Kinect 10 LeapMotion 11 … Ìåòîäû ââîäà Multi-press Two-key Ñëîâàðü T9 Ðàñïîçíàâàíèå — ðóêîïèñè — äàêòèëÿ — æåñòà Ñëîâà Âûõîäíàÿ èíôîðìàöèÿ Âîñïðîèçâåäåíèå ïðåäëîæåíèÿ ãîëîñîì Îòîáðàæåíèå ïðåäëîæåíèÿ íà óñòðîéñòâå Îòîáðàæåíèå íà ÿçûêå æåñòîâ … Ðèñ. 1 ñîîòâåòñòâóþùåé êíîïêè äëÿ èçáåæàíèÿ çàäåðæêè è íåìåäëåííîãî ââåäåíèÿ ñëå- äóþùåãî ñèìâîëà íà òîé æå êíîïêå. Íåêîòîðûå ìîäåëè òåëåôîíîâ èñïîëüçóþò êîìáèíàöèþ ýòèõ äâóõ ðåøåíèé.  Two-key Input Method ïîëüçîâàòåëü íàæèìàåò íà äâå êíîïêè ïîñëåäîâàòåëü- íî, óêàçûâàÿ ñèìâîë. Ïåðâîå íàæàòèå âûáèðàåò «ãðóïïó» ñèìâîëîâ, âòîðîå — óñòðàíÿåò íåîäíîçíà÷íîñòü (óêàçûâàåò ïîëîæåíèå ñèìâîëà â ãðóïïå). Íàèáîëåå ýôôåêòèâåí T9 Input Method [5]. Îí ðåøàåò ïðîáëåìó íåîäíîçíà÷- íîñòè ïóòåì ïðèìåíåíèÿ îïðåäåëåííûõ ëèíãâèñòè÷åñêèõ çíàíèé è èñïîëüçóåò ñëîâàðü â êà÷åñòâå îñíîâû äëÿ ïðåîäîëåíèÿ íåîäíîçíà÷íîñòè. Ìåòîä îñíîâàí íà òîì æå ðàñïîëîæåíèè êíîïîê, ÷òî è â Multi-press Input Method, íî êàæäàÿ êíîïêà íàæèìàåòñÿ îäèí ðàç. Îí íàõîäèò âîçìîæíûå ñëîâà äëÿ òàêîé êîìáèíàöèè êíî- ïîê â ëèíãâèñòè÷åñêîé áàçå è «ïðåäñêàçûâàåò» îæèäàåìîå ñëîâî. Ëèíãâèñòè÷åñ- êàÿ íåîäíîçíà÷íîñòü íå ÿâëÿåòñÿ ñîâåðøåííîé, òàê êàê ìíîãî ïðîñòûõ ñëîâ ìî- ãóò èìåòü îäíó è òó æå ïîñëåäîâàòåëüíîñòü êíîïîê.  ýòèõ ñëó÷àÿõ ìåòîä Ò9 ïðåäëàãàåò ñëîâî, êîòîðîå ÷àùå èñïîëüçóåòñÿ, êàê ñëîâî ïî óìîë÷àíèþ. ×òîáû âûáðàòü äðóãîå ñëîâî, íóæíî íàæàòü ñîîòâåòñòâóþùóþ êíîïêó. Ïðèâåäåííûé â èññëåäîâàíèÿõ àíàëèç [6] ïîêàçàë, ÷òî óñòðàíåíèå íåîäíîçíà÷íîñòè äîñòàòî÷íî ýôôåêòèâíî.  âûáîðêå èç 9025 íàèáîëåå óïîòðåáëÿåìûõ ñëîâ íà àíãëèéñêîì ÿçûêå (ftp://ftp.itri.bton.ac.uk/), ïîëó÷åííûõ èç áðèòàíñêîãî íàöèîíàëüíîãî êîðïó- ñà, íåîäíîçíà÷íîñòü ñâîéñòâåííà òîëüêî 3% ñëîâ [6]. Äàëåå ðàññìîòðèì àëüòåðíàòèâíûå ñïîñîáû ââîäà òåêñòà ñ ïîìîùüþ êîíôè- ãóðàöèé è äâèæåíèé ðóêè, ãîëîâû è ò.ï. Ðàñïîçíàâàíèå êîíôèãóðàöèé è äâèæåíèé ðóêè çàêëþ÷àåòñÿ â èäåíòèôèêà- öèè æåñòîâ ÷åëîâåêà ñ èñïîëüçîâàíèåì îïðåäåëåííûõ òåõíîëîãèé [7].  íàñòîÿ- ùåå âðåìÿ â ýòîé îáëàñòè ïðîâåäåíû èññëåäîâàíèÿ ñ íàèáîëåå ïåðñïåêòèâíûìè òåõíîëîãèÿìè: òåõíîëîãèè ïåð÷àòîê, äàò÷èêîâ êèñòè, 2D è 3D êàìåðû è ïëàòôîð- ìû Kinect [8]. Ïëàòôîðìà Microsoft Kinect ïðåäíàçíà÷åíà äëÿ ðàñïîçíàâàíèÿ äâè- æåíèÿ.  íåñêîëüêèõ ïðîåêòàõ èññëåäîâàòåëè, ïðîàíàëèçèðîâàâ ïðèìåíåíèå Kinect äëÿ ðàñïîçíàâàíèÿ æåñòîâûõ ÿçûêîâ, ïðèøëè ê âûâîäó, ÷òî ñèñòåìà ìî- æåò ðàñøèôðîâàòü æåñòû ñ áîëüøèìè àìïëèòóäàìè, íî íå ñïîñîáíà îïðåäåëèòü ìåëêèå æåñòû [9]. Ðàññìîòðèì êîíòðîëëåð Leap Motion [10], ïðåäîñòàâëÿþùèé âîçìîæíîñòè äëÿ íîâîãî ñïîñîáà âçàèìîäåéñòâèÿ ðóêè ñ âû÷èñëèòåëüíûìè óñòðîéñòâàìè. Äàííûé êîíòðîëëåð ÿâëÿåòñÿ äàò÷èêîì, ñ ïîìîùüþ êîòîðîãî äâè- æåíèÿ ðóê òðàíñôîðìèðóþòñÿ â êîìïüþòåðíûå êîìàíäû. Ê åãî ïðåèìóùåñòâàì îòíîñèòñÿ òî÷íûé óðîâåíü äåòàëèçàöèè API, îáåñïå÷èâàþùèõ äîñòóï ê äàííûì, êîòîðûå âîñïðîèçâîäÿòñÿ íà ðóêàõ è ïàëüöàõ. Äàííûå, ïîëó÷åííûå îò API, äå- òåðìèíèðîâàíû, êëèåíòñêîå ïðèëîæåíèå íå òðåáóåò èõ èíòåðïðåòàöèè. API ðàñ- ïîçíàåò îäíó ðóêó ñ ïÿòüþ ïàëüöàìè. Ýòî êîíòðàñòèðóåò ñ äðóãèìè äîñòóïíûìè 3D óñòðîéñòâàìè ñåíñîðíîãî ââîäà, òàêèìè êàê Microsoft Kinect, â êîòîðûõ óðî- âåíü ñåíñîðíûõ äàííûõ íóæíî î÷èùàòü è èíòåðïðåòèðîâàòü. Ê íåäîñòàòêàì ìîæ- íî îòíåñòè ñëîæíîñòü â ïîääåðæàíèè òî÷íîñòè ðàñïîçíàâàíèÿ, êîãäà ðóêà íàõî- äèòñÿ íå â ïðÿìîé âèäèìîñòè êîíòðîëëåðà. Äðóãèì ñðåäñòâîì äëÿ àëüòåðíàòèâíîé êîììóíèêàöèè ÿâëÿþòñÿ äâèæåíèÿ ãî- ëîâû, êîòîðûå äîñòàòî÷íî ñòàáèëüíî ðàñïîçíàþòñÿ ñ ïîìîùüþ âåá-êàìåðû [11]. Äâèæåíèÿ ãëàç òàêæå ìîæíî èñïîëüçîâàòü äëÿ êîììóíèêàöèè, îäíàêî äëÿ èõ ôèê- ñàöèè íóæåí ñîîòâåòñòâóþùèé äàò÷èê [12]. Äëÿ äîñòèæåíèÿ óêàçàííîé öåëè ìîæ- íî èñïîëüçîâàòü ñòàíäàðòíûå âîçìîæíîñòè ñîâðåìåííîé âû÷èñëèòåëüíîé òåõíèêè: ìàíèïóëÿòîð ìûøè èëè ñåíñîðíûé ýêðàí. Òàêèì îáðàçîì, äëÿ ðåàëèçàöèè êîììóíèêàöèè ïóòåì ââîäà òåêñòà ïðåäëàãà- åòñÿ èñïîëüçîâàòü òåõíîëîãèþ, ïîäîáíóþ T9 Input Method [5], íî ïðîöåññ ââîäà òåêñòà çàìåíèòü îãðàíè÷åííûì êîëè÷åñòâîì óïðàâëåíèé ñ ïîìîùüþ êîíôèãóðà- öèé è äâèæåíèé ðóêè. Ðàñïîçíàâàòü ýòè óïðàâëåíèÿ ìîæíî ñ ïîìîùüþ ñóùåñòâó- 6 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 þùèõ óñòðîéñòâ (âåá-êàìåðà, Leap Motion è ò.ï.). Ó÷èòûâàÿ, ÷òî âñå óñòðîéñòâà â òîì èëè èíîì âèäå èìåþò êàìåðû, ðåãèñòðèðóþùèå èçîáðàæåíèå, ïðåäëàãàåòñÿ èññëåäîâàòü âîçìîæíîñòè ðàñïîçíàâàíèÿ êîíôèãóðàöèé è äâèæåíèé ðóêè ñ ïî- ìîùüþ êîíòðîëëåðà Leap Motion â öåëÿõ îïðåäåëåíèÿ îãðàíè÷åííîãî êîëè÷åñòâà óñòîé÷èâûõ ê ðàñïîçíàâàíèþ äâèæåíèé è êîíôèãóðàöèé. ÂÛßÂËÅÍÈÅ ÓÑÒÎÉ×ÈÂÛÕ ÊÎÍÔÈÃÓÐÀÖÈÉ È ÄÂÈÆÅÍÈÉ ÑÊÅËÅÒÀ ÐÓÊÈ ÄËß ÀËÜÒÅÐÍÀÒÈÂÍÎÉ ÊÎÌÌÓÍÈÊÀÖÈÈ Èíòåëëåêòóàëèçàöèÿ ïðîöåññà ââîäà òåêñòîâîé èíôîðìàöèè ïîäðàçóìåâàåò èñ- ïîëüçîâàíèå äëÿ ââîäà èíôîðìàöèè ìåíüøåãî, ÷åì êîëè÷åñòâî áóêâ, íàáîðà óïðàâëÿþùèõ êîìàíä. Îäíèì èç ñïîñîáîâ ðåàëèçàöèè ýòîãî íàáîðà ÿâëÿåòñÿ äâèæåíèå è êîíôèãóðàöèÿ ðóêè. Äëÿ óñòîé÷èâîé ðàáîòû ñèñòåìû ñ èñïîëüçî- âàíèåì ïðîöåññà óïðàâëåíèÿ ñ ïîìîùüþ äâèæåíèé ðóê íåîáõîäèìî ïðîâåñòè àíàëèç âîçìîæíûõ êîíôèãóðàöèé êèñòè ðóêè â öåëÿõ âûÿâëåíèÿ îãðàíè÷åííî- ãî íàáîðà óñòîé÷èâûõ ê ðàñïîçíàâàíèþ êîìàíä. Äëÿ ýòîãî ïðåäëàãàåòñÿ ïðè- ìåíÿòü êîíòðîëëåð Leap Motion [10], êîòîðûé ðàçðàáîòàí äëÿ ðàñïîçíàâàíèÿ ðóê, ïàëüöåâ èëè èíñòðóìåíòîâ, ïîõîæèõ íà ïàëüöû (ðó÷êà, êàðàíäàø).  ïðî- öåññå ðàáîòû óñòðîéñòâî ïðîèçâîäèò ìíîæåñòâî êàäðîâ â ñåêóíäó è íà èõ áàçå îïðåäåëÿåò ðóêó èëè èíñòðóìåíò, êîòîðûé îíî ñïîñîáíî ðàñïîçíàòü. Ïðîãðàììíîå îáåñïå÷åíèå Leap Motion èñïîëüçóåò âíóòðåííþþ ìîäåëü ðóêè äëÿ îáåñïå÷åíèÿ èíòåëëåêòóàëüíîãî îòñëåæèâàíèÿ, äàæå êîãäà ÷àñòè ðóêè íå âèäíî. Ìîäåëü îáåñïå÷èâàåò èíôîðìàöèþ î ïîçèöèè ïÿòè ïàëüöåâ, õîòÿ îïòèìàëüíûì îò- ñëåæèâàíèå áóäåò òîëüêî â ñëó÷àå, êîãäà ñèëóýò ðóêè è âñå åå ïàëüöû ÷åòêî âèäíû. Ïðîãðàììíîå îáåñïå÷åíèå èñïîëüçóåò âèäèìûå ÷àñòè ðóêè, åå âíóòðåííþþ ìîäåëü è ïîñëåäíèå íàáëþäåíèÿ äëÿ âû÷èñëåíèÿ íàèáîëåå âåðîÿòíûõ ïîçèöèé òåõ ÷àñòåé, êîòîðûå â òåêóùèé ìîìåíò íå âèäíû. Ìîäåëü êèñòè ðóêè ïîõîæà íà àíàòîìè÷åñêèé ñêåëåò êèñòè ðóêè è ñîäåðæèò êîñòè çàïÿñòüÿ è ôàëàíãè ïàëüöåâ. Ìîäåëü äëÿ áîëüøîãî ïàëüöà íå âïîëíå ñîîòâåò- ñòâóåò ñòàíäàðòíîìó àíàòîìè÷åñêîìó âèäó. Ýòîò ïàëåö èìååò íà îäíó êîñòü ìåíü- øå, ÷åì êîñòè äðóãèõ ïàëüöåâ. Òåì íå ìåíåå äëÿ ïðîñòîòû ïðîãðàììèðîâàíèÿ ìî- äåëü áîëüøîãî ïàëüöà âêëþ÷àåò â ñåáÿ ïÿñòíóþ êîñòü íóëåâîé äëèíû. Òàêèì îáðà- çîì, áîëüøîé ïàëåö èìååò òî æå êîëè÷åñòâî êîñòåé, ÷òî è äðóãèå ïàëüöû. Îáúåêò â ìîäåëè ðóêè ïðåäñòàâëÿåò ïîëîæåíèå è îðèåíòàöèþ ðóêè è êîñòåé ïàëüöåâ. Ñóùåñòâóþùèå óñòðîéñòâà ñëåæåíèÿ çà ðóêîé (Leap Motion, Intel RealSense), êàê ïðàâèëî, õîðîøî ìîäåëèðóþò êîíôèãóðàöèè ðóêè òîëüêî òîãäà, êîãäà ñèëóýò ðóêè è âñå åå ïàëüöû ÷åòêî âèäíû. Ýòî îãðàíè÷åíèå ñóùåñòâåííî ñóæàåò íàáîð âîçìîæíûõ êîíôèãóðàöèé, äëÿ êîòîðûõ áóäóò ïðàâèëüíî ñòðîèòüñÿ ìîäåëè ðóêè. Ïðîàíàëèçèðîâàâ âñå ïðèçíàêè êîíôèãóðàöèé (íà ïðèìåðå äàêòèëüíûõ çíà- êîâ æåñòîâîãî ÿçûêà ãëóõèõ), âûäåëèì êîñòè ñêåëåòà ðóêè, çàäåéñòâîâàííûå â áîëüøèíñòâå êîíôèãóðàöèé. Ýòî íàêëîí ëàäîíè â çàïÿñòüå, ïîëîæåíèå ïàëüöåâ ðóêè — óãîë ìåæäó ïàëüöàìè, ñîãíóòûé èëè íåñîãíóûé ïàëåö (ïîëíîñòüþ èëè òîëüêî êîí÷èê ïàëüöà), êàñàíèå êîí÷èêà áîëüøîãî ïàëüöà ê äðóãèì. Òàêèì îáðà- çîì, îñíîâíûìè áàçîâûìè ïàðàìåòðàìè ìîäåëè ÿâëÿþòñÿ: âåêòîð íàïðàâëåíèÿ êîí÷èêîâ ïàëüöåâ; âåêòîð íàïðàâëåíèÿ ëàäîíè; âåêòîð-íîðìàëü ëàäîíè; óãëû íà- êëîíà ëàäîíè ê îñÿì ÎÕ è OZ ; isExtended — áóëåâà ïåðåìåííàÿ, ðàâíàÿ true, åñëè ïàëåö íà ÷òî-òî óêàçûâàåò. Òàêæå áûëè ââåäåíû äîïîëíèòåëüíûå ðàñ÷åòíûå ïàðàìåòðû (ïîëó÷àåìûå ïðåîáðàçîâàíèÿìè èç âåêòîðîâ íàïðàâëåíèÿ êîñòåé çàïÿñòüÿ è ôàëàíã ïàëüöåâ): � óãîë ìåæäó óêàçàòåëüíûì è ñðåäíèì ïàëüöàìè; � íàêëîí ïàëüöåâ îòíîñèòåëüíî ëàäîíè; � óãîë íàêëîíà ôàëàíãè êîí÷èêà ïàëüöà (distal) îòíîñèòåëüíî ïåðâîé ôàëàí- ãè (proximal); � ðàññòîÿíèå ìåæäó êîí÷èêàìè áîëüøîãî è âñåõ îñòàëüíûõ ïàëüöåâ. ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 7 Øèðîêîå ðàñïðîñòðàíåíèå òåõíîëîãèé àâòîìàòèçèðîâàííîé îáðàáîòêè èí- ôîðìàöèè è íàêîïëåíèå â êîìïüþòåðíûõ ñèñòåìàõ áîëüøèõ îáúåìîâ äàííûõ îáóñëîâèëè àêòóàëüíîñòü çàäà÷è ïîèñêà íåÿâíûõ âçàèìîñâÿçåé, èìåþùèõñÿ â íà- áîðàõ äàííûõ. Äëÿ åå ðåøåíèÿ èñïîëüçóþòñÿ ìåòîäû ìàòåìàòè÷åñêîé ñòàòèñòè- êè, òåîðèè áàç äàííûõ, òåîðèè èñêóññòâåííîãî èíòåëëåêòà è ðÿäà äðóãèõ îáëàñ- òåé, ôîðìèðóþùèå òåõíîëîãèþ èíòåëëåêòóàëüíîãî àíàëèçà äàííûõ (Data Mining). Êàê èíñòðóìåíò àíàëèçà â íàñòîÿùåé ðàáîòå èñïîëüçîâàëàñü ñëóæáà Analysis Services, âõîäÿùàÿ â ñîñòàâ ÑÓÁÄ Microsoft SQL Server [13]. Äëÿ àíàëè- çà ìîäåëè ñêåëåòà ðóêè ïðèìåíÿëèñü àëãîðèòìû äåðåâà ïðèíÿòèÿ ðåøåíèé (Decision Trees) è êëàñòåðèçàöèè (Microsoft Clustering).  öåëÿõ îïðåäåëåíèÿ êðèòåðèåâ äëÿ ïîëó÷åíèÿ óñòîé÷èâûõ äëÿ ðàñïîçíàâà- íèÿ ïàðàìåòðîâ ìîäåëè ðóê ïðîâåäåí àíàëèç äàêòèëüíîé àçáóêè æåñòîâîãî ÿçûêà ãëóõèõ [2] (êàê íàèáîëåå ïîëíîãî íàáîðà êîíôèãóðàöèé ðóêè).  áàçó äàííûõ äëÿ ïðîâåäåíèÿ êëàñòåðèçàöèè çàïèñàíî 27 óíèêàëüíûõ äàê- òèëüíûõ êîíôèãóðàöèé ðóêè. Íàáîðû äàííûõ äëÿ êàæäîé êîíôèãóðàöèè çàïèñà- íû ñ èñïîëüçîâàíèåì íåïðåðûâíîãî ðåæèìà çàïèñè ñ îäíîâðåìåííûì ïåðåìå- ùåíèåì ðóêè â ðàçíûå ñòîðîíû è èçìåíåíèåì åå îðèåíòàöèè. Ðóêà ïåðåìåùàëàñü è ïîâîðà÷èâàëàñü òàê, ÷òîáû êàæäàÿ ïîâòîðíàÿ êîíôèãóðàöèÿ íåìíîãî îòëè÷àëàñü îò ðàíåå çàïèñàííîé. Äëÿ êàæäîãî èç ïðåäëàãàåìûõ 27 êëàññîâ çàïèñàíî îêîëî 250 îáðàçöîâ. Îáùèé îáúåì äàííûõ ñîñòàâèë áîëåå 6000 îáðàçöîâ. Ìîäåëü èí- òåëëåêòóàëüíîãî àíàëèçà äàííûõ âêëþ÷àåò 47 ïàðàìåòðîâ ìîäåëè ðóêè (îñíîâ- íûõ è ðàñ÷åòíûõ). Äëÿ êëàñòåðèçàöèè áûëî çàäàíî òî÷íîå êîëè÷åñòâî êëàñòåðîâ, è äëÿ ïðîâåäåíèÿ àíàëèçà ïðåäîñòàâëåíû âñå çàïèñè. Âûïîëíåí ðÿä ýêñïåðèìåí- òîâ ñ ðàçíûìè íàñòðîéêàìè ìîäåëè. Ìåòîä êëàñòåðèçàöèè ñ ìàñøòàáèðóåìîé ìàêñèìèçàöèåé îæèäàíèÿ ïîêàçàë áîëåå ðàâíîìåðíîå ðàñïðåäåëåíèå çàïèñåé ïî êëàñòåðàì. Äëÿ îöåíêè òî÷íîñòè êëàñòåðèçàöèè âûáðàíà F -ìåðà: Precision c p p ni( ) / ( )� � � � � , Recall c p p pi( ) / ( )� � � � � , F c Precision c Recall c Precision ci i i i1 2( ) ( ) ( ) / ( ( )� � � � Recall(ci )), ãäå p � — êîëè÷åñòâî ýëåìåíòîâ êëàññà äàêòèëÿ, ïîïàâøèõ â êëàñòåð ci ; p � — êîëè÷åñòâî ýëåìåíòîâ òîãî æå êëàññà äàêòèëÿ, íî íå ïîïàâøèõ â ci ; n � — îñòàâøèåñÿ ýëåìåíòû êëàñòåðà ci , ïðèíàäëåæàùèå äðóãèì êëàññàì. Ðàññ÷èòàâ òî÷íîñòü êàæäîãî êëàñòåðà, èõ óñëîâíî ìîæíî ðàçáèòü íà íå- ñêîëüêî ãðóïï: 1) âñå ýëåìåíòû îäíîãî äàêòèëÿ ïðèíàäëåæàò îäíîìó êëàñòåðó, íå ñîäåðæà- ùåìó äðóãèõ ýëåìåíòîâ (Precision �1, Recall �1, F1 100� %); 2) âñå ýëåìåíòû îäíîãî äàêòèëÿ ïðèíàäëåæàò íåñêîëüêèì êëàñòåðàì, íå ñî- äåðæàùèì äðóãèõ ýëåìåíòîâ (Precision �1, Recall �1, F1 100� %); 3) âñå ýëåìåíòû îäíîãî äàêòèëÿ ïðèíàäëåæàò îäíîìó êëàñòåðó, ñîäåðæàùå- ìó íåçíà÷èòåëüíîå êîëè÷åñòâî äðóãèõ ýëåìåíòîâ (Precision � 0.8, Recall �1, F1 90� %); 4) ýëåìåíòû îäíîãî äàêòèëÿ ïðèíàäëåæàò ðàçíûì êëàñòåðàì èëè â êëàñòåðå ñîäåðæàòñÿ ðàçíûå ýëåìåíòû â ðàâíîé ìåðå (Precision ~ 0.5; Recall ~ 0.5; F1 ~ 50 %). Äàêòèëåìû, âõîäÿùèå â ïåðâûå òðè ãðóïïû, èìåþò âûñîêóþ òî÷íîñòü è ïîë- íîòó êëàñòåðèçàöèè, ÷òî ïîçâîëÿåò çàêëþ÷èòü, ÷òî îíè ìîãóò ÷åòêî êëàññèôèöèðî- âàòüñÿ (òàáë. 1). 8 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 Äàêòèëåìû, âõîäÿùèå â ïåðâûå òðè ãðóïïû, èìåþò ïðîñòóþ êîíôèãóðàöèþ ïàëüöåâ ðóêè, à îñíîâíûì ïàðàìåòðîì ÿâëÿåòñÿ ïîëîæåíèå ïàëüöåâ (â ñîãíóòîì ñîñòîÿíèè èëè ðàçîãíóòîì). Òàêæå âî âñåõ äàêòèëåìàõ ëàäîíü ïîëíîñòüþ âèäíà êàìåðå, ÷òî ïîçâîëÿåò çàêëþ÷èòü, ÷òî äàêòèëåìû ñ ïîëîæåíèåì ðóêè «ðåáðîì» ïëîõî âèäíû è ïîýòîìó èìåþò íèçêîå êà÷åñòâî êëàñòåðèçàöèè. Îñíîâíîé âûâîä: äîñòàòî÷íî ïðîâåñòè àíàëèç æåñòîâ, êîòîðûå ìîæíî ïîêàçàòü, ñãèáàÿ èëè íå ñãè- áàÿ ïàëüöû ðóêè, ñ ïîëîæåíèåì ëàäîíè, ïîëíîñòüþ âèäèìîé êàìåðå. Íà îñíîâàíèè ïîëó÷åííîé èíôîðìàöèè ïîä ïðîñòûìè æåñòàìè ïîäðàçóìå- âàåì æåñòû, êîòîðûå, ñ îäíîé ñòîðîíû, óäîáíî ïîêàçûâàòü è ëåãêî çàïîìèíàòü ÷åëîâåêó, ñ äðóãîé — èìåþò âûñîêîå êà÷åñòâî êëàñòåðèçàöèè äëÿ êàæäîãî êîí- êðåòíîãî óñòðîéñòâà. Äëÿ ýêñïåðèìåíòà çàïèñàíû ïàðàìåòðû ìîäåëè ñêåëåòà ðóêè äëÿ 12 ïðîñòûõ æåñòîâ, ïîêàçàííûõ îäíîé ðóêîé, áîëüøàÿ ÷àñòü êîòîðûõ îáùåïðèíÿòû è îçíà÷àþò ÷èñëà îò îäíîãî äî äåñÿòè. Ïðèíèìàåòñÿ, ÷òî ïàëåö ìîæåò áûòü â äâóõ ïîëîæåíèÿõ — ïðÿìîé èëè ïîëíîñòüþ ñîãíóòûé, à ëàäîíü ïî- âåðíóòà ê êàìåðå. Äëÿ êàæäîãî èç 12 êëàññîâ òàêèõ æåñòîâ çàïèñàíî îêîëî 250 îáðàçöîâ. Îáùèé îáúåì äàííûõ ñîñòàâèë áîëåå 3000 îáðàçöîâ. Äëÿ àíàëèçà âûáðàí âåêòîð íàïðàâëåíèÿ Direction äëÿ êàæäîãî ïàëüöà. Ýòî åäèíè÷íûé âåêòîð â òîì æå íàïðàâëåíèè, ÷òî è êîí÷èêè ïàëüöåâ.  êà÷åñòâå ïðåäñêàçûâàåìîãî ïàðàìåòðà âûáðàí áóëåâûé ïàðàìåòð Extended. Åñëè ïàëåö óêàçûâàåò íà ÷òî-òî, òî îí ñ÷èòàåòñÿ Extended, åñëè ïàëåö íàêëîíåí è ñãèáàåòñÿ ê ëàäîíè, òî îí íå ñîîòâåòñòâóåò ýòîìó ïàðàìåòðó. Àíàëèç ïðîâåäåí ñ ïîìîùüþ äâóõ àëãîðèòìîâ: äåðåâà ïðèíÿòèÿ ðåøåíèé è êëàñòåðèçàöèè. Ðåçóëüòàòû àíàëèçà äëÿ äåðåâà ðåøåíèé ïîêàçàëè, ÷òî îïðåäåëåíèå ñîñòîÿ- íèÿ âñåõ ïàëüöåâ, êðîìå áîëüøîãî, çàâèñèò îò çíà÷åíèÿ êîìïîíåíòû Z âåêòîðà Direñtion. Êîìïîíåíòà Z ñîîòâåòñòâóåò ïðîäîëüíîìó íàïðàâëåíèþ êîí÷èêîâ ïàëüöåâ. Äëÿ áîëüøîãî ïàëüöà ñëåäóåò èñïîëüçîâàòü êîìïîíåíòó Õ . Áûëè îïðå- äåëåíû çíà÷åíèÿ âåêòîðà Direñtion äëÿ âñåõ ïàëüöåâ äëÿ êëàññèôèöèðîâàíèÿ òîãî èëè èíîãî æåñòà. Ñ ïîìîùüþ êëàñòåðèçàöèè ïðîâåäåí ðÿä ýêñïåðèìåíòîâ ñ ðàçíûìè íàñòðîé- êàìè ìîäåëè. Äëÿ ìåòîäà êëàñòåðèçàöèè «ìàñøòàáèðóåìûå K-ñðåäíèå» ïîëó÷å- íû 12 êëàñòåðîâ ñ áîëüøèíñòâîì çàïèñåé, ñãðóïïèðîâàííûõ â ïåðâûé êëàñòåð ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 9 Ò à á ë è ö à 1 Ãðóïïà Äàêòèëåìû Èçîáðàæåíèÿ äàêòèëåì 1 È, Ò, Ó, Ð 2 À, Î, à 3 Ì, Ë,  4 Îñòàëüíûå — È Ò Ó Ð À Î Ã Ì Ë Â (1141 çàïèñü, ÷òî ñîñòàâëÿåò áîëåå 30%, òîãäà êàê â äðóãèõ âñåãî ïî 15–50 çàïè- ñåé). Äàííûé ìåòîä ïîêàçàë íåäîñòàòî÷íóþ òî÷íîñòü êëàñòåðèçàöèè. Äëÿ ìåòîäà êëàñòåðèçàöèè «ìàñøòàáèðóåìàÿ ìàêñèìèçàöèÿ îæèäàíèÿ» ïîëó÷åíû òàêæå 12 êëàñòåðîâ, íî ñ áîëåå ðàâíîìåðíûì ðàñïðåäåëåíèåì çàïèñåé ïî íèì. Äèàãðàììà êëàñòåðîâ ïðåäñòàâëåíà íà ðèñ. 2. ×åì òåìíåå ëèíèÿ ìåæäó êëàñ- òåðàìè, òåì áîëåå îíè ïîäîáíû.  êàæäûé êëàñòåð âîøëè îáðàçöû îò äâóõ äî ÷åòûðåõ æåñòîâ èç òåõ, êîòî- ðûå áûëè çàïèñàíû. Òàêæå çàïèñè êàæäîãî æåñòà ðàñïðåäåëåíû ïî íåñêîëüêèì êëàñòåðàì. Äëÿ æåñòà — óêàçàòåëüíûé è ñðåäíèé ïàëüöû ïðÿìûå — îïðåäåëåíû äâà êëàñòåðà: 4 è 5 (ðèñ. 3). 10 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 Êëàñòåð 12 Êëàñòåð 10 Êëàñòåð 7 Êëàñòåð 1 Êëàñòåð 2 Êëàñòåð 3Êëàñòåð 4 Êëàñòåð 11 Êëàñòåð 9 Êëàñòåð 8 Êëàñòåð 6 Êëàñòåð 5 Ðèñ. 2 Êëàñòåð 12 Êëàñòåð 10 Êëàñòåð 7 Êëàñòåð 5 Êëàñòåð 3 Êëàñòåð 4 Êëàñòåð 1 Êëàñòåð 9 Êëàñòåð 6 Êëàñòåð 8 Êëàñòåð 11 Êëàñòåð 2 Ðèñ. 3 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 11 Ò à á ë è ö à 2 Íîìåð êëàñòåðà Æåñòû èç âõîäíîãî íàáîðà Õàðàêòåðèñòèêè êîíôèãóðàöèé ïàëüöåâ 1 Ñîãíóòû òðåòèé è ÷åòâåðòûé ïàëüöû 2 Ñîãíóòû òðåòèé, ÷åòâåðòûé è ïÿòûé ïàëüöû 3 Ïðÿìûå âòîðîé, òðåòèé è ÷åòâåðòûé ïàëüöû 4 Ñîãíóòû ïåðâûé è ÷åòâåðòûé ïàëüöû, ïðÿìîé âòîðîé ïàëåö 5 Ñîãíóòû ÷åòâåðòûé è ïÿòûé ïàëüöû, ïðÿìûå âòîðîé è òðåòèé ïàëüöû 6 Ïðÿìûå âòîðîé, òðåòèé è ÷åòâåðòûé ïàëüöû 7 Ñîãíóòû òðåòèé è ÷åòâåðòûé ïàëüöû, ïðÿìîé ïåðâûé ïàëåö 8 Ïðÿìûå âòîðîé, òðåòèé, ÷åòâåðòûé è ïÿòûé ïàëüöû 9 Ñîãíóòû òðåòèé è ÷åòâåðòûé ïàëüöû, ïðÿìîé âòîðîé ïàëåö 10 Ñîãíóòû òðåòèé è ÷åòâåðòûé ïàëüöû, ïðÿìîé ïÿòûé ïàëåö 11 Ñîãíóò ÷åòâåðòûé ïàëåö, ïðÿìûå ïåðâûé è âòîðîé ïàëüöû 12 Ñîãíóòû âòîðîé, òðåòèé, ÷åòâåðòûé è ïÿòûé ïàëüöû  êëàñòåð 4 âõîäÿò çàïèñè òðåõ æåñòîâ: óêàçàòåëüíûé ïàëåö ïðÿìîé, à áîëü- øîé è áåçûìÿííûé ñîãíóòû.  êëàñòåð 5 âîøëè çàïèñè äâóõ æåñòîâ: áåçûìÿí- íûé è ìèçèíåö ñîãíóòû, óêàçàòåëüíûé è ñðåäíèé ïàëüöû ïðÿìûå. Îáúåäèíåíèå ýòèõ óñëîâèé äàåò èñõîäíûé æåñò: óêàçàòåëüíûé è ñðåäíèé ïàëüöû ïðÿìûå, à áîëüøîé, áåçûìÿííûé è ìèçèíåö ñîãíóòû.  òàáë. 2 ïðåäñòàâëåíà èíôîðìàöèÿ î òîì, êàêèå æåñòû èç íàáîðà âõîäÿò â êàæäûé êëàñòåð. Ïðîàíàëèçèðîâàâ äàííûå ýòîé òàáëèöû, îòìåòèì, ÷òî ìåòîä êëàñòåðèçàöèè óñïåøíî ñôîðìèðîâàë 12 êëàñòåðîâ, íî ðàñïðåäåëèë çàïèñè æåñ- òîâ íå òàê, êàê âîñïðèíèìàåò ýòè æåñòû ÷åëîâåê. Äëÿ ÷åëîâåêà èíôîðìàòèâíû òîëüêî ïðÿìûå ïàëüöû, òîãäà êàê ìåòîäû êëàñòåðèçàöèè èñïîëüçóþò âñå äîñòóïíûå çàâèñèìîñòè ìåæäó äàííûìè. ÇÀÊËÞ×ÅÍÈÅ Â íàñòîÿùåé ðàáîòå ïðåäñòàâëåíà èíôîðìàöèîííàÿ òåõíîëîãèÿ, êîòîðàÿ ïîçâîëÿ- åò ñ ïðèìåíåíèåì ñîâðåìåííûõ IT-óñòðîéñòâ ðåàëèçîâàòü àëüòåðíàòèâíóþ êîììó- íèêàöèþ äëÿ ëþäåé, ó êîòîðûõ îòñóòñòâóåò (âðåìåííî èëè ïîñòîÿííî) îñíîâíîé êàíàë âåðáàëüíîé êîììóíèêàöèè. Îñóùåñòâëÿòü àëüòåðíàòèâíóþ êîììóíèêàöèþ ïðåäëàãàåòñÿ ïóòåì èíòåëëåêòóàëèçàöèè ïðîöåññà ââîäà òåêñòîâîé èíôîðìàöèè ñ èñïîëüçîâàíèåì îãðàíè÷åííîãî ÷èñëà ñîîòâåòñòâóþùèõ óïðàâëåíèé, êîòîðûå çàäàþòñÿ ðóêîé. Èññëåäîâàíà ìîäåëü ñêåëåòà ÷åëîâåêà â öåëÿõ îïðåäåëåíèÿ îãðà- íè÷åííîãî êîëè÷åñòâà äâèæåíèé è êîíôèãóðàöèé ðóêè, óñòîé÷èâûõ ê ðàñïîçíàâà- íèþ ñðåäñòâàìè IT-óñòðîéñòâ. Ïðåèìóùåñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ âîç- ìîæíîñòü äèíàìè÷åñêîãî èçìåíåíèÿ è ðàñøèðåíèÿ ïðåäëîæåííûõ ñïîñîáîâ ââîäà, àíàëèçà è ðàñïîçíàâàíèÿ êîììóíèêàöèîííîé èíôîðìàöèè. Äàëüíåéøèå èññëåäîâàíèÿ íàïðàâëåíû íà àíàëèç ïîäõîäîâ ê èíòåëëåêòóàëè- çàöèè ââîäà òåêñòîâîé èíôîðìàöèè è ðåàëèçàöèþ íà áàçå ýòèõ èññëåäîâàíèé èí- ôîðìàöèîííîé òåõíîëîãèè àëüòåðíàòèâíîé êîììóíèêàöèè äëÿ ëþäåé ñ îòñóò- ñòâóþùèì êàíàëîì îñíîâíîé êîììóíèêàöèè. ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ 1. A u g m e n t a t i v e and alternative communication (AAC). — http://www.asha.org/public/speech/ disorders/AAC/. 2. K r y v o n o s I u . G . , K r a k I u . V . , B a r m a k O . V . , S h k i l n i u k D . V . Construction and identification of elements of sign communication // Cybernetics and Systems Analysis. — 2013. — 49, N 2. — P. 163–172. 3. K r a k I u . V . , K r y v o n o s I u . G . , K u l i a s A . I . Applied aspects of the synthesis and analysis of voice information // Cybernetics and Systems Analysis. — 2013. — 49, N 4. — P. 589–596. 4. K r y v o n o s I u . G . , K r a k I u . V . Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information // Cybernetics and Systems Analysis. — 2011. — 49, N 4. — P. 501–505. 5. G r o v e r D . L . , K i n g M . T . , K u s c h l e r C .A. Patent No. US5818437, Reduced keyboard disambiguating computer. Tegic Communications, Inc., Seattle, WA (1998). 6. S i l f v e r b e r g M . , M a c K e n z i e I . S . , K o r h o n e n P . Predicting text entry speed on mobile phones // Proc. of the ACM Conference on Human Factors in Computing Systems. — New York: ACM, 2000. — P. 9–16. 7. K r y v o n o s I u . G . , K r a k I u . V . , B a r c h u k o v a Y u . V . , T r o t s e n k o B . A . Human hand motion parametrization for dactilemes modeling // Journal of Automation and Information Sciences. — 2011. — 43, N 12. — P. 1–11. 12 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 8. W a n g R . Y . , P o p o v i c J . Real-time hand-tracking with a color glove // ACM Transaction on Graphics (TOG). — 2009. — 28, N 3. — P. 1–8. 9. Y a n g H - D . Sign language recognition with the kinect sensor based on conditional random fields // Sensors. — 2015. — 15. — P. 135–147. 10. L e a p Motion | Mac & PC Motion Controller for Games, Design, & More. — https:// www.leapmotion.com/. 11. E n a b l e Viacam. Free webcam based mouse emulator. — http://eviacam.sourceforge.net/. 12. E y e tracking, or gaze tracking, is a technology that consists in calculating the eye gaze point of a user as he or she looks around. — https://theeyetribe.com/. 13. Ñ ë ó æ á û Analysis Services. — https://msdn.microsoft.com/ru-ru/library/bb522607(v=sql.120).aspx. Íàä³éøëà äî ðåäàêö³¿ 22.02.2016 Þ.Ã. Êðèâîíîñ, Þ.Â. Êðàê, Î.Â. Áàðìàê, Ð.Î. Áàãð³é Íβ ÇÀÑÎÁÈ ÀËÜÒÅÐÍÀÒÈÂÍί ÊÎÌÓͲÊÀÖ²¯ ÄËß ËÞÄÅÉ Ç ÎÁÌÅÆÅÍÈÌÈ ÌÎÆËÈÂÎÑÒßÌÈ Àíîòàö³ÿ. Çàïðîïîíîâàíî ³íôîðìàö³éíó òåõíîëîã³þ, ùî äîçâîëÿº ç âèêîðèñ- òàííÿì ñó÷àñíèõ ²Ò-ïðèñòðî¿â (íåòáóêè, ïëàíøåòè, òåëåôîíè òîùî) çä³éñíþâàòè àëüòåðíàòèâíó êîìóí³êàö³þ äëÿ ëþäåé, ó ÿêèõ â³äñóòí³é (òèì- ÷àñîâî ÷è ïîñò³éíî) îñíîâíèé êàíàë âåðáàëüíî¿ êîìóí³êàö³¿. Ðåàë³çóâàòè òàêó êîìóí³êàö³þ çàïðîïîíîâàíî øëÿõîì ³íòåëåêòóàë³çàö³¿ ïðîöåñó ââåäåí- íÿ òåêñòîâî¿ ³íôîðìàö³¿ ³ç çàñòîñóâàííÿì îáìåæåíî¿ ê³ëüêîñò³ â³äïîâ³äíèõ êåðóâàíü, ùî çàäàþòüñÿ ðóêîþ. Äîñë³äæåíî ìîäåëü ñêåëåòà ëþäèíè ç ìå- òîþ âèçíà÷åííÿ îáìåæåíî¿ ê³ëüêîñò³ ðóõ³â òà êîíô³ãóðàö³é ðóêè, ñò³éêèõ äî ðîçï³çíàâàííÿ çàñîáàìè IT-ïðèñòðî¿â. Êëþ÷îâ³ ñëîâà: àëüòåðíàòèâíà êîìóí³êàö³ÿ, êîíòðîëåð Leap Motion, êëàñòå- ðèçàö³ÿ, ³íôîðìàö³éíà òåõíîëîã³ÿ. Iu.G. Kryvonos, Iu.V. Krak, O.V. Barmak, R.O. Bagriy NEW TOOLS OF ALTERNATIVE COMMUNICATION FOR PEOPLE WITH DISABILITIES Abstract. The paper presents an information technology that uses modern IT devices (netbooks, tablets, phones, etc.) to implement alternative communication for people who do not have (temporarily or permanently) the main channel of verbal communication. The author propose to implement alternative communication through intellectualization of the input of text information with a limited number of relevant controls specified by a hand. The human skeleton model is investigated to identify a limited number of hand configurations and motions, resistant to IT device recognition. Keywords: alternative communication, controller Leap Motion, clustering, information technology. Êðèâîíîñ Þðèé Ãåîðãèåâè÷, àêàäåìèê ÍÀÍ Óêðàèíû, ïðîôåññîð, çàìåñòèòåëü äèðåêòîðà Èíñòèòóòà êèáåðíåòèêè èì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðàèíû, Êèåâ, e-mail: Kryvonos@nas.gov.ua. Êðàê Þðèé Âàñèëüåâè÷, äîêòîð ôèç.-ìàò. íàóê, ïðîôåññîð, çàâåäóþùèé êàôåäðîé Êèåâñêîãî íàöèîíàëüíîãî óíèâåðñèòåòà èìåíè Òàðàñà Øåâ÷åíêî; ñòàðøèé íàó÷íûé ñîòðóäíèê Èíñòèòóòà êèáåðíåòèêè èì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðàèíû, Êèåâ, e-mail: yuri.krak@gmail.com. Áàðìàê Àëåêñàíäð Âëàäèìèðîâè÷, äîêòîð òåõí. íàóê, ïðîôåññîð Õìåëüíèöêîãî íàöèîíàëüíîãî óíèâåðñèòåòà, e-mail: alexander.barmak@gmail.com. Áàãðèé Ðóñëàí Àëåêñàíäðîâè÷, ñòàðøèé ïðåïîäàâàòåëü Õìåëüíèöêîãî íàöèîíàëüíîãî óíèâåðñèòåòà, e-mail: gcardinal2009@gmail.com. ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2016, òîì 52, ¹ 5 13
id nasplib_isofts_kiev_ua-123456789-142012
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn 0023-1274
language Russian
last_indexed 2025-12-07T16:47:18Z
publishDate 2016
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
record_format dspace
spelling Кривонос, Ю.Г.
Крак, Ю.В.
Бармак, А.В.
Багрий, Р.А.
2018-09-20T17:45:24Z
2018-09-20T17:45:24Z
2016
Новые средства альтернативной коммуникации для людей с ограниченными возможностями / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Р.А. Багрий // Кибернетика и системный анализ. — 2016. — Т. 52, № 5. — С. 3-13. — Бібліогр.: 13 назв. — рос.
0023-1274
https://nasplib.isofts.kiev.ua/handle/123456789/142012
004.93.12
Предложена информационная технология, позволяющая с использованием современных IT-устройств (нетбуки, планшеты, телефоны и т.д.) осуществлять альтернативную коммуникацию для людей, у которых отсутствует (временно или постоянно) основной канал вербальной коммуникации. Реализовать такую коммуникацию предложено путем интеллектуализации процесса ввода текстовой информации с применением ограниченного числа соответствующих управлений, задаваемых рукой. Исследована модель скелета человека в целях определения ограниченного количества движений и конфигураций руки, устойчивых к распознаванию средствами IT-устройств.
Запропоновано інформаційну технологію, що дозволяє з використанням сучасних ІТ-пристроїв (нетбуки, планшети, телефони тощо) здійснювати альтернативну комунікацію для людей, у яких відсутній (тимчасово чи постійно) основний канал вербальної комунікації. Реалізувати таку комунікацію запропоновано шляхом інтелектуалізації процесу введення текстової інформації із застосуванням обмеженої кількості відповідних керувань, що задаються рукою. Досліджено модель скелета людини з метою визначення обмеженої кількості рухів та конфігурацій руки, стійких до розпізнавання засобами IT-пристроїв.
The paper presents an information technology that uses modern IT devices (netbooks, tablets, phones, etc.) to implement alternative communication for people who do not have (temporarily or permanently) the main channel of verbal communication. The author propose to implement alternative communication through intellectualization of the input of text information with a limited number of relevant controls specified by a hand. The human skeleton model is investigated to identify a limited number of hand configurations and motions, resistant to IT device recognition.
ru
Інститут кібернетики ім. В.М. Глушкова НАН України
Кибернетика и системный анализ
Кибернетика
Новые средства альтернативной коммуникации для людей с ограниченными возможностями
Нові засоби альтернативної комунікації для людей з обмеженими можливостями
New tools of alternative communication for people with disabilities
Article
published earlier
spellingShingle Новые средства альтернативной коммуникации для людей с ограниченными возможностями
Кривонос, Ю.Г.
Крак, Ю.В.
Бармак, А.В.
Багрий, Р.А.
Кибернетика
title Новые средства альтернативной коммуникации для людей с ограниченными возможностями
title_alt Нові засоби альтернативної комунікації для людей з обмеженими можливостями
New tools of alternative communication for people with disabilities
title_full Новые средства альтернативной коммуникации для людей с ограниченными возможностями
title_fullStr Новые средства альтернативной коммуникации для людей с ограниченными возможностями
title_full_unstemmed Новые средства альтернативной коммуникации для людей с ограниченными возможностями
title_short Новые средства альтернативной коммуникации для людей с ограниченными возможностями
title_sort новые средства альтернативной коммуникации для людей с ограниченными возможностями
topic Кибернетика
topic_facet Кибернетика
url https://nasplib.isofts.kiev.ua/handle/123456789/142012
work_keys_str_mv AT krivonosûg novyesredstvaalʹternativnoikommunikaciidlâlûdeisograničennymivozmožnostâmi
AT krakûv novyesredstvaalʹternativnoikommunikaciidlâlûdeisograničennymivozmožnostâmi
AT barmakav novyesredstvaalʹternativnoikommunikaciidlâlûdeisograničennymivozmožnostâmi
AT bagriira novyesredstvaalʹternativnoikommunikaciidlâlûdeisograničennymivozmožnostâmi
AT krivonosûg novízasobialʹternativnoíkomuníkacíídlâlûdeizobmeženimimožlivostâmi
AT krakûv novízasobialʹternativnoíkomuníkacíídlâlûdeizobmeženimimožlivostâmi
AT barmakav novízasobialʹternativnoíkomuníkacíídlâlûdeizobmeženimimožlivostâmi
AT bagriira novízasobialʹternativnoíkomuníkacíídlâlûdeizobmeženimimožlivostâmi
AT krivonosûg newtoolsofalternativecommunicationforpeoplewithdisabilities
AT krakûv newtoolsofalternativecommunicationforpeoplewithdisabilities
AT barmakav newtoolsofalternativecommunicationforpeoplewithdisabilities
AT bagriira newtoolsofalternativecommunicationforpeoplewithdisabilities