С каждым годом появляется всё больше умной техники, которая работает как от пульта, так и выполняет голосовые команды. Этот функционал для людей с нарушением речи был недоступен, пока команда учеников нашей Школы №2065 не решила это исправить.

Умное устройство, которое распознает жесты, создано одиннадцатиклассниками Степаном и Рамилем, а также ученицей 10 инженерного класса Валерией и напоминает «умную колонку», куда вмонтирована подключенная к компьютеру видеокамера.

Сам корпус ребята напечатали в школьном IT-полигоне на 3D-принтере. Камера считывает жест, который перед ней делает человек, а искусственный интеллект обрабатывает данные и дает команду, например, через систему «умный дом» включить свет.

По словам научного руководителя команды, учителя информатики нашей школы Романа Анатольевича Перепечаева, для того чтобы нейросеть могла корректно считывать информацию, юные инженеры написали код, вычислили 21 точку на руке, по распределению которых ИИ понимает жест. Устройство «запомнило» 26 комбинаций, обозначающих разные команды. Идея кажется простой, однако ребятам потребовалось освоить глубокое машинное обучение нейросети.

Такое оптическое устройство можно устанавливать в разных системах – от «умного дома» до стоек информации в общественных пространствах, например, у регистратуры в поликлинике, чтобы можно было, не вступая в разговор с сотрудником, получить нужные сведения о приеме врача. Программа поможет в общении с неговорящими пациентами и посетителями социальных центров.

Проект ребят получил призовое место на научно-практической конференции «Инженеры будущего». Можно сказать, что разработка наших учеников – это новое слово в развитии искусственного интеллекта, поскольку на сегодняшний день аналога созданному ими способу общения с нейросетью жестами на рынке высоких технологий нет.

Кстати, система оптического распознавания жестов – не первый социальный проект учеников Романа Анатольевича. Ученик нашей школы создал сурдо-перчатку, которая озвучивает язык жестов, и со своим ноу-хау стал самым молодым победителем премии «Сделано в России» в номинации «Наука и технологии — Искатели».