Как работает распознавание лицевых образов в смартфонах

Почему мы выбираем разблокирование по лицу

В недавние годы распознавание лиц является одной из самых распространённых опций для открытия мобильных телефонов. Всего несколько годков ранее основная часть пользователей довольствовались PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь обуславливает данную особенность такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти сложные пароли или находить нужный палец в мраке. Кроме того, это оперативно: современные системы узнают лицо фактически за мгновение. В-третьих, это впечатление футуризма — словно в фильмах про admiral x официальный сайт разведчиков.

Впрочем за такой на первый взгляд легкостью скрывается весь вселенная комплексных методов и инженерных решений. Попробуем разобраться, как конкретно функционирует идентификация по лицу в актуальных мобильных телефонах, какие существуют методы, насколько они защищены и что нас ожидает в будущем.

Сжатая хроника развития технологии

Идентификация лиц как методика имеется уже более 50 лет. Первые эксперименты машинного изучения лица были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины способны были лишь выделять силуэты черепа и определять промежутки между глазами и ртом на черно-белых фотографиях.

Изначальные коммерческие установки появились в девяностых годах, но они были несовершенны: действовали неспешно и часто ошибались. Только с прогрессом искусственных сетей и таких платформ, как адмирал х, мощных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные разработки.

Ключевые этапы действия механизма идентификации

Процесс определения лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лица — аппарат выявляет присутствие людского образа в изображении.
2. Выделение характеристик — система исследует контуры физиономии: конфигурацию зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
3. Построение модели — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — полученный модель сравнивается с сохранённой при внесении биометрической данными владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Всякий из данных шагов запрашивает особых методов и оптимизаций для оперативной работы непосредственно на девайсе.

Технические составляющие: что находится внутри

Обычная селфи камера.

Простейший легкий способ распознавания физиономии применяет только переднюю видеокамеру смартфона. Данный метод внедрён во различных недорогих версиях Android-девайсов.

Положительные стороны:

• Необходимо требует дополнительных датчиков.
• Оперативно работает при достаточном освещении.

Слабые стороны:

• Легко ввести в заблуждение изображением или роликом.
• Неправильно функционирует при слабом освещённости или непривычных точках зрения.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс составляет базу Face ID от Apple.

Каким способом это действует:

• Точечный проектор проецирует на лицо юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
• Инфракрасная устройство фиксирует изменение формы этой решетки по плоскости лица.
• Создаётся трехмерная глубинная карта глубины, которая практически неосуществима для имитации обычной фотографией или маской.

Преимущества

• Надёжная деятельность даже в полной темноте.
• Высокая устойчивость к фальсификациям.
• Точность распознавания выше 99%.

Добавочные датчики

В определённых аппаратах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время движения света до предмета и обратно; Цветные-датчики дальности; специальные оптические лидары для создания более точной 3D-модели физиономии.

Эти инновации встречаются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный ум на действии

Текущие механизмы распознавания физиономий невозможны в отсутствие применения artificial intelligence и machine learning. Именно благодаря таким технологиям, как адмирал х, гаджет в состоянии узнавать пользователя даже при трансформациях облика: новая стрижка, растительность на лице, оптика или макияж не становятся помехой для деблокировки.

Детектирование лица

При начальном этапе система обязана оперативно распознать образ лица в пределах всего изображения камеры. Для данной цели используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать облик даже в случае частичном перекрытии (например, платком или ладонью).

Выделение основных аспектов

После идентификации лица система, такая как адмирал х, устанавливает местоположение главных точек: уголки глаз, верхушка носа, границы губ и так далее. Как правило используется от 68 до 128 главных точек на лицевой поверхности.

Это действие необходимо для стабилизации изображения: если пользователь удерживает мобильник под углом, или повернул головку, программа корректирует изображение до обычного угла для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Этот формат весьма затруднительно сфальсифицировать: он не хранит непосредственно фото юзера, а лишь уникальные черты его облика, что делает его совершенным для таких платформ, как admiral-x.

Сравнение и принятие заключения

Когда юзер хочет открыть мобильник глазами, программа повторяет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный уровень (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Привыкание к трансформациям внешности

Увлекательная черта нынешних систем — способность самообучения. Если вы постоянно разблокируете смартфон с обновленной прической или очками, система постепенно обновляет эталонный образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных.

Многие пользователи беспокоятся сохранять свои биометрические данные на телефоне из-за угрозы потери данных или взлома устройства. Определенные фирмы, например admiral-x, предлагают варианты для повышения безопасности информации клиентов.

• Локальное хранение: Большинство девайсов записывает биометрические модели лишь внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и не доступны даже создателю.

• Шифрование: Все сведения хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует упомянуть важную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от автоматического разблокирования — к примеру, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц?

Сегодня можно определить различить 3 ключевых подхода к реализации этой задачи:

Софтверное 2D распознавание

Используется только лицевая камера без экстра детекторов дистанции. Этот способ наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; минимальная цена; скоростная функционирование при достаточном свете.
Минусы: легко обмануть снимком; неустойчивая работа ночью; низкая безопасность.

Техническое трёхмерное сканирование

Использует ИК видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: высокая надёжность; невозможно обмануть фото/видео; устойчивая деятельность при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с ИИ-дополнением

Используют комбинацию программируемых методов + аппаратно-техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронталку c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями чужих устройств.

Иллюстрации применения разных техник

• iPhone серии X/11/12/13/14 применяют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID среди Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение 2D распознавание по фото селфи-камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные тревоги

Несмотря на поразительный прогресс инноваций за прошедшие годы, безупречных механизмов пока не наблюдается:

1. Шанс мошенничества: Недорогие телефоны без труда открываются четкой фотографией владельца или видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные системы могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Изменения облика: Стремительное утрата веса/увеличение массы тела, пластические операции либо травмы в некоторых случаях требуют обновления данных биометрии.
4. Условия фотографирования: Сильная подсветка солнечным светом либо плотная затенение могут понизить верность определения признаков.

Здесь некоторые советов по защищённому эксплуатации:

• Для важных операций всегда внедряйте дополнительную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку смартфона для защиты от новых видов атак;
• Включайте опцию “Требовать открытых глаз” там, где она имеется.

В каких местах ещё применяется технологии помимо мобильных телефонов?

Хотя предмет этой статьи сосредоточена на именно мобильным устройствам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль входа в офисах и многоквартирных зданиях;
• Платёжные устройства банков (“Face Pay”);
• Электронные удостоверения личности нового поколения;
• Системы видеонаблюдения городских подразделений;
• Механизация регистрации посещаемости образовательных учреждений/вузов;
• Аутентификация пользователей компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом изменяется технология в наше время?

Каждый год проявляются свежие мысли для повышения стандарта работы систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Улучшаются нейросети — передовые структуры модели MobileNetV3 позволяют быстро осваивать дополнительным характеристикам облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь телефоны могут распознавать реальные анимированные облики от статичных фотографий/маскировок по мельчайшим движениям кожи.
4. Интеграция со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать телефон, если владелец удалился на значительное расстояние.
5. Проявляются гибридные устройства — в частности комбинирующие голосовую опознание + облик + пальцевой отпечаток.

Итак, какие направления очень актуальны на сегодняшний день:

1) Уменьшение элементов

Компании намереваются минимизировать размер выреза (“чёлки”) под сенсоры на экране за счёт интеграции маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения приватности всё более вычислений происходит внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Унификация регламентов

Гугл активно пропагандирует норму BiometricPrompt API, с целью чтобы подобные системы, например как admiral x, и все Android-приложения были совместимы с любыми видами биометрии единообразно.

Что выбрать сегодня?

В случае если тебе нужна предельная безопасность информации, подбирайте флагманские модели с вмонтированным ИК-излучателем либо ToF-датчиком глубины.

• iPhone всех новейших моделей
• Huawei Mate/Series P серии
• Mix Expert
• Vivo X линейки
• Oppo Найти Х линейки.

Если средства невелик – лучше предпочесть обычным методам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как второстепенную возможность комфорта.

Каким способом улучшить практичность использования опции?

Есть несколько советов для пользователей, кто уже пользуется разблокировку по лицу:

1. Регулярно обновляйте свою фото-шаблон, если кардинально меняется внешность.
2. Не упускайте из виду чистить линзу передней камеры – пятна могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат если вы поднимаете его.
4. Во время регистрационного процесса старайтесь сохранять лицо прямо перед объектива не допуская сильного наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от экрана.

Будущее развития инноваций

В скоро наступающие периоды можно предвкушать развития полностью дистанционных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + манера ходьбы + движения рук!

Также предполагается возникновение новых способов охраны конфиденциальности – скажем, переменное модификация электронного образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее захватывающих инноваций нашего периода! Она обеспечивает общение со мобильным устройством удобнее чем до этого, и такие аппы, как admiral-x, могут существенно улучшить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как работает эта методика внутри, – будете в состоянии осознаннее определять свой будущий девайс!