Как функционирует идентификация лиц в смартфонах

Для чего мы выбираем разблокирование по лицу

В последние времена идентификация лиц превратилось в одной из самых популярных опций для деблокировки умных телефонов. Лишь несколько лет назад основная масса использующих обходились пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект делает эту особенность такой востребованной? Во-первых, это практично: не нужно помнить сложные пароли или отыскивать нужный палец в мраке. Во-вторых, это мгновенно: современные программы распознают лицо фактически за мгновения ока. В-третью очередь, это чувство футуризма — как будто в кинолентах про admiral x агентов.

Однако за данной кажущейся несложностью прячется весь мир сложных методов и инженерных концепций. Позвольте нам разобраться, как конкретно функционирует распознавание лиц в новейших гаджетах, какие применяются технологии, насколько они надёжны и что нас ждёт впереди.

Краткая история эволюции технологии

Идентификация лиц как технология имеется уже более 50 лет. Изначальные попытки автоматического изучения облика были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь выделять очертания головы и измерять промежутки между зрачками и ртом на монохромных фотографиях.

Начальные бизнес установки стали доступны в 1990-х годах, но они были далеки от совершенства: работали медленно и часто ошибались. Только с развитием искусственных сетей и таких систем, как адмирал х, сильных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Ключевые шаги работы механизма идентификации

Процесс определения лица можно условно поделить на несколько важных этапов:

Идентификация лица — камера определяет наличие человеческого лица в снимке.
Извлечение особенностей — механизм исследует черты облика: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — созданный шаблон сопоставляется со сохранённой при учёте биометрической информацией владельца.
Принятие определения — если совпадение достаточно значительное, смартфон деблокируется.

Всякий из данных стадий нуждается в индивидуальных алгоритмов и улучшений для быстрой работы непосредственно на девайсе.

Технические компоненты: что прячется внутри

Обычная фронтальная камера.

Самый простой простой способ распознавания лица использует исключительно лицевую камеру смартфона. Данный способ внедрён во многих доступных вариантах Android-устройств.

Положительные стороны:

Необходимо потребляет дополнительные сенсоров.
Шустро функционирует при качественном освещении.

Отрицательные стороны:

Легко ввести в заблуждение фотографией или роликом.
Неправильно действует при низком освещении или необычных точках зрения.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Как это работает:

Точечный проекционный прибор отображает на облик юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
ИК устройство фиксирует изменение формы этой решетки по поверхности лица.
Создаётся трёхмерная карта глубины глубинности, которая почти что невозможна для фальсификации типичной снимком или маской.

Плюсы

Надёжная деятельность даже в полной темноте.
Высокая сопротивляемость к подделкам.
Точность распознавания более 99%.

Добавочные датчики

В отдельных аппаратах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения луча до цели и обратно; Трехцветные-датчики глубины; специальные оптические дальномеры для формирования более детализированной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: синтетический разум в работе

Нынешние механизмы распознавания лиц немыслимы при отсутствии использования ИИ и машинного обучения. Именно благодаря таким разработкам, как адмирал х, устройство в состоянии идентифицировать пользователя даже при метаморфозах облика: новая укладка, растительность на лице, очки или косметика не становятся помехой для деблокировки.

Распознавание лица

На первом стадии программа должна быстро найти лицо среди целого кадра камеры. Для этого используются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать физиономию даже в случае частичном закрытии (например, шарфом или ладонью).

Определение основных точек

После распознавания лица устройство, такая как адмирал х, вычисляет положение ключевых точек: края глаз, кончик носа, границы губ и так далее. Обычно задействуется от 68 до 128 ключевых маркеров на лице.

Данное необходимо для выравнивания картинки: если юзер находится с мобильник под углом, или наклонил голову, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора образца

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот образец весьма трудно сфальсифицировать: он не хранит само картинку юзера, а лишь уникальные особенности его вида, что делает его совершенным для таких систем, как admiral-x.

Сравнение и принятие решения

В случае, когда юзер желает разлочить телефон взором, программа повторяет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Адаптация к трансформациям внешнего вида

Интересная черта актуальных систем — возможность самостоятельного обучения. Если ты регулярно разблокируете телефон с обновленной укладкой или очками, система постепенно освежает основной образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрии данных.

Многие пользователи опасаются сохранять свои био-идентификационные данные на смартфоне из-за угрозы утечки данных или хакерской атаки. Определенные компании, например admiral-x, предлагают методы для повышения защиты данных юзеров.

Локальное сохранение: Большинство девайсов записывает биометрические шаблоны исключительно в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают устройство и недоступны даже изготовителю.
Шифрование: Все сведения сберегаются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Необходимо подчеркнуть значимую деталь: в случае, если какой-то человек достанет доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании осуществляют меры безопасности от неосознанного разблокирования — например, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают виды определения лиц на изображениях?

Сегодня можно выделить различить три ключевых способа к реализации этой операции:

Софтверное плоское распознавание

Используется только передняя видеокамера без вспомогательных сенсоров дистанции. Подобный способ наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; минимальная затраты; скоростная функционирование при качественном освещении.
Минусы: несложно одурачить фотографией; нестабильная деятельность ночью; слабая защищенность.

Аппаратное 3D оцифровка

Использует инфракрасную видеокамеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: высокая достоверность; не получится исказить фото/видео; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Применяют комбинацию софтверных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, например адмирал х и Google Pixel Face Unlock современных версий, сочетают фронталку c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок руками/масками/видеодисплеями чужих устройств.

Иллюстрации использования разных техник

iPhone серии X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное плоское идентификацию по изображению фронталкой, так и сенсор глазного ириса.
Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные срабатывания

Несмотря на замечательный прогресс инноваций за прошедшие годы, совершенных системы пока не наблюдается:

Вероятность мошенничества: Бюджетные телефоны просто доступны высококачественной изображением владельца или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные устройства могут перепутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
Трансформации облика: Внезапное похудение/увеличение массы тела, косметические процедуры или травмы порой необходимы для обновления данных биометрии.
Условия записи: Интенсивная засветка солнцем или же интенсивная тень могут понизить точность распознавания признаков.

Ниже некоторые рекомендаций для надёжному эксплуатации:

Для значимых операций всегда используйте двухэтапную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Постоянно апгрейдите программное обеспечение смартфона для предотвращения угроз от новых видов атак;
Включайте настройку “Требовать распахнутых глаз” везде, где она имеется.

В каких областях также находится применение технология кроме мобильных телефонов?

Пускай тема этой работы касается в частности мобильным устройствам, необходимо сказать о других сферах применения технологии:

Контроль входа в деловых центрах и резиденциях;
Платёжные устройства банков (“Face Pay”);
Виртуальные паспорта последнего типа;
Системы видеомониторинга городских подразделений;
Механизация учёта посещаемости школ/университетов;
Авторизация участников компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Схожие программы осуществляются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как трансформируется технический процесс сегодня?

Любой годочек появляются новые концепции для усовершенствования стандарта деятельности систем распознавания лиц:

Увеличивается детализация сенсоров — чем больше информации фиксируется камерой/датчиками глубины, тем меньше вероятность ошибки;
Развиваются искусственные интеллекты — передовые архитектуры типа MobileNetV3 дают возможность оперативно адаптироваться к дополнительным характеристикам внешности обладателя непосредственно на девайсе без отправки данных в облако.
Развиваются методы антиспуфинга — теперь смартфоны могут различать подлинные анимированные лица от неподвижных фотографий/масок по микроскопическим микродвижениям.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут самостоятельно заблокировать смартфон, если пользователь ушёл далеко.
Появляются смешанные устройства — например совмещающие аудио идентификацию + облик + отпечаток пальца.

Вот, какие направления особенно востребованы на сегодняшний день:

1) Миниатюризация деталей

Производители пытаются минимизировать габариты прорези (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для улучшения приватности всё больше обработки данных осуществляется локально без отправки данных во сторонний облачный сервис.

3) Унификация норм

Google интенсивно пропагандирует норму BiometricPrompt API, для того чтобы подобные системы, как admiral x, и любые Android-приложения могли работать с всеми формами биометрии унифицированно.

Что решить сегодня?

Когда вам необходима наивысшая сохранность данных, подбирайте передовые устройства с интегрированным ИК-проектором или ToF-сенсором глубины.

iPhone всех новейших моделей
Huawei Mate/P серии
Mix Expert
Vivo X линейки
Оппо Обнаружить Икс серий.

Если бюджет ограничен – лучше выбирать классическим способам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность комфорта.

Как повысить удобство работы функции?

Есть некоторые лайфхаков для людей, кто уже применяет разблокировку через лицо:

Регулярно обновляйте свою фото-шаблон, если кардинально трансформируется облик.
Не упускайте из виду чистить объектив фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам активирует камеру когда вы берёте его в руки.
В процессе записи старайтесь удерживать голову ровно впереди объектива не допуская значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от дисплея.

Будущее прогресса техники

В скоро наступающие времена можно предполагать возникновения полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + манера ходьбы + манипуляции руками!

Также вероятно развитие свежих подходов охраны приватности – к примеру, переменное модификация диджитал образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных технологий нашего времени! Она обеспечивает общение со телефоном проще чем до этого, и такие приложения, как admiral-x, могут значительно улучшить ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как работает эта система в деталях, – сумеете вдумчиво подбирать свой очередной гаджет!