Как работает идентификация лиц в телефонах

Для чего мы предпочитаем разблокирование по лицевому распознаванию

В прошлые времена идентификация лиц стало одной из самых популярных опций для деблокировки смартфонов. Всего некоторые лет назад большинство юзеров довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает данную особенность очень нужной? Во-первых, это удобно: не нужно помнить замысловатые пароли или искать правильный палец в тьме. Также, это оперативно: современные алгоритмы узнают лицо буквально за мгновение. В-третьем пункте, это впечатление футуризма — будто в кинофильмах про admiral x зеркало шпионов.

Однако за этой видимой несложностью скрывается полный мир трудных техник и инженерных разработок. Давайте исследовать, как точно действует распознавание лиц в современных мобильных телефонах, какие бывают методы, насколько они безопасны и что нас предстоит.

Короткая повествование эволюции технологии

Идентификация лиц как технология присутствует уже более пятидесяти лет. Начальные попытки автоматизированного изучения облика были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ способны были лишь обозначать контуры головы и измерять дистанции между зрачками и ртом на черно-белых фотографиях.

Начальные бизнес системы стали доступны в 1990-х годах, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Ключевые шаги работы устройства идентификации

Процесс определения лица можно ориентировочно поделить на несколько ключевых этапов:

Распознавание лица — аппарат распознает наличие людского образа в изображении.
Выделение признаков — алгоритм исследует черты физиономии: очертания глаз, обонятельного органа, губ, положение бровей.
Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — созданный модель сверяется со записанной при внесении биометрической данными владельца.
Принятие определения — если сходство достаточно высокое, смартфон открывается.

Каждый из этих стадий требует особых процедур и усовершенствований для оперативной работы непосредственно на девайсе.

Технические компоненты: что скрыто внутри

Стандартная фронтальная камера.

Наиболее несложный способ распознавания физиономии применяет лишь переднюю камеру смартфона смартфона. Такой способ внедрён во многих доступных вариантах Android-девайсов.

Сильные стороны:

Необходимо нуждается в внешних сенсоров.
Оперативно действует при достаточном освещённости.

Минусы:

Легко одурачить изображением или видео.
Плохо функционирует при слабом свете или необычных ракурсах.

ИК камера и пунктирный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс является основой Face ID от Apple.

Каким способом это действует:

Точечный проекционный прибор проецирует на лицо пользователя невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
Инфракрасная устройство фиксирует искривление данной решетки по плоскости лица.
Получается трехмерная карта глубинности, которая почти неподвластна для имитации обычной фото или маской.

Преимущества

Надёжная работа даже в полной темноте.
Высокая устойчивость к фальсификациям.
Точность распознавания свыше 99%.

Дополнительные сенсоры

В отдельных устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют период распространения луча до цели и обратно; Трехцветные-датчики дальности; специальные оптические лидары для построения более аккуратной 3D-модели лица.

Эти разработки применяются в основном во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум на работе

Нынешние системы распознавания лиц немыслимы без применения artificial intelligence и машинного обучения. Именно из-за таким инновациям, как адмирал х, аппарат в состоянии идентифицировать владельца даже при трансформациях облика: новая укладка, борода, очки или косметика не становятся помехой для деблокировки.

Обнаружение физиономии

На первом этапе система обязана оперативно распознать лицо в пределах целого кадра с камеры. Для этого используются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы находить лица людей среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать физиономию даже при частичном перекрытии (например, шалью или ладонью).

Выделение ключевых точек

После обнаружения лица система, такая как адмирал х, вычисляет местоположение основных точек: края глаз, верхушка носа, границы губ и так далее. Часто используется от 68 до 128 основных маркеров на лицевой поверхности.

Это действие требуется для нормализации картинки: если пользователь находится с смартфон под наклоненным, или повернул головку, программа корректирует картинку до нормального состояния для дальнейшего анализа.

Построение биометрии шаблона

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Такой образец крайне сложно имитировать: он не хранит непосредственно картинку юзера, а лишь уникальные особенности его вида, что делает его оптимальным для таких платформ, как admiral-x.

Сопоставление и принятие заключения

Когда человек хочет разблокировать смартфон глазами, программа воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Привыкание к трансформациям облика

Увлекательная особенность нынешних систем — возможность самообучения. Если ты постоянно разблокируете смартфон с новой стрижкой или оптикой, система постепенно освежает базовый шаблон вашего лица для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических информации.

Многие юзеры боятся сохранять свои био-идентификационные данные на мобильном устройстве из-за вероятности утечки данных или взлома гаджета. Иные компании, вроде admiral-x, предоставляют варианты для повышения защиты сведений клиентов.

Локальное сохранение: Основная часть аппаратов записывает биометрические образцы лишь в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и не доступны в том числе изготовителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы третьих разработчиков не обладают прямого возможности доступа к биометрическим; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Следует упомянуть важную особенность: в случае, если кто-либо получит доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании внедряют защиту от “слепого” разблокирования — в частности, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются виды идентификации лиц?

На сегодняшний день можно выделить выделить три ключевых метода к реализации этой операции:

Софтверное двухмерное определение

Применяется только фронтальная камера без экстра детекторов дистанции. Подобный способ наблюдается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; умеренная стоимость; быстрая деятельность при хорошем освещении.
Минусы: легко одурачить фотографией; нестабильная работа ночью; недостаточная охрана.

Аппаратное объёмное сканирование

Использует инфракрасную камеру + проектор точек + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: высокая достоверность; нельзя обмануть фото/видео; постоянная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Используют комбинацию программируемых методов + аппаратно-техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например адмирал х и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК датчиком движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Образцы применения разных методов

iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID в числе Android.
Samsung Galaxy S10/S20 имеют как софтверное двухмерное идентификацию по фото фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности безопасности и неверные сигналы

Несмотря на поразительный успехи техники за последние лет, совершенных систем пока не имеется:

Возможность обмана: Бюджетные смартфоны без труда открываются четкой снимком хозяина либо видео с экрана другого устройства.
Идентичные близнецы: Даже самые идеальные системы могут ошибиться между однояйцевыми близнецами либо семьями с очень похожей внешностью.
Метаморфозы внешнего вида: Внезапное снижение веса/набор веса, косметические процедуры или травмы иногда требуют перерегистрации биометрических данных.
Условия съёмки: Сильная освещённость солнечным светом или интенсивная темнота могут уменьшить верность распознавания признаков.

Вот некоторые советов по надёжному применению:

Для важных операций всегда используйте дополнительную аутентификацию;
Не запускайте функцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Регулярно апгрейдите программное обеспечение телефона для предотвращения угроз от современных угроз;
Включайте опцию “Требовать распахнутых глаз” там, где она имеется.

В каких местах также используется технология кроме смартфонов?

Хотя основная мысль этой статьи сосредоточена на в частности смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

Мониторинг входа в офисах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Электронные удостоверения личности современного поколения;
Установки видеонаблюдения муниципальных подразделений;
Автоматизирование регистрации явки школ/институтов;
Авторизация юзеров компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Аналогичные инициативы реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как меняется технология в нынешнее время?

Любой годик проявляются современные мысли для повышения стандарта функционирования систем лицевого распознавания:

Увеличивается чёткость датчиков — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс ошибки;
Развиваются нейронные сети — передовые конструкции вида MobileNetV3 дают возможность скоростно адаптироваться к свежим особенностям внешности владельца непосредственно на девайсе без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь смартфоны способны различать настоящие анимированные облики от неподвижных фотографий/маскировок по мельчайшим микродвижениям.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут самостоятельно блокировать телефон, если владелец удалился на значительное расстояние.
Проявляются комбинированные системы — например объединяющие голосовую аутентификацию + физиономию + пальцевой отпечаток.

Вот, те направления очень популярны в данный момент:

1) Миниатюризация элементов

Производители намереваются уменьшить размер прорези (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на девайсе

Для улучшения конфиденциальности всё больше обработки данных осуществляется внутри устройства без пересылки данных во дополнительный облачный сервис.

3) Стандартизация регламентов

Google активно продвигает эталон BiometricPrompt API, для того чтобы подобные площадки, например как admiral x, и все Android-приложения могли взаимодействовать с различными типами биометрии единообразно.

Что решить сегодня?

В случае если вам важна предельная защита информации, выбирайте передовые устройства с вмонтированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих последних версий
Huawei Companion/Series P серии
Mix Professional
Vivo X линейки
Oppo Find X серий.

Если финансы ограничен – лучше выбирать обычным средствам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность удобства.

Каким образом повысить удобство использования возможности?

Есть некоторые лайфхаков для тех, кто уже применяет разблокировку по лицу:

Регулярно обновляйте свою фотографию-шаблон, если значительно изменяется внешний вид.
Не упускайте из виду чистить линзу передней камеры – пятна могут уменьшить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат как только вы поднимаете его.
В процессе регистрационного процесса постарайтесь сохранять голову прямо напротив объектива исключая значительного наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от дисплея.

Возможности прогресса инноваций

В скоро наступающие годы можно предвкушать возникновения полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: физиономия + речь + шаги + движения рук!

Также возможно возникновение новых способов защиты конфиденциальности – скажем, изменяющееся корректировка электронного шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных техник нашего времени! Она обеспечивает общение со смартфоном проще чем до этого, и такие программы, как admiral-x, могут значительно оптимизировать ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта технология изнутри, – сумеете осознаннее определять свой очередной девайс!