Microsoft поможет определить не только возраст и пол человека по фотографии, но и его эмоции. Определение по фотографиям эмоций

Microsoft определяет эмоции по фотографии

Microsoft запустила сайт, который определит процент эмоций на ваших фото

Распознавание эмоций по фото

Определение эмоций по фотографиям — КиберПедия

Emotion Recognition — сервис Microsoft, который распознаёт эмоции людей на снимках

Microsoft поможет определить не только возраст и пол человека по фотографии, но и его эмоции

Определение эмоций по фотографиям

По версии алгоритма определения настроения от Microsoft, Лионель Месси несколько разочарован проигрышем в финале Кубка мира по футболу.

Компания «Майкрософт» продолжает развивать свои технологии по атрибутированию людей на фотографиях. Весной она запустила сайт How Old I Look («На сколько лет я выгляжу»), а сейчас предложила сервис, который определяет настроение изображённого на фотоснимке человека.

Пользователь может загрузить изображение с компьютера или дать ссылку на файл в Интернете. Сервис найдёт лица — до 64 на одной картинке — и определит вероятности для каждого из семи чувств: гнев, презрение, отвращение, страх, печаль, удивление — и нейтрального состояния. Пользователь получает расклад вероятностей при наведении на каждое из распознанных лиц.

Сервис также предоставляет результаты в формате JSON для автоматической обработки. Для каждого лица выдаются координаты центра, а также ширина и высота прямоугольника, в который оно заключено, и вероятности для настроений.

Скрипт справляется не только с фотоснимками, но и с картинами.

С вероятностью 54% герой картины Фёдора Решетникова «Опять двойка» чем-то расстроен.

Попробовать его работу можно на сайте Microsoft Project Oxford.

22century.ru

Компания Microsoft создала сервис Emotion Recognition, который может определить, насколько счастливы или разгневаны люди, изображенные на фотографии.

На страничке сайта Microsoft Project Oxford размещен экспериментальный сервис, позволяющий проанализировать фотографию на содержание два на ней разных эмоций: гнева, презрения, отвращения, страха, безразличия, счастья, грусти или удивления. Результат публикуется в числовом формате и может иметь значение от нуля до единицы.

Создатели игры предупреждают, что она «является экспериментальной и результаты не всегда точны». К примеру, сайт The Verge отметил, что Киану Ривз на фотографии, известной под названием «грустный Киану», печален всего на 0,1831%, большую же часть его эмоций составляет безразличие.

Фото: theverge.com / projectoxford. ai

42.TUT.BY изучил с помощью сервиса эмоции на лицах десяти известных белорусов.

Игра Emotion Recognition стала частью проекта Microsoft Project Oxford. Ранее именно этот проект занимался сервисами How-Old.net, определявшим возраст, и Twins Or Not, находившим сходства двух лиц.

Обзоры / Полезные сервисы и программы

Автоматизации и математической обработке сегодня подвергается все больше и больше аспектов нашей жизни, одним из которых является главная частей нашей памяти – фотографии, на которых запечатлены мы, наши друзья, памятные моменты и многое другое. Не так давно компания Microsoft уже сделала первый и довольно интересный шаг в обработке фотографий – был разработан алгоритм, который позволял определить возраст запечатленных людей (http://stalker-zona-tvorchestva.ru/articles/useful_sites_po/skolko_let/). Но время не стоит на месте, и сегодня мы расскажем о новом алгоритме, предложенном Microsoft – распознавание эмоций по фото.

Подсознательно мы все умеем определять, смеется или грустит человек на фото, а можно ли измерить эти чувства? Оказывается можно! И давайте сразу посмотрим, что это такое за измерение.

Для начала переходим на страницу проекта https://www.projectoxford.ai/demo/emotion#detection.

И сразу видим пример работы алгоритма. Попробуем разобраться, что же это такое, а потом проведем несколько экспериментов.

Итак, слева имеется анализируемое изображение, на котором выделены лица. Сразу становится понятно, что алгоритм умеет выделять все лица на фотографиях и анализировать каждое.

Под изображением присутствует строка ссылки на свое изображение «Image URL», кнопка анализа Распознавание эмоций по фото и кнопка загрузки изображения со своего компьютера .

Справа (и при наведении на рамки на лицах) имеется область, содержащая кучу непонятного текста (указанный текст это результат работы алгоритма в специальном формате), давайте разложим его по полочкам.

В первой строке надпись «detection result» - «результаты анализа».

Далее, количество лиц, которые присутствуют на изображении и которые были проанализированы. В данном случае «5 faces detected» - т.е. понятно, что было установлено и проанализировано 5 лиц.

А дальше начинается самое интересное, описание каждого из лиц. Описание первого лица приведено ниже, все остальные описаны аналогичным образом.

{

"FaceRectangle": {

"Left": 488,

"Top": 263,

"Width": 148,

"Height": 148

},

"Scores": {

"Anger": 9.075572e-13,

"Contempt": 7.048959e-9,

"Disgust": 1.02152783e-11,

"Fear": 1.778957e-14,

"Happiness": 0.9999999,

"Neutral": 1.31694478e-7,

"Sadness": 6.04054263e-12,

"Surprise": 3.92249462e-11

}

Что же все это обозначает?

Во фрагменте «FaceRectangle» указаны координаты углов рамки каждого из лиц, чтобы было понятно, эмоции какого человека мы посмотрим.

Во фрагменте «Scores» представлены сами результаты. Т.к. алгоритм пока что предоставлен в ознакомительном режиме, результаты не обработаны в «человеческий» вид и представлены в «сыром виде». Но не пугаемся – все очень просто! Имеется список из восьми эмоций:

Anger – Гнев

Contempt – Презрение

Disgust – Отвращение

Fear - Страх

Happiness – Счастье

Neutral – Нейтральный

Sadness – Грусть

Surprise – удивление

И вклад каждой эмоции в общее эмоциональное состояние человека на фото указывается от 0 до 1 – чем больше цифра, тем более весомое значение имеет эмоция.

В рассмотренном примере мы видим, что первый человек на фото имеет самую ярко выраженную эмоцию – счастье. Не пугайтесь непонятных значений вида «3.92249462e-11» - это математическая форма записи числа, где «e-11» обозначает на сколько знаков влево надо перенести запятую, т.е. в примере получится число «0.0000000000392249462», которое безумно мало.

Теперь можно пофантазировать, о применении алгоритма распознавания эмоций по фото. Мне, например, видится фотоальбом в соцсети, который в зависимости от выбранного статуса пользователя (грусть, радость или скука) автоматически переставляет фотографии под настроение. Или другой пример, Вы собираетесь посмотреть картинки в сети, камера Вашего девайса фотографирует Вас и по указанному алгоритму определяется настроение, а потом предлагаются к просмотру изображения, соответствующие эмоциональному состоянию, например, если Вы грустите, то изображения будут красочными и позитивными.

Я уверен, что алгоритм найдет множество способов применения. Более того, Microsoft предоставило API для доступа к алгоритму, а это значит, что воспользоваться им сможет каждый желающий и предоставлять результаты обработки можно будет самыми разнообразными способами.

Ну и напоследок я немного побаловался с автоматическим распознаванием эмоций и хочу показать, что из этого получилось.

Первое фото, которое я проверил, это, конечно же, знаменитый терминатор – мистер невозмутимость. И алгоритм меня поддержал - 0.89 нейтральности.

А почему бы не попробовать что-то веселое? А кто лучше всех кривляется и веселится - первая мысль Маска. И единогласно - лицо полное "счастья".

Раз уж пошли фильмы, то надо попробовать и хоббита. Тут я и сам не могу определить всю гамму эмоций на лице и алгоритм со мной согласен. Однако в этот момент я нешел интересную штуку – если навести курсор на рамку на фото, то появляется окошко с результатами, приятная мелочь, особенно когда лиц много.

И снова Джим Керри, ну кажется мне, что у него очень яркие эмоции - и смотрим на удивление. Кажется я не ошибся.

На фото молодой человек, эмоциональное состояние которого мы определили как гневное.

Усложним задачу и дадим алгоритму заранее подготовленные фото эмоций. Лица конечно не совсем естественны для четкой передачи состояния, но все было определено с очень высокой точностью.

Ну и немного смухлюем. Не фото, а портрет, нарисованный художником с нашего сайта (http://stalker-zona-tvorchestva.ru/user/korol0309/) и я считаю тут тоже неплохой результат!

Конечно я не удержался и попробовал распознать чувства чебурашки и остался ни с чем – алгоритм отказался обрабатывать героя мультфильмов.

Подводя итог обзора алгоритма распознавания эмоций по фото, реализованный Microsoft, хочется отметить очень хорошие результаты его работы и большое количество точных распознаваний. Для демо-старта просто отличный результат! Будем ждать новых интересных решений.

stalker-zona-tvorchestva.ru

Инструкция. У меня для тебя есть очень интересная игра. Ты знаешь, что все люди когда-то радуются, когда-то удивляются или сердятся. Сейчас я покажу тебе несколько фотографий, на которых изображен человек с какой-то эмоцией на лице (например, радости, горя, страха, удивления, презрения, отвращения, стыда, интереса, гнева). Вот тебе список этих эмоций. Попробуй определить, какая именно эмоция отражена на каждой фотографии.

Экспериментатор поочередно показывает 9 фотографий и записывает на бланке ответ ребенка рядом с номером фотографии.

Бланк для регистрации ответов

Номер п/п	Фото	Ответ испытуемого	Примечание

622 Приложение

Учитывается количество правильных ответов, по которым судят о сформированное™ умения определять знак эмоции по выражению лица.

Определение эмоций по пантомимике

Инструкция. А теперь я покажу тебе картинки, на которых тоже изображен человек с какими-то переживаниями. Попробуй определить, какая эмоция имеется у человека на каждой картинке.

Испытуемому показывается поочередно 8 картинок и записывает на бланке его ответы.

Бланк для регистрации ответов

Номер п/п	Картинка	Ответ испытуемого	Примечания


M + . + .IP--MM

Учитывается количество правильных ответов и по ним судят о сформированное -ти умения определять знак эмоции по пантомимике.

Изучение восприятия выразительной стороны рисунка

Методика взята из статьи: Репина Т. А. Восприятие дошкольниками выразительной стороны рисунка и ее влияние на отношение детей к герою книги // Вопросы психологии. - 1960. - № 5.

Подготовка исследования. Подобрать 10-14 репродукций картин, в которых эмоциональное содержание передается путем показа мимики и жестов, позы героев, взаимоотношений персонажей друг с другом или их отношения к окружающим предметам.

Проведение исследования. Эксперимент проводится индивидуально с детьми 3-6 лет. Ребенку последовательно показывают картинки и просят рассказать о них. Если он затрудняется в описании, задают наводящие вопросы (приготовить заранее), чтобы выяснить, как он понимает сюжет изображения, эмоциональные состояния героев.

Обработка данных. Подсчитывают число правильных ответов, когда дети верно поняли сюжет и эмоциональное состояние героев. Подсчет проводят по каждой картинке. Результаты оформляют в таблицу по возрастам: 3-4 года, 4-5 лет, 5-6 лет, 6-7 лет.

Выясняют, какие эмоциональные состояния, изображенные на рисунках, правильно воспринимают дети и в каком возрасте. Как они воспринимают мимику радости и гнева, выражение грусти и печали, с каким эмоциональным переживанием связывают яркие тона рисунка, как понимают эмоциональное содержание, переданное с помощью позы и жестов героя.

Изучение эмоциональных проявлений детей при разыгрывании сюжетных сценок

Методика взята из книги: Эмоциональное разитие дошкольника / Под ред. А. Д. Ко-шелевой. - М., 1985. - С. 100-102.

Подготовка исследования. Подобрать ситуации из жизни детей, близкие и понятные им, например:

Приложение 623

1. Больная мама лежит в постели, старшая дочка (подготовительная группа) приводит брата (ясельная группа).

2. Во время обеда в группе мальчик нечаянно разливает суп, все дети вскакивают и смеются; мальчик испуган, воспитатель строго объясняет, что надо быть аккуратнее и что смеяться здесь совершенно не над чем.

3. Мальчик потерял варежки, и на прогулке у него сильно замерзли руки, но он не хочет показать другим, что очень замерз.

4. Девочку не приняли в игру, она отошла в угол комнаты, низко опустила голову и молчит, вот-вот заплачет.

5. Мальчик (девочка) радуется за своего друга (подругу), чей рисунок оказался лучшим в группе.

Подготовить 2-3 детей для инсценировки этих сюжетов. Проведение исследования. Исследование проводится с детьми 4-7 лет. Первая серия. Подготовленные заранее дети разыгрывают перед группой сценку, затем экспериментатор спрашивает у ребят, что чувствуют персонажи этой сценки. Вторая серия. Экспериментатор описывает ситуацию и предлагает ее изобразить.

I ситуация - показать печальное, страдающее лицо мамы, капризного плачущего мальчика и сочувственное лицо девочки.

II ситуация - показать строгое лицо воспитателя, смеющихся и затем смутившихся детей, испуганное лицо мальчика.

III ситуация - как мальчик не хочет показать, что он замерз.

IV ситуация - показать обиду девочки.

Vситуация - показать неподдельную радость за другого. Если дети недостаточно выразительно или неправильно изображают чувства и эмоции персонажей, экспериментатор вновь описывает ситуации и подробно рассказывает, что испытывает каждый из персонажей.

Обработка данных. Анализируют, как дети воплощают эмоциональные состояния героев в сценках. Делают вывод о выразительности и богатстве экспрессивно-мимических средств общения и о развитости умения сопереживать другим людям. Данные оформляют в таблицу (табл. 6).

Таблица 6

cyberpedia.su

Project Oxford — проект Microsoft, который предоставляет разработчикам возможности алгоритмов машинного обучения. Эти API компания уже демонстрировала в шуточных сервисах How-Old и TwinsOrNot, получивших в своё время популярность среди пользователей. На днях компанию им составил сервис Emotion Recognition, который умеет определять эмоции людей на снимках.

Принцип работы Emotion Recognition аналогичен предшественникам: загружаете фотографию, и машинные алгоритмы анализируют наличие лиц на ней, после чего определяют по мимике предположительные эмоции. Учитывая тестовый режим работы этого инструмента, результаты часто получаются неточными и неожиданными, благодаря чему новинка и получила эффект вирусности.

Алгоритм анализирует лицо на наличие восьми различных эмоций: гнев, презрение, отвращение, страх, радость, спокойствие, грусть и удивление. Результат может варьироваться от нуля до единицы. Кроме заготовленных тестовых снимков, вы можете загрузить собственные. Единственные требования: стороны квадрата, в который нужно вписать лицо, должны быть не меньше 36 пикселей, а размер фотографии не должен превышать 4 МБ.

В будущем новинка наверняка найдёт применение в других продуктах компании, как это случилось с How-Old, который интегрировали в поисковик Bing. Кроме того, Emotion API доступен сторонним разработчикам, что в перспективе обеспечит появление приложений с подобной функциональностью.

lifehacker.ru

Корпорация Microsoft, запустив в работу сервис, позволяющий определить возраст человека по фотографии, решила идти дальше. Теперь специалисты компании разработали алгоритм, который определяет эмоции человека, изображенного на фотографии. Всего проверка идет по восьми позициям: злость, удовлетворение, отвращение, страх, счастье, нейтральность (читаем — отрешенное выражение лица), грусть, удивление.

Разработчики утверждают, что результаты не слишком точные, но при этом видно, что оценка идет более точная, чем в случае определения возраста. В качестве примера можно взять многим из нас известную фотографию Киану Ривза, сидящего на лавочке и что-то жующего. Microsoft считает, что такая эмоция, как грусть, почти отсутствует на лице актера (0,01831), его выражение лица нейтральное. Еще одна известная фотография показывает нам ребенка, чье эмоциональное состояние оценено, как «злость». Здесь у нас целых 0,98752 балла.

Работа компании над такими алгоритмами — это не игра. Корпорация старается совершенствовать ПО, отвечающие за распознавание фотографий. Несмотря на некоторые ошибки (особенно с определением возраста) все выглядит вполне интересно. Microsoft планирует открыть API для своих сервисов работы с изображением, так что можно будет создавать ПО и веб-сервисы, сортирующие фотографии по эмоциям людей, запечатленных на снимках.

Давайте посмотрим, какие эмоции испытывают Билл Гейтс

Тим Кук

Герои Fallout 4

Хотите опробовать ресурс в работе? Нет проблем, вот ссылка на него. Интересно, когда сервисы Microsoft научатся предсказывать по фотографии будущее?

habr.com

Возраст детей

Правильность передачи эмоций

Инструкция. У меня для тебя есть очень интересная игра. Ты знаешь, что все люди когда-то радуются, когда-то удивляются или сердятся. Сейчас я покажу тебе несколько фотографий, на которых изображен человек с какой-то эмоцией на лице (например, радости, горя, страха, удивления, презрения, отвращения, стыда, интереса, гнева). Вот тебе список этих эмоций. Попробуй определить, какая именно эмоция отражена на каждой фотографии.

Экспериментатор поочередно показывает 9 фотографий и записывает на бланке ответ ребенка рядом с номером фотографии.

Бланк для регистрации ответов

Номер п/п	Фото	Ответ испытуемого	Примечание

622 Приложение

Учитывается количество правильных ответов, по которым судят о сформированное™ умения определять знак эмоции по выражению лица.

Определение эмоций по пантомимике

Инструкция. А теперь я покажу тебе картинки, на которых тоже изображен человек с какими-то переживаниями. Попробуй определить, какая эмоция имеется у человека на каждой картинке.

Испытуемому показывается поочередно 8 картинок и записывает на бланке его ответы.

Бланк для регистрации ответов

Номер п/п	Картинка	Ответ испытуемого	Примечания


M + . + .IP--MM