Строительные блоки системы видеоаналитики
Обычно система видеоаналитики делится на два этапа:
- На первом этапе на фото ищутся целевые объекты, которых может присутствовать несколько.
- На втором этапе для каждого найденного объекта определяются его параметры.
Например: ищем лица и потом для каждого лица определяем пол и возраст. Или ищем людей на фото и определяем позу каждого человека.
Другой кейс, это когда мы сначала находим объекты на фото, а потом ищем их по базе. Для этого используются сети класса “идентификация объектов”. Такие нейросети позволяют сравнить похожесть двух картинок по различным параметрам. Например: сравнить похожесть двух лиц, или сравнить насколько два изображения человека без лица похожи (по одежде например).
Ниже представлен список все нейронных сетей, разбитых по классу решаемых задач.
Поиск объектов на фото
Нейронные сети данного класса позволяют найти на фото все объекты определнного типа: людей, автомобили, зверей, знаки, вывески и тп. Часто нейросеть умеет определять только 2-3 типа объекта.
Поиск разных объектов на фото (91 класс)
Поиск лиц людей на снимке
Существует множество нейросетей для поиска лиц и нужно подбирать конкретную сеть в зависимости от целого ряда параметров:
- Как много лиц на кадре
- Как далеко лица от камеры
- Освещение
- Под каким углом камера смотрит на лица
Чем сложнее случай, тем более "тяжелую" нейросеть нужно будет использовать.
Поиск маски на лицах
Актуальная нейросеть позволяющая определить есть ли маска на лице человека
Поиск людей на изображении
Позволяет считать проходимость участка, определять наличие очередей и тп.
Распознавание состояния ученика. Для кейса “умный учебный класс”
Варианты:
- сидит
- стоит
- поднял руку
Распознавание состояния преподавателя для кейса "умный учебный класс"
Варианты:
- стоит
- пишет
- ведет демонстрацию
Поиск автомобилей на изображении
Позволяет считать кол-во проезжающих машин, заполненность парковок
Поиск велосипедов на изображении
Поиск номеров машин на фото (без распознавания номера)
Позволяет получить изображение номера. В дальнейшем сам номер может быть распознан в текст другой нейронной сетью.
Поиск продуктов на изображении
Напитки, упаковки чипсов, соусы и др.
Поиск текста на картинке
Распознавание деталей для объектов
Позволяет уточнить информацию о конкретном объекте на фотографии. Отдельные нейронные сети отвечают за свои атрибуты объекта.
Определение пола и возраста для лица
Определение ориентации головы человека в пространстве
Распознавание номеров
Распознавание характеристик транспортного средства
Цвет: белый, серый, желтый, красный, зеленый, синий, черный;
Тип транспорта: автомобиль, автобус, грузовик, фургон;
Распознавание эмоции, мимики на лице
Распознаваемая мимика:
- нейтральный
- счастливый
- грустный
- удивление
- гнев
Поиск ключевых точек на лице (5 точек): глаза, нос и губы
Поиск ключевых точек на лице (35 точек)
Ключевые точки описывают следющие участки лица:
- глаза
- нос
- губы
- контур лица
С помощью этой информации можно, например, применить "маску" или выровнять изображении для поиска по базе.
Распознавание характеристик персоны
Может ответить на следующие вопросы:
- Пол?
- Есть ли сумка?
- Есть ли рюкзак?
- Есть ли шапка?
- У него длинные рукава?
- У него длинные брюки?
- У него длинные волосы?
- Есть ли куртка?
Распознавание направления взгляда
Распознавание действия водителя
Распознаваемые ситуации:
- Пьет из бутылки
- Причесывание или макияж
- Управление радио
- Смотрит назад
- Смотрит на дорогу
- Разговаривает по телефону
- Смотрит в телефон
Распознавание позы человека
Определяет относительное расположение головы, туловища, рук и ног. Например, так можно определить упавшего человека.
Распознавание действий на видео
Распознавание текста
Идентификация объектов
Позволяет сравнивать изображения и искать по изображения по базе.
Идентификация человека по его образу
Позволяет автоматически примерно сопоставить проходящего человека, у которого не видно лица, на разных камерах.
Идентификация лица
Позволяет проверять наличие выделенного лица в базе лиц (запрещающие и разрешающие списки).
Другие задачи
Воссоздание глубины на фото без стереокамеры
Позволяет понять какие объекты находятся в кадре дальше, а какие ближе
Сегментация изображения (21 класс)
Сегментация изображения (32 класса)
Показывает области на изображении, занятые определнными классами объектов. Например так можно найти скопления масс людей, машин.
Масштабирование изображение с использованием нейросети
Позволяет сохранить четкость текстов при увеличении небольших изобржений