Проект РФФИ №20-57-53012 "Повторная идентификация объектов на видеоданных низкого качества в многокамерных системах наблюдения"

Аннотация проекта

Научным коллективом в ходе реализации проекта получены результаты в области анализа видеоданных низкого качества в интеллектуальных системах видеонаблюдения. Рассмотрены способы комплексирования и разработаны методы восстановления изображений, снятых при плохих погодных условиях или в темное время суток с целью повышения эффективности методов идентификации и распознавания объектов. Разработана математическая модель процесса объединения изображений, получаемых с различных камер фиксации, учитывающей разнесение в расположении чувствительных фиксирующих матриц, разницы в их физическом размере, различие в размерах получаемых кадров, типов и фокусных чисел применяемых объективов, положения объектов в окружающем пространстве. Разработана модель представления видеоданных формата RGB в системе гиперкомплексных чисел кватернионов, которая представляет из себя систему гиперкомплексных чисел, образующих векторное пространство размерностью четыре над полем вещественных чисел. В случае представления цветного изображения каждый из трех мнимых слагаемых заменяется каналом цвета. Разработаны методы и алгоритмы комплексирования многоспектральных видеоданных на основе параметризованной модели логарифмической обработки изображений. Наиболее важным преимуществом совместного использования датчиков глубины и камер видимого диапазона является взаимодополняющий характер различных модальностей, которые обеспечивают информацию о глубине и видимом спектре сцены. Взаимодополняемость информации, получаемой различными способами, позволяет повысить надежность и устойчивость распознавания, и обеспечивает построение более информативного дескриптора. Разработаны методы первичной обработки с использованием нейронных сетей глубокого обучения для решения задачи повышения контраста и детализации видеоданных в темное время суток и при плохих погодных условиях (пасмурно, туманно, осадки в виде снега и дождя). Предлагается использовать метод, который заключается в поиске похожих блоков с различными масштабами и дальнейшей нелинейным изменением коэффициентов Фурье в пространстве 3D. Комбинирование полученных изображений будет осуществляться на основе выбора весов с помощью глубинного обучения. Такой подход позволяет учитывать различные масштабы изображений и повышать качество и детализацию как на локальных блоках с небольшими текстурированными объектами, так и на больших однородных участках изображений, что позволяет равномерно корректировать контрастность на всем изображении. Разработаны методы первичной обработки с использованием нейронных сетей глубокого обучения для решения задачи фильтрации видеоданных в темное время суток и при плохих погодных условиях (пасмурно, туманно, осадки в виде снега и дождя). Методы и алгоритмы первичной обработки видеоданных основаны на адаптивной обработке с нелинейным решающим правилом агрегирования среди множества оценок сигнала (BM3D, P-BM3D), при этом для выбора похожих блоков используется алгоритм построения словаря на основе глубинного обучения. Разработан метод обнаружения артефактов, вызванных осадками в виде дождя и снега. Первая часть предлагаемого решения включает преобразование изображения из цветового пространства RGB в цветовое пространство HSV путем применения линейного преобразования. Осадки в виде снега и дождя как правило имеют более высокую яркость, поэтому выбрана S-компонента в модели HSV для обнаружения больших областей осадков и небольших бликов высокой интенсивности. Этот атрибут цвета был использован потому, что блики характеризуются локальным совпадением интенсивной яркости и ненасыщенного цвета. Изображение насыщенности показывает меньше ложных срабатываний для пикселей с осадками, чем другие компоненты. На следующем шаге предлагаемый подход использует адаптивную пороговую обработку для изображений и видеосигналов в пространстве кватернионов. Разработаны методы и алгоритмы реконструкции видеоданных для удаления артефактов, вызванных осадками в виде дождя и снега. Для реконструкции пикселей будет использована комбинации полносверночной глубокой нейронной сети U-образной формы с прямыми связями и методология GAN. Построение иерархических дескрипторных описаний, адекватных задаче позволяет значительно упростить итоговое решение. Разработан метод повышения разрешения видеоданных с использованием нейронных сетей глубокого обучения. Процесс повышения разрешения изображения начинается с поиска похожих блоков. С этой целью используется сеть Маркова. Для каждого блока производится поиск 16 наиболее похожих блоков из базы данных с низким разрешением. На следующем этапе найденным блокам сопоставляются фрагменты высокого разрешения, сгенерированные нейронной сетью. После того как все блоки найдены, составляется сеть Маркова. В узлах сети лежат блоки низкого и высокого качества. Выбор единственного блока происходит на основании статистических связей между блоками низкого и высокого разрешения. Также необходимо учитывать связь между блоками высокого разрешения. Эту связь необходимо учитывать для обеспечения верного совмещения границ соседних участков изображения. Выбранный единственный блок служит для увеличения разрешения изображения. Процесс повторяется до тех пор, пока не будет произведена замена все блоков изображения. Получена оценка эффективности решения поставленных задач и исследование эффективности разработанных методов в сравнении с известными методами на тестовых базовых данных. В качестве проверки эффективности обработки предложенными методами использовались следующие наиболее часто используемые критерии: среднеквадратическая ошибка, отношение сигнал/шум, пиковое отношение сигнал/шум, интегральное отношение сигнал/шум, предложенные критерии, а также вероятностные оценки. Проведены исследования с использованием системного подхода в обработке изображений для оценки качества обработки двумерных сигналов на основе комплексных критериев, который включает показатели адекватности, объема вычислений и функциональной устойчивости. Достоверность предлагаемых методов будет подтверждена как теоретически, так и на основе имитационного моделирования и обработки реальных видеосигналов. На основе анализа системного критерия разработаны рекомендации по увеличению быстродействия разработанных алгоритмов. Рассмотрены следующие подходы: оптимизация алгоритмов, использование параллельных вычислителей.

Полученные результаты с описанием методов и подходов, использованных при реализации проекта

Научным коллективом в ходе реализации проекта получены результаты в области анализа видеоданных низкого качества в интеллектуальных системах видеонаблюдения:

1) Разработана математическая модель процесса объединения изображений, получаемых с различных камер фиксации, учитывающей разнесение в расположении чувствительных фиксирующих матриц, разницы в их физическом размере, различие в размерах получаемых кадров, типов и фокусных чисел применяемых объективов, положения объектов в окружающем пространстве.

Для реализации теоретических аспектов выполнения проекта, а также исследования эффективности разрабатываемых методов и алгоритмов разработана математическая модель комплексирования многоспектральных видеоданных, получаемых с различных камер фиксации, учитывающая разнесение в расположении чувствительных фиксирующих матриц, различный физический размер, различное разрешение, различные типы и фокусные числа, применяемых объективов. Объединение изображений основано на основе параметризованной модели логарифмической обработки изображений. Наиболее важным преимуществом совместного использования сенсоров различной модальности (например цвет, глубина, температура) является взаимодополняющий характер различных модальностей, которые обеспечивают информацию о различных свойствах объектов и наблюдаемой сцены. Взаимодополняемость информации, получаемой различными способами, позволяет повысить надежность и устойчивость распознавания, обеспечивает построение более информативного дескриптора. За основу модели комплексирования изображений используется технология похожая на систему видения человека. Поскольку зрительная система человека обрабатывает свет логарифмически, то передаваемые изображения предлагается так же объединять по логарифмическим законам. Традиционно при обработке изображений используются линейные операции для манипуляций над изображениями, но поскольку компьютерная арифметика по своей сути является нелинейным процессом, могут возникнуть проблемы с точностью. Например, когда интенсивности пикселей лежат вне диапазона [0, M), они обрезаются, вызывая потерю информации. Линейные операции обычно не дают результатов, соответствующих физическим явлениям. Логарифмическая обработка изображений (ЛОИ) заменяет линейную арифметику (сложение, вычитание и умножение) нелинейной, что более точно характеризует нелинейность компьютерной арифметики изображений. Модель ЛОИ согласуется с унифицированной моделью зрения и удовлетворяет закону Вебера, а именно: интенсивность ощущения чего-либо прямо пропорциональна логарифму интенсивности раздражителя, и характеристикам насыщенности зрительной системы человека. Модель логарифмической обработки изображений основана на следующей арифметике компьютерных изображений: оператор сложения модели логарифмической обработки изображений; оператор логарифмического вычитания; логарифмическое умножение; логическое комбинирование функций изображений и максимальных значений интенсивности изображений. Классическая модель логарифмической обработки изображений успешно используется для улучшения изображения, обнаружения краев и восстановления изображений, но нелинейные арифметические операции также имеют несколько ограничений, например, когда два визуально «хороших» изображения складываются вместе, выходное изображение может не сохранять свои репрезентативные свойства, с точки зрения общей яркости, неестественно становясь слишком темными или слишком яркими. В связи с этим разработана параметризованная модель логарифмической обработки изображений (ПЛОИ), которая позволяет минимизировать указанные недостатки, и которая может быть использоваться для слияния изображений видимого спектра, температурного поля и изображений глубины.

2) Разработана модель представления видеоданных формата RGB в системе гиперкомплексных чисел кватернионов.

Обычно методы обработки цветного изображения или видеопоследовательности основаны на раздельной обработке каждой цветовой компоненты (красный, зеленый и синий), что не позволяет учитывать внутреннюю корреляцию между цветовыми компонентами и приводит к цветовым артефактам. Кроме того, шум, который может существовать в цветном изображении, может быть не коррелирован по каналам. В проекте предлагается новая модель для представления цветных изображений в пространстве кватернионов, которые представляют из себя систему гиперкомплексных чисел, образующих векторное пространство размерностью четыре над полем вещественных чисел. В случае представления цветного изображения каждый из трех мнимых слагаемых заменяется каналом цвета. При этом, при вычислении базовых операций учитывается свойство некоммутативности произведения кватернионов.

3) Разработаны методы и алгоритмы комплексирования многоспектральных видеоданных.

В рамках решения задачи построения метода комплексирования данных сенсоров видимого диапазона света с данными, полученными с датчиков различной физической природы разработан подход на основе классификации объединенных наборов признаков, формируемых по совокупности признаков, выделяемых в ходе анализа изображений разных каналов. В качестве признаков видеопоследовательности рассмотрен частотный спектр, который вычисляется с помощью трехмерного дискретного преобразования Фурье (ДПФ) для трехмерных фильтров Габора в пространстве гиперкомплексных чисел, отличающихся ориентацией и центральными частотами, эффективно извлекает информацию о движении в видеоклипе, объединяя информацию о форме объектов сцены и структуре движения. Путем свертки частотного спектра с определенной ориентацией фильтра Габора и применения обратного преобразования Фурье, извлекаются компоненты сцены и движения. Для того чтобы отразить различные характеристики движений в сцене, применяется банк фильтров Габора в пространстве гиперкомплексных чисел, составляющие которого отличаются ориентацией и масштабом. В результате для каждого фильтра, из банка трехмерных фильтров Габора, получается вектор функции, который представляет отдельный клип, характеризующий определенное направление действий. Результирующий массив имеет размерность 4 (ширина кадра × высота кадра × колличество кадров × количество фильтров). После сокращения размерности массив сохраняет в себе пространственную информацию, как ответ на каждый фильтр.

4) Разработаны методы первичной обработки с использованием нейронных сетей глубокого обучения для решения задачи повышения контраста и детализации видеоданных в темное время суток и при плохих погодных условиях (пасмурно, туманно, осадки в виде снега и дождя).

Для решения задачи повышения контраста и детализации видеоданных в темное время суток и при плохих погодных условиях (пасмурно, туманно, осадки в виде снега и дождя) предлагается метод объединении локальной и глобальной обработки в частотной области. Предлагается использовать метод нелинейного усиления частотных коэффициентов в области 3-D на каждом непересекающемся блоке в скользящем окне с разными размерами (8×8, 16×16, 32×32 и т.д.). Данный подход заключается в поиске похожих блоков с различными масштабами и дальнейшей нелинейным изменением коэффициентов Фурье в пространстве 3-D. Такой подход позволяет учитывать различные масштабы изображений и повышать качество и детализацию как на локальных блоках с небольшими текстурированными объектами, так и на больших однородных участках изображений, что позволяет равномерно корректировать контрастность на всем изображении.

В рамках данного подхода, рассматривается полная модель представления и обработки цветных изображений в алгебре кватернионов. Компоненты цветного изображения представляются в виде кватерниона с полем действительных чисел, и трех мнимых компонент. Каждый пиксель цветного изображения рассматривается как чистый кватернион с нулевой действительной частью. Алгоритм улучшения так же содержит этап декомпозиции структуры-текстуры с использованием схемы минимизации полной вариации. Общая идея разложения изображения на структуру и текстуру заключается в использовании модели Meyer’s. Локальная обработка используется для изображения текстуры с размером блока 8×8 и 16×16. Для изображения структуры используется глобальная обработка. Для каждого фрагмента изображения используется метод улучшения частотной области, основанный на преобразовании опорного блока. В предлагаемом подходе применяется дискретное преобразование Фурье гиперкомплексных чисел (2-D QDFT). Для каждого блока используется алгоритм улучшения на основе преобразования, основанном на методах α-rooting. На следующем этапе выполняется преобразование изображения, которое необходимо улучшить. Затем манипулируем коэффициентом преобразования и выполняется обратное ортогональное преобразование. Также используется этап оптимизации для выбора наилучшего (оптимального) улучшенного изображения посредством оптимизации меры улучшения цветного изображения (EMEC), который основан на вычисления локальной энтропии внутри блока. EMEC вычисляются для каждого улучшенного изображения, рассчитанного для разных размеров блока. Значения EMEC используются в качестве весовых коэффициентов для оценки полученного улучшенного изображения.

5) Разработаны методы первичной обработки с использованием нейронных сетей глубокого обучения для решения задачи фильтрации видеоданных в темное время суток и при плохих погодных условиях (пасмурно, туманно, осадки в виде снега и дождя).

Методы и алгоритмы первичной обработки видеоданных основаны на адаптивной обработке с нелинейным решающим правилом агрегирования среди множества оценок сигнала (BM3D, P-BM3D). Как правило, на однородных областях изображений шумоподавление является более эффективным, чем на детализированных регионах. Таким образом, качество изображения может быть снижено за счет чрезмерного сглаживания мелких деталей и текстуры, но детали и сохранение текстурных особенностей играют более важную роль для человеческого восприятия. Это также справедливо для многих задач автоматического анализа изображений и распознавания объектов, где качество результата сильно зависит от уровня сохранения мелких деталей и текстуры в отфильтрованных изображениях. За основу взят фильтр BM3D, для которого можно контролировать степень подавления шума путем изменения порогового значения. Хорошее подавление шума и сохранение информации обеспечивается с помощью стандартных фильтрационных настроек, когда пороговое значение устанавливается 2,7σ (шум представляет собой нулевой гауссовкий шум с дисперсией σ2), назовем фильтр с такими параметрами S-BM3D. Возможно более эффективное сохранение информации, но качество фильтрации может быть ухудшено, в этом случае используется более низкое пороговое значение 2σ - P-BM3D. Идея предлагаемой модификации заключается в разработке нейронной сети для эффективного по-пиксельного выбора порога фильтрации. Т.е. выход предлагаемого пространственно-адаптивного фильтра, назовем его A-BM3D, будет представлять собой линейную комбинацию выходов BM3D с различными фильтрационными настройками (S-BM3D и P-BM3D). В качестве входа нейронной сети вычисляются по пиксельные особенности зашумленного изображения. Выход фильтра для заданного пикселя вычисляется как взвешенная по пикселям сумма выходов S-BM3D и P-BM3D фильтров. В данном методе используется нейронная сеть с 9 входами и одним выходом. В качестве входов нейронной сети используется 9 функций рассчитанных для каждого пикселя изображения с индексом (i,j), которые и формировали 9 карт особенностей, полученных с использование зашумленного изображения и выходов фильтров S-BM3D и P-BM3D для 180000 пикселей. Пиксели были выбраны случайным образом из 100 изображений, различных баз данных. К выбранным изображениям был добавлен нулевой средний гауссовский белый шум со следующими значениями дисперсии σ (5, 10 и 20). Представленная модификация чередует переключения между двумя профилями фильтра BM3D, используя специально разработанную нейронную сеть, выход которой рассчитывается для каждого пикселя отфильтрованного изображения.

6) Разработаны методы реконструкции видеоданных для удаления артефактов, вызванных осадками в виде дождя и снега.

Разработан метод обнаружения артефактов, вызванных осадками в виде дождя и снега. Первая часть предлагаемого решения включает преобразование изображения из цветового пространства RGB в цветовое пространство HSV путем применения линейного преобразования. Осадки в виде снега и дождя как правило имеют более высокую яркость, поэтому выбрана S-компонента в модели HSV для обнаружения больших областей осадков и небольших бликов высокой интенсивности. Этот атрибут цвета был использован потому, что блики характеризуются локальным совпадением интенсивной яркости и ненасыщенного цвета. Изображение насыщенности показывает меньше ложных срабатываний для пикселей с осадками, чем другие компоненты. На следующем шаге предлагаемый подход использует адаптивную пороговую обработку для изображений и видеосигналов в пространстве кватернионов. Разработаны методы и алгоритмы реконструкции видеоданных для удаления артефактов, вызванных осадками в виде дождя и снега. Для реконструкции пикселей будет использована комбинации полносверночной глубокой нейронной сети U-образной формы с прямыми связями и методология GAN для изображений в пространстве кватернионов. Построение иерархических дескрипторных описаний, адекватных задаче позволяет значительно упростить итоговое решение. Задача реконструкции изображений рассматривается как задача регрессии. На вход сети поступает тензор значений размера 128x128x128. Для улучшения стабильности и сходимости нейронной сети используется метод пакетной нормализации. В качестве метода регуляризации, вносящего дополнительные ограничения на структуру сети, и предотвращающего переобучения используется метод Dropout. В качестве функций активации в кодирующих слоях сети используется LeakyRELU, в декодирующих – RELU. Выбор обусловлен наличием прямых связей между кодирующей и декодирующей частями генератора. В слоях используются сверточные ядра размера 3x3x3. Выбор обусловлен тем, что это минимальный размер фильтра, при котором обеспечивается работа со всеми пространственными направлениями. Использование методологии GAN подразумевает одновременное обучение двух сетей: генератора (G) и дискриминатора (D). Задача дискриминатора состоит в том, чтобы определить – получен ли заданный экземпляр данных из обучающей выборки или сгенерирован сетью-генератором. Генератор и дискриминатор обучаются отдельно, но в рамках одной сети. В качестве алгоритма оптимизации целевой функции используется Adam.

7) Разработаны методы повышения разрешения видеоданных с использованием нейронных сетей глубокого обучения.

Разработан метод повышения разрешения видеоданных с использованием нейронных сетей глубокого обучения. Процесс повышения разрешения изображения начинается с поиска похожих блоков. С этой целью используется сеть Маркова. Для каждого блока производится поиск 16 наиболее похожих блоков из базы данных с низким разрешением. На следующем этапе найденным блокам сопоставляются фрагменты высокого разрешения, сгенерированные нейронной сетью. После того как все блоки найдены, составляется сеть Маркова. В узлах сети лежат блоки низкого и высокого качества. Выбор единственного блока происходит на основании статистических связей между блоками низкого и высокого разрешения. Также необходимо учитывать связь между блоками высокого разрешения. Эту связь необходимо учитывать для обеспечения верного совмещения границ соседних участков изображения. Выбранный единственный блок служит для увеличения разрешения изображения. Процесс повторяется до тех пор, пока не будет произведена замена все блоков изображения.

8) Получена оценка эффективности решения поставленных задач и исследование эффективности разработанных методов.

Получена оценка эффективности решения поставленных задач и исследование эффективности разработанных методов в сравнении с известными методами на тестовых базовых данных. В качестве проверки эффективности обработки предложенными методами использовались следующие наиболее часто используемые критерии: среднеквадратическая ошибка, отношение сигнал/шум, пиковое отношение сигнал/шум, интегральное отношение сигнал/шум, предложенные критерии, а также вероятностные оценки. Проведены исследования с использованием системного подхода в обработке изображений для оценки качества обработки двумерных сигналов на основе комплексных критериев, который включает показатели адекватности, объема вычислений и функциональной устойчивости. Достоверность предлагаемых методов будет подтверждена как теоретически, так и на основе имитационного моделирования и обработки реальных видеосигналов.

9) Разработаны рекомендации по увеличению быстродействия разработанных алгоритмов: оптимизация алгоритмов, использование параллельных вычислителей.

На основе анализа системного критерия разработаны рекомендации по увеличению быстродействия разработанных алгоритмов. Рассмотрены следующие подходы: оптимизация алгоритмов, использование параллельных вычислителей.

Участие в научных мероприятиях по тематике проекта

1) Международный симпозиум "SPIE Security + Defence", конференция "Artificial Intelligence and Machine Learning in Defense Applications II", (Эдинбург, Великобритания) 21-25 сентября 2020.

Доклад:

- Image enhancement in a quaternion framework for remote sensing applications. (Постер – Онлайн).

2) Международный симпозиум "SPIE Security + Defence", конференция "Counterterrorism, Crime Fighting, Forensics, and Surveillance Technologies IV", (Эдинбург, Великобритания) 21-25 сентября 2020.

Доклад:

- Missing area reconstruction in 3D scene from multi-view satellite images for surveillance applications. (Постер - Онлайн).

3) Международный симпозиум "SPIE Security + Defence", конференция "Electro-Optical and Infrared Systems: Technology and Applications XVII", (Эдинбург, Великобритания) 21-25 сентября 2020.

Доклад:

- Infrared image inpainting using hypercomplex analysis. (Постер - Онлайн).

4) Международный симпозиум "SPIE Optical Engineering + Applications", конференция "Applications of Digital Image Processing XLIII", (Сан-Диего, США) 24 августа-4 сентября 2020.

Доклад:

- Near-infrared image enhancement through multi-scale alpha-rooting processing for remote sensing application. (Постер - Онлайн).

5) Международный симпозиум "SPIE Photonics Europe", конференция "Optics, Photonics and Digital Technologies for Imaging Applications VI", (Страсбург, Франция) 29 марта-2 апреля 2020.

Доклад:

- A two-stream neural network architecture for the detection and analysis of cracks in panel paintings. (Устный - онлайн).

6) XVI международная научно-техническая конференция "Динамика технических систем "ДТС-2020", (Ростов-на-Дону, Россия) 11-13 сентября 2020.

Доклады:

- Многокритериальный метод шумоподавления и упрощения тепловизионных изображени. (Устный).

- Сжатие цифровых изображений на основе метода реконструкции изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети. (Устный).

- Обнаружение трещин на дорожном покрытии на основе глубокого обучения. (Устный).

- Автоматическое обнаружение дефектов сварки с помощью сверточной нейронной сети. (Устный).

- Комбинированное шумоподавление изображений в оптическом и тепловом диапазоне на борту БПЛА. (Устный).

7) Международный симпозиум "SPIE Optical Engineering + Applications", конференция "Applications of Digital Image Processing XLIV", (Сан Диего, США) 21-25 августа 2021.

Доклад:

- Transform-based quality assessment for enhanced image. (Постер – Онлайн).

8) Международная конференция "IEEE International Conference on Image Processing (ICIP)", (Анкоридж, США) 19-22 сентября 2021.

Доклад:

- Low-Rank and Sparse Tensor Representation for Multi-View Subspace Clustering. (Презентация – Онлайн).

Публикации по результатам проекта