Преобразователь сигналов. Преобразователь Шкала-Сигнал. Считывание показаний стрелочного прибора при помощи webкамеры
 Скачать 0.52 Mb.
|
Считывание показаний стрелочного прибора при помощи web-камеры Д.Б. Волегов*, Д.В. Юрин** * Московский физико-технический институт (государственный университет) ** ФГУП НПП ОПТЭКС, dvolegov@rambler.ru yurin_d@inbox.ru Аннотация В работе предлагается программная система для автоматического считывания показаний стрелочного прибора (манометра, вольтметра и т.д.) при помощи web-камеры невысокого разрешения и персонального компьютера. Описывается архитектура системы, предложенные алгоритмы, приводятся результаты тестирования системы на реальных стрелочных приборах. Keywords: стрелочный прибор, автоматизация, совмещение изображений, считывание показаний 1. ВВЕДЕНИЕ В настоящее время системы автоматизации активно внедряются в технологические процессы различных предприятий. Зачастую производственные цехи и управляющие пульты оборудованы разнообразными стрелочными датчиками (манометрами, вольтметрами, термометрами и т.д.), которые позволяют обслуживающему персоналу или оператору следить за состоянием технологического процесса. Часто имеет место ситуация, когда вмешательство в технологический процесс с целью его полноценной автоматизации нежелательно, невозможно или экономически неоправданно, но, тем не менее, дублирование или замена оператора автоматикой необходимы. В настоящей работе предлагается программная система, применимая для описанного выше случая. Система позволяет в реальном времени считывать показания стрелочного прибора при помощи лишь web-камеры невысокого разрешения и персонального компьютера средней вычислительной мощности. Предлагаемые алгоритмы устойчивы к значительным изменениям условий внешнего освещения, различным помехам, заслоняющим шкалу прибора. Точность предложенных алгоритмов такова, что для считывания показаний типичного стрелочного прибора с точностью до цены деления достаточно использовать изображение невысокого (320x240 пикселей) разрешения (при условии, что шкала прибора занимает значительную часть изображения). В разделе 2 рассматривается общая архитектура системы. В разделе 3 предлагаются алгоритмы, используемые в модулях. В разделе 4 приводятся результаты работы предлагаемой системы на реальных стрелочных приборах. 2. АРХИТЕКТУРА СИСТЕМЫ Ниже приведена блок-схема основных процессов и данных системы. Прямоугольниками со сплошными границами обозначены процессы, прямоугольниками со скругленными углами и пунктирными границами обозначены данные. Сплошные стрелки обозначают поток управления, пунктирные стрелки обозначают поток данных. Для работы системы необходимо подготовить изображение B I шкалы прибора без стрелки, называемое в дальнейшем базовое (рис. 1), а также отдельное изображение A I стрелки прибора (рис. 5). В текущей реализации подготовка двух названных изображений производится вручную, но изображения могут быть легко получены по двум изображениям шкалы прибора, на которых положения стрелки различны. Также необходима калибровочная таблица, которая отображает угол отклонения стрелки от заданного положения в значение измеряемой величины. В случае линейной шкалы достаточно указать два значения величины, соответствующие двум различным положениям стрелки прибора. Работа системы состоит из трех основных этапов: • Получение изображения I шкалы прибора при помощи видеокамеры • Вычисление угла отклонение стрелки Получение изображения Вычисление угла отклонения стрелки Преобразование: уголÆзначение Калибровочная таблица Изображение шкалы без стрелки Изображение стрелки Угол отклонения стрелки Текущее изображение шкалы Измеряемое значение Камера • Вычисление значения измеряемой величины по углу отклонения стрелки Далее рассматривается второй этап работы системы, так как именно в нем сосредоточены основные алгоритмы. 2.1 Угол отклонения стрелки Ниже приводится последовательность алгоритмов, из которых состоит этап вычисления угла отклонения стрелки по изображению I (рис. 2) шкалы прибора. Изображения на рис. 4-10 инвертированы из полиграфических соображений. 1. Найти проективное преобразование, переводящее изображение I в базовое B I . Преобразованное изображение обозначается через T I (рис. 3). 2. Определить параметры цветовой коррекции. 3. Вычислить разностное изображение D I между изображением T I и базовым B I (с учетом цветовой коррекции, рис. 4). 4. Вычислить контурное изображение C I (рис. 7) изображения D I 5. Преобразовать C I в полярную систему координат с полюсом в оси вращения стрелки. Преобразованное изображение обозначается через P I , рис. 9. 6. Найти вертикальный сдвиг изображения P I относительно контурного изображения AC I (рис. 8) стрелки в полярных координатах. 7. Преобразовать значение сдвига в угол отклонения стрелки. Совмещение изображений является необходимым этапом, который обеспечивает устойчивость системы к перемещениям камеры. Шкала прибора предполагается плоской, и, следовательно, два изображения шкалы, полученные из разных точек, связаны между собой проективным преобразованием. Методы регистрации изображений делятся на два основных класса: совмещение с использованием характеристических точек (особенностей типа уголков, ярких пятен и т.д.) и совмещение с использованием профиля интенсивности (цвета) изображений. Отметим, что методы из первого класса позволяют совмещать изображения, значительно отличающиеся по масштабу [1]. Однако для их удовлетворительной работы требуется применение многомасштабных детекторов особенностей, что требует достаточно большого времени. Кроме этого, изображение шкалы может обладать высокой степенью симметрии, что не позволит единственным образом совместить изображения. Например, если на рис. 1 детектором особенностей будут найдены только минутные штрихи, то возникнет 60 вариантов, которыми можно совместить изображения. Таким образом, в настоящей работе поиск проективного преобразования, совмещающего изображения, основан на совмещении профиля интенсивности и использует идеи работ [2-4]. Проективное преобразование ищется с использованием Рис. 1. Изображение I B шкалы без стрелки Рис. 2. Изображение I шкалы, полученное камерой Рис. 3. Преобразованное изображение I T шкалы Рис. 4. Изображение I D Рис. 5. Изображение I A стрелки Рис. 6. Контурное изображение стрелки Рис. 7. Контурное изображение I C изображения I D Рис. 8. Изображение I AC (рис. 6 в полярных координатах) Рис. 9. Изображение I P (рис. 7 в полярных координатах) Рис. 10. Свертка изображений I P I AC пирамиды детальности, т.е. начинается с изображений малого разрешения и постепенно выполняется переход к изображениям более высокого разрешения. В [3] авторы делят оба изображения на небольшие области. Центры областей на первом изображении образуют регулярную сетку, центры областей на втором изображении расположены в каждом пикселе. Далее для каждой области на первом изображении выполняется совмещение со всеми областями второго изображения и выбирается та область, для которой ошибка совмещения минимальна. Ошибкой совмещения является интеграл от квадрата разности между областью на первом изображении и преобразованной областью на втором изображении. Совмещение выполняется путем нелинейной минимизации ошибки совмещения. Описанный подход позволяет совместить изображения, отличающиеся значительным проективным преобразованием. Однако, в силу наличия этапа нелинейной минимизации и перебора всевозможных пар областей, подход [3] требует значительного времени, что в рассматриваемой задаче недопустимо. В связи с названным ограничением, и в силу того, что в настоящей работе не требуется поиск слишком больших проективных преобразований, предлагается подход, который не требует перебора всевозможных пар областей. В отличие от [2], [3], предлагаемый алгоритм совмещения работает с цветными изображениями. В текущей реализации отношение размеров изображений на смежных уровнях детальности равно 2. Использование пирамиды детальности расширяет область применимости алгоритма [2]. Отметим, что рассматриваемый алгоритм регистрации изображений сводится к нелинейной минимизации и находит ближайший локальный минимум некоторой функции. Это может представлять проблему в случае считывания показаний прибора со шкалой, близкой к центрально-симметричной (рис. 1). Одним из способов решения названной проблемы является глобальный поиск проективного преобразования для изображений самого грубого разрешения путем перебора точек в пространстве параметров, задающих проективное преобразование. Детали алгоритма совмещения изображений рассматриваются в подразделе 3.1. После совмещения изображений следует поиск параметров цветовой коррекции. Цветовая коррекция необходима для устойчивости системы к изменениям условий внешнего освещения. В текущей реализации цветовая коррекция состоит в применении к цветовым каналам изображения I аффинных преобразований. Детали алгоритма поиска цветовой коррекции приводятся в подразделе 3.2. Вычисление контурного изображения C I (рис. 7) из цветного D I выполняется алгоритмом [5] поиска краев на изображении с несколькими спектральными каналами. Использование детектора краев, рассчитанного на цветное изображение, улучшает качество контурного изображения. Далее следует преобразование изображения C I в полярную систему координат при помощи билинейной интерполяции (рис. 9). Интенсивность изображения P I умножается на r , где r - расстояние от полюса до соответствующей точки на изображении C I (на рис. 7 r - это расстояние от центра изображения, на рис. 9 r - это расстояние от левого края изображения). Это необходимо для того, чтобы на следующих этапах вклад каждой области изображения был пропорционален ее площади на изображении C I , а не на P I Далее следует поиск вертикального сдвига изображения P I относительно контурного изображения AC I (рис. 8) стрелки в полярных координатах. Отметим, что изображения P I , AC I являются циклическими: нижняя граница переходит в верхнюю. Алгоритм совмещения основан на вычислении свертки столбцов изображений P I , AC I в спектральной области (рис. 10). Свертка вычисляется при помощи преобразования Хартли [6]. В отличие от преобразования Фурье преобразование Хартли является действительным, а не комплексным, и, как следствие, вдвое уменьшается объем обрабатываемых данных. Применение преобразования Хартли вместо преобразования Фурье уменьшает время работы алгоритма совмещения в 3-5 раз. Далее свертка (рис. 10) интегрируется по строкам и ищется максимум, из которого вычисляется угол отклонения стрелки. Вычисление корреляции с использованием преобразования Хартли рассматривается в разделе 3.3. 3. АЛГОРИТМЫ 3.1 Совмещение изображений Имеется пара изображений, которые требуется совместить. В контексте задачи совмещения первым изображением является B I , а вторым I . Строятся две пирамиды детальности (ПД) - для каждого изображения. Пирамида строится путем сглаживания изображения на предыдущем уровне и выбором точек с шагом более одного пикселя при помощи билинейной интерполяции. Полуширина σ функции Гаусса связана с отношением ) 1 ( > k k размеров изображений пирамиды на соседних уровнях: π σ k 2 = (1) Такой выбор, с одной стороны, оставляет в сглаженном изображении только те частоты, которые будет содержать уменьшенное изображение, а с другой стороны, не приводит к потере деталей. Поиск проективного преобразования начинается с изображений в вершинах пирамид. При переходе к следующему уровню более детального разрешения, изображение в пирамиде преобразуется согласно найденному преобразованию для текущего уровня, таким образом, на следующем уровне ищется только уточнение преобразования. Ниже приводятся основные формулы и алгоритм совмещений изображений. Рассматривается пара изображений ) ( 1 x G I , ) ( 2 x G I , x G - двумерный вектор координат точки изображения. Ищется проективное преобразование P , переводящее первое изображение во второе. Пусть ) , ( P x d G G обозначает сдвиг точки x G изображения ) ( 1 x G I при применении преобразования P . Пусть x G обозначает вектор однородных координат точки изображения: T T ) 1 ( x x G G = (2) Тогда ) , ( P x d G G имеет следующий вид: x P u G G = (3) x P x d G G G − = 3 2 1 ) ( ) , ( u u u T (4) В силу (4) матрица P определена лишь с точностью до числового множителя. Элемент 33 P матрицы P полагается равным единице. Пусть ) (P P ε обозначает интеграл от квадрата разности второго и преобразованного первого изображений: ∫ − + = x x P x ( d x P G G G G G d I I P 2 2 1 )) ( )) , ( ( ) ( ε (5) Далее используется обозначение: ) , P x ( d x y G G G G + = (6) Вводится вектор p G состоящий из компонент матрицы P в записи по столбцам за исключением элемента 33 P : T P P P P P P P P ) ( 23 13 32 22 12 31 21 11 = p G (7) Требуется найти такое преобразование P , для которого ) (P P ε достигает минимума: 0 ) ( )) ( ) ( ( 2 1 2 1 = ∂ ∂ ∂ ∂ − = ∂ ∂ ∫ x p y y y x y p G G G G G G G G d I I I P ε (8) Ниже используются обозначения: p P x ( d p y Y y y g G G G G G G G G ∂ ∂ = ∂ ∂ ≡ ∂ ∂ ≡ ) , , ) ( 1 I T (9) Матрица Y имеет размеры 8 2 × В предположении сглаженности ) ( 1 x G I , малого отличия x G от y G с точностью до членов первого порядка получается: ) ( ) ( x g y g G G G G = ) , ( ) ( ) ( 1 1 x y g x y G G G G G − + = I I (10) p Y x y G G G = − (11) Используя (10), (11) уравнение (8) переписывается в виде: 0 ) ) ( ) ( ( 2 1 = + − ∫ x Y g p Y g x x G G G G G G d I I T T (12) Из (12) получается система относительно p G : b p A G G = (13) , ∫ = x Y g g Y A G G G d T T (14) ∫ − = x g Y x x b G G G G G d I I T )) ( ) ( ( 1 2 (15) Ниже приводятся выкладки для вычисления матрицы Y Используя (9), (4): 2 , 1 3 3 3 , 1 ) , = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ∂ ∂ − ∂ ∂ = ∂ ∂ k ij k ij k ij k P u u u P u u P d P x ( G (16) 3 , 2 , 1 , = = ∂ ∂ k j ki ij k x P u δ (17) В (17) ki δ есть символ Кронекера: ⎩ ⎨ ⎧ ≠ = = i k i k ki , 0 , 1 δ (18) Используя (7), (16), (17) матрица Y записывается в виде: ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ = 23 13 32 22 12 31 21 11 P P P P P P P P d d d d d d d d Y G G G G G G G G (19) Обобщение предложенного алгоритма для совмещения цветных изображений тривиально: нужно в (14), (15) производить суммирование по всем цветовым плоскостям изображения: , 3 1 ∫ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = = x Y g g Y A G G G d i T i i T (20) ∫ ∑ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − = = x g x x Y b G G G G G d I I i i i i T 3 1 , 1 , 2 )) ( ) ( ( (21) В (20), (21) ) ( , 1 x G i I , ) ( , 2 x G i I - интенсивность цветовой компоненты в точке x G первого и второго изображений соответственно, i g G - градиент цветовой компоненты первого изображения. Алгоритм 1 (Совмещение изображений). 1. Выбрать пару изображений в вершинах пирамиды детальности. 2. Вычислить производные первого изображения путем свертки с производными Гаусса. 3. Составить матрицу A системы (20). 4. Составить правую часть b G (21) и решить систему (13). 5. Преобразовать второе изображение согласно обращенному преобразованию P . Это исключает необходимость пересчета A на каждой итерации. 6. Если P таково, что каждый пиксель сдвигается не более чем на заданную величину, то перейти к п.7, иначе перейти к п.4. 7. Если достигнуто основание пирамиды, то выход. Иначе, выбрать пару изображений на следующем уровне детальности, преобразовать второе изображение согласно обращенному преобразованию P 8. Перейти к п.2. Отметим, что так как базовое изображение известно заранее, то его пирамида детальности и производные также могут быть вычислены заранее. 3.2 Поиск параметров цветовой коррекции Пусть ) ( 1 x G I , ) ( 2 x G I - пара изображений. В контексте задачи поиска параметров цветовой коррекции первым изображением является B I , а вторым T I (см. подраздел 2.1). Пусть ) (c c ε обозначает интеграл от квадрата разности второго изображения и первого, к которому применена цветовая коррекция: ∫∑ = − + = x x x β α G G G G G d I I i i i i i c 3 1 2 , 1 , 2 )) ( ) ( ( ) , ( β α ε (22) Требуется найти такие α G , β G , для которого ) , ( β α G G c ε достигает минимума: 0 ) ( )) ( ) ( ( 2 ) , ( , 2 , 1 , 2 = − + = ∂ ∂ ∫ x x x x β α G G G G G G d I I a I i i i i i i c β α ε (23) 0 )) ( ) ( ( 2 ) , ( , 1 , 2 = − + = ∂ ∂ ∫ x x x β α G G G G G d I a I i i i i i c β β ε (24) Из (23), (24) получаются три линейные системы уравнений 2 2 × относительно i α , i β : x x x x x G G G G G d I I I d I I I i i i i i i i i ∫ ∫ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ , 1 , 2 , 1 , 2 , 2 2 , 2 1 ) ( ) ( ) ( β α (25) Отметим, что в текущей реализации поиск проективного преобразования и параметров цветовой коррекции происходит одновременно. Это делает алгоритм более устойчивым к значительным изменениям условий внешнего освещения. Алгоритм 2 (Совмещение изображений и поиск параметров цветовой коррекции). 1. Выполнить п.1 алгоритма 1. 2. Выполнить п.п. 2-7 алгоритма 1. 3. Найти параметры цветовой коррекции α G , β G из (25). 4. Преобразовать второе изображение согласно параметрам цветовой коррекции: i i i i a I I β + → , 2 , 2 (26) 5. перейти к п. 2. 3.3 Вычисление свертки при помощи преобразования Хартли Преобразование Хартли одномерной функции ) (x f вычисляется по формуле [6]: dx x x x f h ∫ + = )) 2 sin( ) 2 )(cos( ( ) ( ξ π ξ π ξ (27) Прямое и обратное преобразования Хартли совпадают: ξ ξ π ξ π ξ d x x h x f ∫ + = )) 2 sin( ) 2 )(cos( ( ) ( (28) Пусть ) ( 1 x f , ) ( 2 x f пара функций одной переменной и ) ( 1 ξ h , ) ( 2 ξ h их преобразования Хартли. Свертка функций ) ( 1 x f , ) ( 2 x f записывается в виде: dt t f t x f x f f x c ∫ − = ∗ = ) ( ) ( ) )( ( ) ( 2 1 2 1 (29) Согласно [6] преобразование Хартли ) ( ξ d свертки (29) может быть вычислено по формуле: )) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ( 2 1 ) ( 2 1 2 1 2 1 2 1 ξ ξ ξ ξ ξ ξ ξ ξ ξ − − − − + + − + = h h h h h h h h d (30) Алгоритм 3 (Вычисление свертки через преобразование Хартли). 1. Вычислить преобразования Хартли ) ( 1 ξ h , ) ( 2 ξ h функций ) ( 1 x f , ) ( 2 x f согласно (27). В рассматриваемом контексте функциями являются столбцы изображений P I , AC I 2. Вычислить преобразование Хартли ) ( ξ d свертки функций ) ( 1 x f , ) ( 2 x f согласно (30) 3. Вычислить обратное преобразование Хартли функции ) ( ξ d согласно (28) В [6] приводится алгоритм быстрого вычисления преобразования Хартли, аналогичный алгоритму вычисления быстрого преобразования Фурье. 4. РЕЗУЛЬТАТЫ Для тестирования разработанной программной системы была собрана экспериментальная установка, состоящая из веб- камеры и расположенных перед ней двух стрелочных приборов: часов и мультиметра (рис. 11). Видео-ролики, демонстрирующие процесс измерения доступны по адресам: http://www.youtube.com/watch?v=0EL1O8W6neA http://www.youtube.com/watch?v=vqpwKx03-no Положение стрелки может быть вычислено с точностью не менее одного пикселя. Время получения одного измерения (включая получение изображения с видеокамеры и все стадии обработки изображения) для изображения 320x240 пикселей на ноутбуке с процессором AMD-Athlon и частотой 1,6 ГГц составляет около одной секунды. Видео-ролики, демонстрирующие точность и стабильность работы системы, доступны по адресам: http://www.youtube.com/watch?v=PzPQ18IhAq4 http://www.youtube.com/watch?v=V9hby97QqcE Рис. 11. Экспериментальная установка. Видео-ролик с демонстрацией установки доступен по адресу: http://www.youtube.com/watch?v=8-94mTwKiq8 5. ЗАКЛЮЧЕНИЕ В настоящей работе предложена программная система и ряд алгоритмов для считывания показаний стрелочного прибора при помощи недорогой веб-камеры и персонального компьютера средней вычислительной мощности. Разработанная система может иметь ряд применений на предприятиях, для которых вмешательство в технологический процесс с целью автоматизации является нежелательным, но дублирование оператора, наблюдающего за состоянием процесса, является необходимым. Одним из дальнейших направлений развития системы является применение одной камеры для считывания показаний нескольких приборов. Для проведения детального тестирования разработанных алгоритмов планируется автоматизировать процесс управления стрелочным прибором (компьютер задает показания стрелочного прибора, считывает показания при помощи камеры и сравнивает считанное и истинное значения) и разработать программный модуль эмулирования изменения внешних условий (освещение, вибрации, сдвиг камеры и т.д.). 6. БЛАГОДАРНОСТИ Работа выполнена при поддержке фонда "Научный потенциал" (“Human Capital Foundation”), грантов РФФИ 06- 01-00789-а, 08-07-00399-а. 7. СПИСОК ЛИТЕРАТУРЫ [1] Y. Dufournaud, C. Schmid, and R. P. Horaud, “Matching images with different resolutions” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Island, South Carolina, USA. IEEE Computer Society Press, June 2000, pp. 612–618. Online: http://perception.inrialpes.fr/Publications/2000/DSH00a [2] Jianbo Shi and Carlo Tomasi, Good features to track, IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94) (Seattle), June 1994. [3] Zokai, S.and Wolberg, G, “Image registration using log-polar mappings for recovery of large-scale similarity and projective transformations”, IEEE Transactions on Volume 14, Issue 10, Oct. 2005 Page(s): 1422 – 1434 [4] Volegov D.B., Yurin D.V. “Finding disparity map via image pyramid”. // In Conference Proceedings. 17-th International Conference on Computer Graphics and Application GraphiCon'2007 June 23 - 27, 2007 Moscow State University, Russia [5] Di Zenzo S. A note on the gradient of multi-image // Comput. Vision Graphics Image Process. 1986. V. 33. P. 116-125. [6] Брэйсуэлл Р., “Преобразование Хартли. Теория и приложения”, Москва "Мир", 1990, ISBN 5-03-001632-5 Об авторах Волегов Дмитрий Борисович – аспирант ФОПФ МФТИ. E-mail: dvolegov@rambler.ru Юрин Дмитрий Владимирович - к.ф.-м.н., ФГУП НПП ОПТЭКС, главный специалист E-mail: yurin_d@inbox.ru Reading pointer-indicator via web- camera Abstract A framework is a proposed for reading a pointer-indicator via a low-resolution web-camera and a PC in real-time. The system architecture, the algorithms are discussed and the results of testing of the system for the real devices are shown. Keywords: reading pointer-indicator, automation, image registration About the authors Dmitry B. Volegov is a Ph.D. student at Moscow Institute of Physics and Technology. E-mail: dvolegov@rambler.ru Dmitry V. Yurin, PhD, is a chief specialist of FGUP RPE OPTECS E-mail: yurin_d@inbox.ru |