Обнаружение края - Edge detection

Обнаружение краев включает в себя множество математических методов, направленных на определение краев , кривых в цифровом изображении, на которых яркость изображения резко изменяется или, более формально, имеет неоднородности . Та же проблема обнаружения разрывов в одномерных сигналах известна как обнаружение ступенек, а проблема обнаружения разрывов сигнала во времени известна как обнаружение изменений . Обнаружение краев - это фундаментальный инструмент в обработке изображений , машинном зрении и компьютерном зрении , особенно в областях обнаружения и выделения признаков .

Мотивации

Обнаружение резких краев, примененное к фотографии

Цель обнаружения резких изменений яркости изображения - зафиксировать важные события и изменения свойств мира. Можно показать, что при довольно общих предположениях для модели формирования изображения неоднородности яркости изображения, вероятно, будут соответствовать:

  • разрывы по глубине,
  • неоднородности ориентации поверхности,
  • изменения свойств материала и
  • вариации освещения сцены.

В идеальном случае результат применения детектора края к изображению может привести к набору связанных кривых, которые указывают границы объектов, границы маркировки поверхности, а также кривые, которые соответствуют неоднородностям ориентации поверхности. Таким образом, применение алгоритма обнаружения краев к изображению может значительно уменьшить объем данных, которые должны быть обработаны, и, следовательно, может отфильтровать информацию, которая может считаться менее актуальной, при сохранении важных структурных свойств изображения. Таким образом, если этап обнаружения краев успешен, последующая задача интерпретации информационного содержания в исходном изображении может быть существенно упрощена. Однако не всегда удается получить такие идеальные края из реальных изображений средней сложности.

Края, извлеченные из нетривиальных изображений, часто страдают из-за фрагментации , что означает, что краевые кривые не соединены, отсутствуют краевые сегменты, а также ложные края, не соответствующие интересным явлениям на изображении, что усложняет последующую задачу интерпретации данных изображения.

Обнаружение краев - один из основных этапов обработки изображений, анализа изображений, распознавания образов изображений и методов компьютерного зрения.

Свойства кромки

Края, извлеченные из двухмерного изображения трехмерной сцены, можно классифицировать как зависимые от точки обзора или как независимые от точки обзора. Точка зрения , независимый край , как правило , отражает свойства , присущие трехмерных объектов, такие как поверхность маркировка и форма поверхности. Точка зрения зависит от кромки может изменяться по мере изменения точки обзора, и обычно отражает геометрию сцены, например объекты окклюзии друг друга.

Типичным краем может быть, например, граница между блоком красного цвета и блоком желтого цвета. Напротив, линия (которую можно выделить с помощью детектора гребня ) может представлять собой небольшое количество пикселей разного цвета на неизменном фоне. Поэтому для линии обычно может быть по одному краю с каждой стороны линии.

Простая краевая модель

Хотя в определенной литературе рассматривается обнаружение идеальных краев ступенек, края, полученные из естественных изображений, обычно вовсе не являются идеальными краями ступенек. Вместо этого они обычно подвержены одному или нескольким из следующих эффектов:

Ряд исследователей использовали сглаженный по Гауссу край ступени (функция ошибок) как простейшее расширение модели идеального края ступени для моделирования эффектов размытия края в практических приложениях. Таким образом, одномерное изображение , у которого есть ровно один край, можно смоделировать как:

Слева от края интенсивность равна , а справа от края . Параметр масштаба называется масштабом размытия края. В идеале этот масштабный параметр следует настраивать в зависимости от качества изображения, чтобы избежать искажения истинных краев изображения.

Почему это нетривиальная задача

Чтобы проиллюстрировать, почему обнаружение краев является нетривиальной задачей, рассмотрим проблему обнаружения краев в следующем одномерном сигнале. Здесь мы можем интуитивно сказать, что должна быть граница между 4-м и 5-м пикселями.

5 7 6 4 152 148 149

Если бы разница в яркости была меньше между 4-м и 5-м пикселями и если бы разница в интенсивности между соседними соседними пикселями была выше, было бы не так просто сказать, что в соответствующей области должен быть край. Более того, можно утверждать, что в этом случае имеется несколько ребер.

5 7 6 41 год 113 148 149

Следовательно, твердо установить конкретный порог того, насколько большим должно быть изменение интенсивности между двумя соседними пикселями, чтобы мы могли сказать, что между этими пикселями должен быть край, не всегда просто. Действительно, это одна из причин, по которой обнаружение краев может быть нетривиальной проблемой, если только объекты в сцене не являются особенно простыми, а условия освещения можно хорошо контролировать (см., Например, края, извлеченные из изображения с девушкой выше. ).

Подходы

Существует множество методов обнаружения границ, но большинство из них можно сгруппировать в две категории: на основе поиска и на основе пересечения нуля . Методы, основанные на поиске, обнаруживают края, сначала вычисляя меру силы края, обычно выражение производной первого порядка, такое как величина градиента, а затем осуществляя поиск локальных направленных максимумов величины градиента с использованием вычисленной оценки локальной ориентации край, обычно направление градиента. Методы, основанные на переходе через нуль, ищут переходы через нуль в выражении производной второго порядка, вычисленном из изображения, чтобы найти края, обычно переходы через нуль лапласиана или переходы через ноль нелинейного дифференциального выражения. В качестве этапа предварительной обработки для обнаружения границ почти всегда применяется этап сглаживания, обычно сглаживание по Гауссу (см. Также уменьшение шума ).

Опубликованные методы обнаружения краев в основном различаются типами применяемых сглаживающих фильтров и способом вычисления показателей силы края. Поскольку многие методы обнаружения краев полагаются на вычисление градиентов изображения, они также различаются типами фильтров, используемых для вычисления оценок градиента в x- и y- направлениях.

Обзор ряда различных методов обнаружения краев можно найти в (Ziou and Tabbone 1998); см. также статьи энциклопедии об обнаружении краев в Энциклопедии математики и Энциклопедии компьютерных наук и инженерии.

Canny

Джон Кэнни рассмотрел математическую проблему получения оптимального сглаживающего фильтра с учетом критериев обнаружения, локализации и минимизации множественных откликов на одно ребро. Он показал, что оптимальный фильтр с учетом этих предположений представляет собой сумму четырех экспоненциальных членов. Он также показал, что этот фильтр может быть хорошо аппроксимирован производными первого порядка от гауссианов. Кэнни также ввел понятие не максимального подавления, что означает, что с учетом фильтров предварительного сглаживания краевые точки определяются как точки, в которых величина градиента принимает локальный максимум в направлении градиента. Поиск пересечения нуля второй производной вдоль направления градиента был впервые предложен Хараликом . Менее чем за два десятилетия потребовалось найти современное геометрическое вариационное значение этого оператора, которое связывает его с детектором границ Марра – Хилдрета (пересечение нуля лапласиана). Это наблюдение было представлено Роном Киммелем и Альфредом Брукштейном .

Хотя его работа была проделана на заре компьютерного зрения, детектор кромок Canny (включая его разновидности) по-прежнему остается передовым детектором кромок. Детекторы фронтов, которые работают лучше, чем Canny, обычно требуют большего времени вычислений или большего количества параметров.

Детектор Кэнни-Дериша был получен на основе тех же математических критериев, что и детектор границ Кэнни, хотя начинался с дискретной точки зрения и затем приводил к набору рекурсивных фильтров для сглаживания изображения вместо экспоненциальных фильтров или фильтров Гаусса.

Дифференциального детектора края описано ниже , можно рассматривать как переформулировке метода Канни в с точки зрения дифференциальных инвариантов , вычисленных из масштаба пространства представления , ведущего к ряду преимуществ с точки зрения теоретического анализа и реализации суб-пикселей. В этом аспекте фильтр Лог Габора оказался хорошим выбором для выделения границ в естественных сценах.

Другие методы первого порядка

Для оценки градиентов изображения из входного изображения или его сглаженной версии могут применяться различные операторы градиента. Самый простой подход - использовать центральные различия:

соответствующий применению следующих масок фильтра к данным изображения:

Известный ранее оператор Собеля основан на следующих фильтрах:

Учитывая такие оценки производных изображения первого порядка , величина градиента затем вычисляется как:

а ориентацию градиента можно оценить как

Другие разностные операторы первого порядка для оценки градиента изображений были предложены в операторе Prewitt , Робертс пересекается , Kayyali оператор и оператор Фрого-Чен .

Можно увеличить размер фильтров, чтобы избежать проблемы распознавания края в изображении с низким отношением сигнал / шум. Стоимость этой операции - потеря разрешения. Примеры: Extended Prewitt 7x7.

Установление порогов и связывание

После того, как мы вычислили меру силы края (обычно величину градиента), следующим этапом является применение порога, чтобы решить, присутствуют ли края в точке изображения или нет. Чем ниже порог, тем больше краев будет обнаружено, и результат будет все более восприимчивым к шуму и обнаружению краев нерелевантных элементов изображения. И наоборот, при высоком пороге могут пропустить тонкие края или привести к фрагментированным краям.

Если край применяется только к изображению с градиентной величиной, результирующие края обычно будут толстыми, и потребуется некоторая постобработка с утонением краев. Однако для краев, обнаруженных не с максимальным подавлением, краевые кривые являются тонкими по определению, и краевые пиксели могут быть связаны в краевой многоугольник с помощью процедуры связывания краев (отслеживания краев). На дискретной сетке этап подавления без максимума может быть реализован путем оценки направления градиента с использованием производных первого порядка, затем округления направления градиента до кратных 45 градусов и, наконец, сравнения значений величины градиента в оцененном градиенте. направление.

Обычно используемый подход для решения проблемы подходящих пороговых значений для пороговой обработки заключается в использовании пороговой обработки с гистерезисом . Этот метод использует несколько пороговых значений для поиска краев. Мы начинаем с использования верхнего порога, чтобы найти начало ребра. Когда у нас есть начальная точка, мы затем отслеживаем путь края через изображение пиксель за пикселем, отмечая край всякий раз, когда мы превышаем нижний порог. Мы перестаем отмечать край только тогда, когда значение опускается ниже нашего нижнего порога. Этот подход делает предположение, что края, вероятно, будут в виде непрерывных кривых, и позволяет нам проследить слабый участок края, который мы видели ранее, не имея в виду, что каждый зашумленный пиксель в изображении отмечен как край. Тем не менее, у нас есть проблема с выбором подходящих параметров пороговой обработки, и подходящие значения пороговых значений могут варьироваться в зависимости от изображения.

Истончение кромок

Истончение краев - это метод, используемый для удаления нежелательных ложных точек на краях изображения. Этот метод используется после того, как изображение было отфильтровано на предмет шума (с использованием медианы, фильтра Гаусса и т. Д.), Был применен оператор края (например, описанные выше, canny или sobel) для обнаружения краев и после того, как края были сглажены. используя соответствующее пороговое значение. Это удаляет все нежелательные точки и, если применяется аккуратно, приводит к краевым элементам толщиной в один пиксель.

Преимущества:

  1. Острые и тонкие края повышают эффективность распознавания объектов.
  2. Если для обнаружения линий и эллипсов используются преобразования Хафа , то прореживание может дать гораздо лучшие результаты.
  3. Если край оказывается границей области, то утончение может легко дать параметры изображения, такие как периметр, без особой алгебры.

Для этого используется множество популярных алгоритмов, один из которых описан ниже:

  1. Выберите тип подключения, например 8, 6 или 4.
  2. 8 предпочтительна возможность подключения , когда учитываются все непосредственные пиксели, окружающие конкретный пиксель.
  3. Удалите точки с севера, юга, востока и запада.
  4. Делайте это за несколько проходов, то есть после северного прохода используйте одно и то же полуобработанное изображение на других проходах и так далее.
  5. Удалите точку, если: у
    точки нет соседей на севере (если вы находитесь на северном проходе, и соответствующие направления для других проходов).
    Дело не в конце линии.
    Дело изолированное.
    Удаление точек никоим образом не приведет к отключению соседей.
  6. Остальное сохраните суть.

Количество проходов в поперечном направлении следует выбирать в соответствии с желаемым уровнем точности.

Подходы второго порядка

Вместо этого некоторые операторы обнаружения края основаны на производных второго порядка интенсивности. По сути, это фиксирует скорость изменения градиента интенсивности. Таким образом, в идеальном непрерывном случае обнаружение переходов через нуль во второй производной фиксирует локальные максимумы градиента.

Ранний оператор Марра – Хильдрета основан на обнаружении переходов через нуль оператора Лапласа, применяемого к сглаженному по Гауссу изображению. Однако можно показать, что этот оператор также будет возвращать ложные края, соответствующие локальным минимумам величины градиента. Более того, этот оператор даст плохую локализацию на изогнутых краях. Следовательно, этот оператор сегодня представляет в основном исторический интерес.

Дифференциальный

Более совершенный подход к обнаружению границ второго порядка, который автоматически обнаруживает края с точностью до субпикселей, использует следующий дифференциальный подход обнаружения пересечений нуля производной второго порядка по направлению в направлении градиента:

Следуя дифференциально-геометрическому способу выражения требования не максимального подавления, предложенному Линдебергом, давайте введем в каждой точке изображения локальную систему координат с направлением -направлением, параллельным направлению градиента. Предполагая, что изображение было предварительно сглажено гауссовым сглаживанием и было вычислено представление масштабного пространства в масштабе , мы можем потребовать, чтобы величина градиента представления масштабного пространства была равна производной первого порядка по направлению в -направлении. , должна иметь производную первого порядка по направлению в -направлении, равную нулю.

в то время как производная по направлению второго порядка в направлении оси от должна быть отрицательной, т.е.

Записанное как явное выражение в терминах локальных частных производных , это определение ребра может быть выражено как кривые перехода через нуль дифференциального инварианта

удовлетворяющие знаковому условию на следующий дифференциальный инвариант

куда

обозначают частные производные, вычисленные из представления масштабного пространства, полученного сглаживанием исходного изображения с помощью гауссова ядра . Таким образом, края будут автоматически получены в виде непрерывных кривых с субпиксельной точностью. К этим дифференциальным и субпиксельным краевым сегментам также может применяться пороговая обработка гистерезиса.

На практике приближения производной первого порядка могут быть вычислены по центральным разностям, как описано выше, в то время как производные второго порядка могут быть вычислены из представления масштабного пространства в соответствии с:

соответствующие следующим фильтрам-маскам:

Аналогичным образом могут быть получены производные высших порядков для знакового условия третьего порядка.

На основе конгруэнтности фаз

Недавняя разработка методов обнаружения краев использует подход в частотной области для поиска местоположений краев. Методы согласования фаз (также известные как фазовая когерентность) пытаются найти места на изображении, где все синусоиды в частотной области находятся в фазе. Эти местоположения обычно будут соответствовать местоположению воспринимаемого края, независимо от того, представлен ли край большим изменением интенсивности в пространственной области. Ключевым преимуществом этого метода является то, что он сильно реагирует на полосы Маха и позволяет избежать ложных срабатываний, обычно обнаруживаемых по краям крыши . Кромка крыши - это разрыв в производной первого порядка профиля уровня серого.

По мотивам физики

Улучшение характеристик изображения ( собор Святого Павла , Лондон) с помощью преобразования фазового растяжения (PST). Левая панель показывает исходное изображение, а правая панель показывает обнаруженные функции с использованием PST.

Преобразование растяжения фазы или PST - это основанный на физике вычислительный подход к обработке сигналов и изображений. Одна из его утилит предназначена для обнаружения и классификации признаков. PST является побочным продуктом исследований дисперсионного преобразования Фурье во времени . PST преобразует изображение, имитируя распространение через дифракционную среду со спроектированным 3D-дисперсионным свойством (показателем преломления). Работа основана на симметрии профиля дисперсии и может быть понята в терминах дисперсионных собственных функций или мод растяжения. PST выполняет те же функции, что и фазово-контрастная микроскопия, но для цифровых изображений. PST также применим к цифровым изображениям, а также к временным данным, временным рядам.

Субпиксель

Для повышения точности обнаружения границ было предложено несколько методов субпикселей, включая методы аппроксимации кривой, моментные, реконструктивные и методы частичного эффекта площади. Эти методы имеют разные характеристики. Методы аппроксимации кривой вычислительно просты, но на них легко влияет шум. Моментные методы используют подход, основанный на интегралах, для уменьшения влияния шума, но в некоторых случаях могут потребоваться дополнительные вычисления. Реконструктивные методы используют горизонтальные градиенты или вертикальные градиенты, чтобы построить кривую и найти пик кривой как край субпикселя. Методы эффекта частичной площади основаны на гипотезе о том, что значение каждого пикселя зависит от площади по обе стороны от края внутри этого пикселя, что дает точную индивидуальную оценку для каждого пикселя края. Было показано, что некоторые варианты моментного метода являются наиболее точными для изолированных ребер.

Обнаружение края на ангиографическом изображении. Слева обнаружение краев выполняется на уровне пикселей. Справа: обнаружение края субпикселя точно определяет край внутри пикселя.

Смотрите также

использованная литература

  1. ^ Umbaugh, Scott E (2010). Цифровая обработка и анализ изображений: приложения человеческого и компьютерного зрения с CVIPtools (2-е изд.). Бока-Ратон, Флорида: CRC Press. ISBN 978-1-4398-0205-2.
  2. HG Barrow и JM Tenenbaum (1981) «Интерпретация линейных рисунков как трехмерных поверхностей», Искусственный интеллект, том 17, выпуски 1–3, страницы 75–116.
  3. ^ a b Линдеберг, Тони (2001) [1994], "Обнаружение края" , Энциклопедия математики , EMS Press
  4. ^ a b c d Т. Линдеберг (1998) "Обнаружение краев и обнаружение выступов с автоматическим выбором шкалы", Международный журнал компьютерного зрения, 30, 2, страницы 117–154.
  5. ^ W. Zhang и F. Bergholm (1997) " Оценка многомасштабного размытия и классификация типов краев для анализа сцены ", Международный журнал компьютерного зрения, том 24, выпуск 3, страницы: 219–250.
  6. ^ D. Ziou и S. Tabbone (1998) " Методы обнаружения краев: обзор ", Международный журнал распознавания образов и анализа изображений, 8 (4): 537–559, 1998
  7. ^ JM Park и Y. Lu (2008) «Обнаружение краев в полутоновых, цветных и диапазонах изображений», в BW Wah (редактор) Encyclopedia of Computer Science and Engineering, doi 10.1002 / 9780470050118.ecse603
  8. ^ Дж. Кэнни (1986) « Вычислительный подход к обнаружению границ », IEEE Transactions on Pattern Analysis and Machine Intelligence, том 8, страницы 679–714.
  9. ^ R. Haralick, (1984) « Цифровые ступеньки от пересечения нуля производных по второму направлению », IEEE Transactions on Pattern Analysis and Machine Intelligence, 6 (1): 58–68.
  10. ^ R. Kimmel и AM Bruckstein (2003) «О регуляризованных лапласовских переходах через нуль и других оптимальных интеграторах ребер», Международный журнал компьютерного зрения , 53 (3) страницы 225–243.
  11. ^ Shapiro LG & Stockman GC (2001) Компьютерное зрение. Лондон и др.: Прентис Холл, стр. 326.
  12. ^ R. Deriche (1987) Использование критериев Кэнни для получения оптимального рекурсивно реализованного детектора краев , Int. J. Computer Vision, том 1, страницы 167–187.
  13. ^ Сильвен Фишер, Рафаэль Редондо, Лоран Перрине, Габриэль Кристобаль. Скудная аппроксимация изображений, вдохновленная функциональной архитектурой основных визуальных областей . Журнал EURASIP о достижениях в обработке сигналов, специальный выпуск о восприятии изображений, 2007 г.
  14. ^ Дим, Жюль Р .; Такамура, Тамио (11 декабря 2013 г.). «Альтернативный подход к классификации спутникового облака: приложение с граничным градиентом» . Успехи в метеорологии . 2013 : 1–8. DOI : 10.1155 / 2013/584816 . ISSN  1687-9309 .
  15. ^ Т. Линдеберг (1993) «Дискретные производные приближения со свойствами масштабного пространства: основа для низкоуровневого выделения признаков», J. of Mathematical Imaging and Vision, 3 (4), страницы 349–376.
  16. ^ Т. Пайдла и В. Хлавац (1993) " Поверхностные неоднородности в изображениях дальности " в Proc IEEE 4th Int. Конф. Comput. Видение, стр. 524–528.
  17. ^ МН Асгари, и Б. Джалал, «обнаружение края в цифровых изображенияхиспользованием дисперсной фазой растяжения,» Международный журнал биомедицинской визуализации, Vol. 2015 г., ID статьи 687819, стр. 1–6 (2015).
  18. ^ MH Асгари и Б. Jalali, " Физика-вдохновенное обнаружение края изображения ," IEEE Global Signal и обработка информации Symposium (GlobalSIP 2014), бумага: WdBD-L.1, Атлант, декабрь 2014.
  19. ^ Б. Джалали и А. Махджубфар, "Настройка широкополосных сигналов с помощью фотонного аппаратного ускорителя ", Труды IEEE, Vol. 2015. Т. 103, № 7. С. 1071–1086.
  20. ^ Ghosal, S .; Мехрота, Р. (1993-01-01). «Операторы ортогонального момента для обнаружения субпиксельных краев». Распознавание образов . 26 (2): 295–306. DOI : 10.1016 / 0031-3203 (93) 90038-X .
  21. ^ a b Кристиан, Джон (01.01.2017). "Точная локализация планетарных конечностей для навигации космических аппаратов на основе изображений". Журнал космических аппаратов и ракет . 54 (3): 708–730. Bibcode : 2017JSpRo..54..708C . DOI : 10.2514 / 1.A33692 .
  22. ^ Трухильо-Пино, Агустин; Криссиан, Карл; Алеман-Флорес, Мигель; Сантана-Седрес, Даниэль (1 января 2013 г.). «Точное расположение края субпикселя на основе эффекта частичной площади». Вычисления изображений и зрения . 31 (1): 72–90. DOI : 10.1016 / j.imavis.2012.10.005 . hdl : 10553/43474 .

дальнейшее чтение