какие действия применяются для улучшения качества отображения данных

Какие действия применяются для улучшения качества отображения данных

Библиографическая ссылка на статью:
Захаров Р.К. Методы повышения качества изображений в задачах распознавания // Современные научные исследования и инновации. 2012. № 8 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2012/08/16488 (дата обращения: 20.10.2021).

Задача повышения качества изображения включает несколько подзадач, которые будут рассмотрены в статье это:

В статье будут рассмотрены наиболее популярные методы, которые позволяют решить поставленные задачи перед нами. Данные алгоритмы и методы работают как часть предобработки изображений в системах компьютерного зрения, к примеру, в системах распознавания изображений, когда для работы алгоритма важно, что бы изображение поступало как можно более хорошего качества.

Гистограмма

Для анализа изображений можно использовать гистограммы яркости. Гистограммы строят как для цветных изображений по каждому из каналов, так и для изображений в оттенках серого. Гистограмма — это график распределения полутонов изображения, в котором по горизонтальной оси представлена яркость, а по вертикали— относительное число пикселов с данным значением яркости.

Алгоритм построения гистограммы

Строим массив, заполняем нулями. Обычно массив [0..255]

Цикл, для каждого пикселя:

Полученное значение должно укладываться в диапазон индексов массива, например [0..255].

Увеличиваем значение элемента массив[значение] на 1.

Полученный массив и представляет собой гистограмму, элементы массива – означают высоты столбиков.

Ниже представлен рисунок и его гистограмма для каждого из каналов.

Линейная коррекция

Линейную коррекцию можно задать следующей формулой

Изображение после преобразования

Нелинейные коррекции

В нелинейной коррекции часто применяются

Гамма-коррекция

Изначально цель коррекции для правильного отображения на мониторе. Задаётся следующим выражением

Ниже представлены рисунки до и после обработки изображения с помощью гамма коррекции

Обработанное изображение γ=0.4

Логарифмическая коррекция

Цель – сжатие динамического диапазона при визуализации данных. Задаётся следующим выражением

Ниже представлены рисунки до и после обработки с помощью логарифмической коррекции.

Серый мир

На рисунках представлены изображения до и после обработки с помощью серого мира.

Изображение после обработки

Задаётся с помощью следующих соотношений. Пусть – это изображение, – это площадь этого изображение произведение длины на ширину. А его размер. Вычислим средний цвет для каждого из каналов и общий для всех каналов следующим образом:

И среднее значение по всем каналам будет следующим:

Далее значение каждого пикселя изменяется таким образом:

Бинаризация

Бинаризация изображение – построение изображение по полутоновому/цветному изображению, что бы фон отделялся от объектов на изображении, то есть всё изображение помечено, к примеру, 1 фон 0 не фон. Таким образом, задача бинаризации является простейшей задачей распознавания объекта на кадре с помощью бинарного классификатора (фон/не фон). Для бинаризации задаётся порог

Где T_порог – это пороговое значение пикселей которое задаётся в зависимости от анализа гистограммы изображения, или отдельно подбирается для конкретной задачи. Приведём алгоритм адаптивной бинаризации изображения

Алгоритм адаптивной бинаризации изображения

Для каждого пикселя изображения

Данный алгоритм применяется в случае не равномерной яркости фона или объекта

Шум и шумоподавление

Причинами возникновения шума могут быть

Ниже представлены изображения с различным шумом

Для устранения Гауссова шума применяется фильтр Гаусса.

Для устранения шума соль и перец и импульсного применяется медианный фильтр.

Retinex

Это метод выравнивания освещения на изображении. Идея заключается в следующем. Само изображение формируется как произведение низких и высоких частот, то есть самого освещения и объекта.
где l – это освещение, а r – это сам объект.

Алгоритм Single Scale Retinex (SSR)

Получить приближённую карту освещённости путём низкочастотной фильтрации

, где G – это фильтр Гаусса.

Восстановить изображение по формуле

Многомасштабный вариант алгоритма Retinex

Алгоритм Multi Scale Retinex (MSR)

Получить приближённую карту освещённости путём низкочастотной фильтрации

, где G – это фильтр Гаусса.

Восстановить изображение по формуле

изображение

Чаще всего выбирают три масштаба с равными весами w_k, равными 1/3

Ниже приведены изображения до и после обработки методом Retinex.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

&copy 2021. Электронный научно-практический журнал «Современные научные исследования и инновации».

Источник

Инновационные алгоритмы для повышения качества изображения

Благодаря современным технологиям изображения отличаются значительно более высокой четкостью, точностью передачи деталей и резкостью и одновременно демонстрируют более низкий уровень шума. Ввиду того, что такие решения реализованы на базе программируемой вентильной матрицы (FPGA) камеры, они полностью поддерживают работу в режиме реального времени, практически полностью исключают задержку и позволяют освободить оперативную память ПК под программное обеспечение для обработки изображений.

Различные типы шума на изображении

Шум является неотъемлемой частью любого изображения. Он возникает по нескольким причинам, основная заключается в том, что поток света представляет собой множество фотонов. Фотоны – это частицы в квантовой механике, поведение которых определяется некоторой долей случайности. Это означает, что один пиксель, даже в условиях постоянной освещенности, иногда получает большее, иногда меньшее количество фотонов. Возникающий в результате шум носит временной характер и называется дробовым шумом фотонов. Еще одним источником шума выступает светочувствительный сенсор и его электронные схемы. Оба этих вида шума сочетаются в светочувствительном сенсоре, вследствие чего возникает временной шум на необработанном (RAW) изображении.

Вторым существенным источником шума является локальный шум. Он возникает, прежде всего, в связи с тем, что чувствительность различных пикселей к свету несколько различается. Даже незначительные различия заметны на изображении. Это явление называется неоднородностью квантового выхода.

На абсолютно темных участках изображения могут наблюдаться видимые различия в уровне яркости между пикселями, особенно в условиях слабой освещенности или слишком короткой экспозиции, а также при использовании чрезмерного аналогового усиления сигнала. Это явление известно как фиксированный шаблон шума, или неоднородность темнового сигнала, и степень его воздействия меняется от сенсора к сенсору. Оно, как правило, не является проблемой в случае высококачественных сенсоров. Вышеупомянутые шумовые эффекты возникают как в монохромных, так и цветных камерах.

Шаблон Байера как основа оптимизации цветов

В обработке изображений цветные камеры все больше вытесняют монохромные и содержат значительно больше информации. Каждый пиксель цветного изображения объединяет в себе несколько значений цветов, а именно – значения для воспроизведения красного (R), зеленого (G) и синего (B). Это изображения в RGB-цвете.

Цветные камеры с действительно трехцветными сенсорами очень сложные и дорогостоящие. Отличной и доступной альтернативой им стали уже широко распространенные цветные камеры со светочувствительным сенсором на базе так называемой матрицы Байера, или шаблона Байера. В шаблоне Байера каждый пиксель покрыт соответствующим цветным фильтром по особому шаблону, который напоминает шахматную доску. 50% этих фильтров – зеленые, а по 25% оставшихся – красные и синие (рис. 1).

Дебайеризация

В определении недостающих цветов алгоритмы дебайеризации опираются на значения цветов, получаемые от соседних пикселей. Размерность этого анализа соответствует количеству соседних пикселей, анализ которых проводится для каждого отдельно взятого пикселя, и выражается как 2×2, 3×3, 4×4, 5×5 и т.д.

На рис. 2 показаны примеры дебайеризации 2×2 и 5×5.

Дебайеризация 2×2 основана на подходе, который называется «интерполяцией методом ближайшего соседа», или «простой дебайеризацией», и известен как менее ресурсоемкий. В результате ее применения нередко возникают серьезные цветовые ошибки, наиболее распространенные – появление оранжевого и голубого цветов, особенно на границе черного и белого, например, внутри цифр и букв. Изображение также выглядит явно нерезким, при этом диагональные линии кажутся ступенчатыми. Эти результаты можно улучшить за счет выбора более сложного алгоритма интерполяции. Особенно эффективным будет сбор данных от большего количества соседних пикселей.

Именно по этой причине для инновационной дебайеризации выбирается радиус 5×5 пикселей. Алгоритмом используются необработанные данные для построения изображения RGB, в результате чего обеспечивается более высокое качество цветного изображения без искажения цветов, с четким воспроизведением текста, гладкими и резкими границами диагональных линий (рис. 3).

Инновационные алгоритмы дебайеризации разработаны с целью существенного повышения качества цветного изображения для его восприятия человеческим глазом. Они включают в себя несколько этапов расчетов. Помимо дебайеризации, выполняется сглаживание цветов (устранение искажений цветов), шумоподавление и увеличение резкости.

Человеческий глаз способен различать контрасты на границе черного и белого в гораздо более высоком разрешении, чем на границе цветов. Это свойство человеческого глаза положено в основу современного алгоритма дебайеризации, поэтому черно-белые контрастные области воспроизводятся с более высокой резкостью и точностью, аналогично качеству изображений, получаемых монохромными камерами. Такой подход гарантирует высокую четкость контуров и отличную различимость цифр и букв.

Человеческое зрение также характеризуется повышенной чувствительностью к зеленому цвету. Этот факт также учитывается при разработке дебайеризации 5×5, поэтому при восстановлении черно-белых контрастов зеленым пикселям придается особое значение, в результате чего изображения получаются более естественными для восприятия.

Наконец, человеческий глаз чрезвычайно восприимчив к цветовому шуму и сразу замечает отдельные пиксели с цветовыми ошибками. По этой причине в алгоритмах особое внимание уделено выбору метода восстановления цветов, который характеризуется особенно низким уровнем цветового шума.

Сглаживание цветов

Цветовые ошибки, особенно в области резких границ, – распространенное побочное явление, возникающее при применении менее эффективных алгоритмов дебайеризации. Этот недостаток может особенно выделяться на изображении (рис. 4).

При использовании дебайеризации 5×5 искажения цветов, возникающие в результате описанных причин, анализируются и корректируются для всех потенциальных пространственных частот ниже теоретического предела. Этот теоретический предел, взятый из теории цифровых систем, называется частотой Найквиста.

На рис. 5 представлено то же изображение, но после обработки современным алгоритмом: цветовые искажения устранены почти полностью.

Шумоподавление

Чтобы из необработанного изображения в формате RAW получить готовое цветное изображение, обычно выполняется множество вычислительных операций. Каждая из них может привести к усилению или уменьшению шума на основе законов размножения ошибок. В большинстве случаев шум усиливается, а не уменьшается. Особенно важную роль в этом отношении играет последовательность математических операций, в результате выполнения которых шум может усиливаться в геометрической прогрессии. В особенно неудачных случаях общий шум возрастает до неприемлемого уровня.

Инновационные технологии обеспечивают параллельное выполнение этих операций вместо последовательного, что позволяет избежать нарастания шума. В архитектуре отдельных вычислительных операций значительный приоритет отводится поддержанию низкого уровня шума. Алгоритм, таким образом, гарантирует, что уровень шума после обработки изображения всегда будет максимально низким.

Помимо этого, в современных решениях предусмотрена возможность выбора активной фильтрации шума с настраиваемыми параметрами. Поскольку фильтрация шума в промышленной среде ориентирована на быструю съемку последовательности отдельных изображений, она применяется исключительно к отдельным изображениям, позволяя избежать взаимного влияния, проявляющегося при анализе серии изображений. Эффективность фильтрации шума в значительной мере зависит от объема входных данных. Чем крупнее область для фильтрации шума, тем выше потенциальные результаты – несмотря на возрастающую при этом вычислительную нагрузку.

В качестве разумного компромисса для эффективной дебайеризации выбирают фильтрацию шума 5×5. Она особенно эффективна в случае высококачественных светочувствительных сенсоров, поскольку они изначально разработаны с целью обеспечения уровня шума от низкого до умеренного. В то же время, это позволяет снизить общую стоимость и повысить КПД системы.

Увеличенная резкость

Как показано выше, обычные алгоритмы дебайеризации часто не в состоянии воспроизвести тонкие, четкие границы с высокой резкостью. Инновационные же алгоритмы, напротив, обеспечивают исключительное качество воспроизведения границ черно-белых объектов.

На изображении в высоком разрешении цветные камеры с шаблоном Байера часто не только искаженно воспроизводят цвета, как описано выше, но и демонстрируют проблемы с резкостью изображения. Простому алгоритму линейной интерполяции свойственны фундаментальные ограничения. Современная дебайеризация адаптирует алгоритм линейной интерполяции с учетом объектов на изображении. Это позволяет добиться более резких изображений, аналогичных изображениям, получаемым монохромными камерами.

Таким образом, при использовании эффективной дебайеризации изображения всегда будут резкими. В особенно сложных условиях съемки также можно задать собственный коэффициент резкости. С его помощью можно дополнительно увеличить резкость определенной области изображения, что позволяет компенсировать недостатки слабой оптической системы. Благодаря всем этим функциям резкость изображения всегда будет соответствовать перцептивным характеристикам человеческого глаза. Увеличение резкости в результате применения новых алгоритмов может вызвать исключительно умеренное повышение уровня серого шума, но не затрагивает цветовой шум. На рис. 6 и 7 представлены изображения для сравнения.

Высокая резкость изображения является основным или даже критическим фактором во множестве областей. Это, в частности, относится к ситуациям, когда цветная камера должна правильно воспроизводить цифры или буквы, как, например, при распознавании номерного знака транспортного средства системой контроля дорожного движения или считывании штрих-кодов в логистике либо розничной торговле.

Безупречно четкое изображение в конечном итоге позволяет решать необходимые задачи обработки при более низком разрешении, а значит, требуется сенсор с меньшим количеством пикселей. Это, в свою очередь, может означать возможность выбора камеры с более высокой частотой кадров либо в целом приобретения более доступного по цене оборудования – от осветительной установки и камеры до вычислительных мощностей.

Вычислительные ресурсы

При разработке новых алгоритмов особое внимание уделяется низкому ресурсопотреблению во всех аспектах. Все вычислительные операции выполняются на базе программируемой вентильной матрицы (FPGA), на что потребляются минимальные ресурсы внутренней памяти FPGA и требуется крайне незначительное количество вычислительных операций. В результате исключаются дополнительные расходы, например на приобретение более крупной FPGA или других вычислительных средств.

Для обеспечения отличного качества изображения важно, чтобы операции обработки изображения осуществлялись в надлежащем порядке. Дебайеризация лежит в основе этого процесса, поэтому всем, кто задумывается о выполнении дебайеризации на стороне ПК, также необходимо обеспечить правильность выполнения других предшествующих и последующих шагов обработки изображения.

По этой причине имеет смысл реализовать современный алгоритм непосредственно на программируемой вентильной матрице камеры, что полностью совместимо с режимом реального времени, занимает правильное место в процессе обработки изображений и безупречно в него вписывается. Время задержки при этом ничтожно мало, все ресурсы подключенного ПК могут быть направлены на работу программного обеспечения для обработки изображений, при этом изображения высокого качества будут поступать непосредственно от камеры.

Источник

Какие действия применяются для улучшения качества отображения данных

Сегодня мы поговорим про качество данных – что это за показатель, в чем он измеряется и почему так важен для машинного обучения и других приложений Big Data. Читайте в нашей статье про процессы и инструменты управления качеством данных, а также профессию Data Quality инженера.

Почему большие данные должны быть качественными или что такое Data Quality

Большие данные полезны только когда из них можно извлечь ценные для бизнеса сведения – инсайты. Чтобы анализировать множество файлов или записей Big Data, эти информационные наборы должны обладать не только определенной структурой, но и отвечать следующим характеристикам [1]:

Аналитика больших данных для руководителей

Код курса

Ближайшая дата курса

Длительность обучения

24 ак.часов

Стоимость обучения

54 000 руб.

Совокупность количественных оценок каждого из этих показателей отражает качество данных (Data Quality) – характеристику, показывающую степень их пригодности к обработке и анализу, а также соответствие обязательным и специальным требованиям [1]. В упрощенном понимании качество данных – это степень их пригодности к использованию. В частности, стандарт ISO 9000:2015 именно так определяет качество данных по степени их удовлетворения требованиям: потребностям или ожиданиям, таким как полнота, достоверность, точность, последовательность, доступность и своевременность [2].

На практике оценка качества данных сильно зависит от контекста их использования. Например, для крупных маркетинговых кампаний может быть приемлемо до 3-5% дублированных или пропущенных записей, а в случае с медицинскими исследованиями такое недопустимо. Поэтому дисциплина интеллектуального анализа данных (Data Mining) выделяет целых 5 процедур подготовки информационных наборов к использованию в машинном обучении. Подробнее об этом мы рассказывали здесь. Однако, качество данных важно не только для точности алгоритмов Machine Learning. Устаревшие или ненадежные данные могут привести к дорогостоящим ошибкам, например, лишним расходам на закупку материалов из-за отсутствия актуальных сведений о складских запасах.

Пирамида процессов Data Management для работы с корпоративными данными

Как управлять качеством данных: процессы и инструменты

За оценку качества данных отвечают инженеры Data Quality, которые управляют информационными массивами, проверяют их поведение в текущих и новых условиях, контролируют релевантность, достаточность и актуальность. Как правило, обязанности Data Quality инженера не ограничиваются только рутинными проверками записей в таблицах СУБД, а требуют глубокого понимания бизнес-потребностей, чтобы трансформировать имеющиеся данные в пригодную к практическому использованию информацию. Для этого решаются следующие задачи: [3]:

Для организации data chain – цепочки проверочных тестов на каждой стадии обработки данных от источника до пункта финального использования могут использоваться легковесные SQL-запросы. Они помогают оценить отдельные атрибуты качества данных, например, tables metadata, blank lines, NULLs, Errors in syntax. Для регрессионного тестирования, когда используются уже готовые неизменяемые датасеты, код автотестов уже хранит готовые шаблоны проверки данных на соответствие качеству, такие как описания ожидаемых метаданных таблиц, строчных выборочных объектов для случайного выбора и т.д. Иногда в ходе тестирования Big Data Quality инженер пишет тестовые ETL-процессы с помощью Apache Spark или Airflow, используя уже готовые операторы, в частности, GCP BigQuery или создавая собственные [3]. Про операторы Apache Airflow мы писали здесь, на примере Kubernetes Operator.

Разумеется, все это инженеры Data Quality выполняют не вручную. Современный рынок ПО предлагает множество специализированных инструментов для проверки качества данных и их улучшения. В частности, Informatica Data Quality, Microsoft Data Quality Services, Oracle Enterprise Data Quality, SAP Data Services, Talend Open Studio for Data Quality и другие коммерческие продукты, а также открытые сервисы. Аналитическое агентство Gartner составило список ТОП-10 таких решений, проранжировав их по удобству использования, функциональным возможностям и отзывам профессионалов [4].

Как правило, большинство специализированных систем управления качеством данных автоматизируют следующие процессы Data Quality Management [2]:

Обеспечение качества данных не сводится лишь к технической задаче устранения дублирующихся или пропущенных значений. Важна также организационная сторона этого процесса, где задействован не только Data Quality инженер. В следующей статье мы поговорим про ответственность за качество данных и профессию дата стюарда (Data Steward). А о лучших практиках повышения Data Quality в компании Airbnb с помощью организационных изменений и архитектурно-технических решений читайте здесь.

Источник