Conference PaperPDF Available

Minimization of the approximation error for describing of an image by piecewise constant approximations

Authors:

Abstract

An exact definition of superpixels (elementary sets of pixels) is given in the concomitant presentation.
1
Минимизация ошибки аппроксимации
структурированного изображения
кусочно–постоянными приближениями
Харинов Михаил Вячеславовичkhar@iias.spb.su
Санкт–Петербург, Институт информатики и автоматизации
Российской академии наук
В настоящее время возможности кластеризации пикселей изобра-
жения с реальной минимизацией ошибки аппроксимации E(сум-
марной квадратичной ошибки) еще далеко не исчерпаны. Для вы-
числения оптимальных приближений изображения с минималь-
но возможной ошибкой Eпри данном числе кластеров пикселей,
а также для формализации понятия объектов на изображении
необходима точная постановка оптимизационной задачи и систе-
ма методов минимизации Eс учетом особенностей видеоданных.
В докладе описываются методы минимизации ошибки E, которые
выработаны путем получения и исследования последовательно-
стей оптимальных приближений для конкретных изображений и
опираются на понятие иерархически структурированного цвето-
вого изображения из Nпикселей.
Изображение считается структурированным, если для него
вычислена бинарная иерархия разбиений на кластеры пиксе-
лей и соответствующая последовательность кусочно–постоянных
приближений, которые в зависимости от числа кластеров gопи-
сываются выпуклой последовательностью значений E. Бинарная
иерархия кластеров пикселей допускается любой, что является
главной особенностью разработки. Число кластеров 2N1в би-
нарной иерархии почти вдвое больше, чем число пикселей в изоб-
ражении. За счет операций с этими кластерами достигается ре-
альная минимизация ошибки Eи обеспечивается детектирование
иерархии различаемых по цвету объектов из одного, нескольких
или многих сегментов произвольной величины и формы.
Основным методом получения иерархически структурирован-
ного изображения является метод Уорда, который реализуется
числом алгоритмов, сравнимым с N. Для определенности алго-
ритма, метод Уорда параметризуется числом g0объектов на изоб-
ражении, совпадающим с числом кластеров, при котором зна-
чение Eмаксимально приближается к оптимальному. Для сни-
Всероссийская конференция ММРО-2019. Россия, г. Москва, 26–29 ноября 2019 г.
2
жения вычислительной сложности метод Уорда выполняется по
частям, т. е. по g0кластерам некоторого начального разбие-
ния изображения, которые обрабатываются как самостоятель-
ные изображения. При рекурсивном ускорении метода Уорда
по частям вычислительная сложность снижается с N2до N4
3,
N16
15 ,N256
255 ,. . . ,N. Для корректного вычисления множества из 2N
1кластеров пикселей методом Уорда по частям, который завер-
шается итеративным слиянием g0кластеров в один кластер ори-
гинальным методом Уорда, достаточно, чтобы начальное разбие-
ние изображения на g0кластеров нельзя было улучшить, снизив
ошибку Eпосредством встречных операций разделения одного
кластера надвое и слияния пары кластеров в один.
Указанное условие обеспечивается улучшением качества раз-
биения на g0кластеров CI(Clustering Improvement)–методом. CI–
метод сводится к итеративному повторению встречных операций
разделения/слияния кластеров, отвечающих максимальному сни-
жениию E. CI–метод не изменяет разбиений, построенных мето-
дом Уорда, и особенно эффективен для улучшения грубых на-
чальных приближений изображения.
CI–метод улучшения разбиения изображения при данном чис-
ле кластеров дополняется методом K–meanless (Двоенко С. Д.,
2014). Метод K–meanless предназначен для снижения ошиб-
ки аппроксимации произвольного приближения изображения
при неизменном числе структурированных кластеров пикселей.
На выходе метода K–meanless получается приближение, которое
нельзя улучшить по ошибке аппроксимации Eза счет рекласси-
фикации той или иной предусмотренной части одного кластера
пикселей в другой кластер. Метод K–meanless является модерни-
зированной версией традиционных методов K–средних, которые
при кластеризации пикселей, как правило, приводят к ложным
минимумам Eиз-за выполнения операций с отдельными пиксе-
лями, огрубленного критерия их реклассификации и неблизкого
к оптимальному начального приближения изображения. Метод
K–meanless выполняет реклассификацию предусмотренных мно-
жеств пикселей с максимальным снижением Eв стратегии от
больших множеств к меньшим и обеспечивает эффективную ми-
нимизацию ошибки Eдля приближения изображения g0класте-
рами, которое настолько близко к оптимальному приближению,
3
что не меняется при обработке CI–методом. При этом для при-
ближений изображения g0кластерами из числа приближений, по-
лученных методом Уорда, гарантируется, что ошибка Eне пре-
вышает определенного порога.
В качестве меры H(Heterogeneity) неоднородности кластеров
пикселей рассматривается абсолютная величина
dE
dg
производ-
ной ошибки Eпо числу кластеров g, которая не убывает при
укрупнении кластера.
Генерация и запоминание иерархии приближений изображе-
ния, а также скоростные операции с кластерами пикселей выпол-
няются с помощью сети, «наброшенной» на пиксели изображе-
ния. Основная сеть кодирует иерархию разбиений изображения в
паре массивов из Nэлементов. В одном массиве задается ацик-
лический граф — дерево Слейтора-Тарьяна. Во втором масси-
ве посредством циклического графа задается порядок установле-
ния дуг в дереве. По изображению и основной сети генерируется
еще несколько десятков графов, систем указателей, массивов чи-
сел и др. дополнительных компонентов из Nэлементов, которые
позволяют работать с кластерами пикселей так же быстро, как с
отдельными пикселями. При этом деревья Слейтора–Тарьяна, в
отличие от традиционных деревьев(дендрограмм), с минималь-
ными затратами памяти поддерживают произвольную бинарную
иерархию кластеров пикселей.
В докладе вычислительная сеть для детектирования объектов
сопоставляется с многослойной искусственной нейронной сетью
(ИНС), что полезно для интерпретации зрительного восприятия.
Доклад актуален для совершенствования общеупотребитель-
ных методов кластерного анализа в инструментариях типа
MatLab, а также создания программного обеспечения для детек-
тирования объектов на изображении двухэтапной процедурой вы-
числения иерархии кластеров пикселей и ее преобразвания в при-
ближение изображения с «объектами интереса» по пороговому
значению параметра неоднородности H[1].
[1] Харинов M. B. Локализация объектов на цифровом изображении
посредством кусочно–постоянных приближений // Известия Тул-
ГУ. Технические науки, 2019. Вып. 6, Тула, 2019. — С. 160–169.
https://tidings.tsu.tula.ru/tidings/pdf/web/preview_therest_
ru.php?x=tsu_izv_technical_sciences_2019_06_b&year=2019.
4
Minimization of the approximation error for describing
of an image by piecewise constant approximations
Kharinov Mikhail Vyacheslavovichkhar@iias.spb.su
Saint–Petersburg Institute for Informatics and Automation of the
Russian Academy of Sciences
At present, the possibilities of clustering of image pixels with real
minimization of the approximation error E(total squared error) are
far from been exhausted. To calculate the optimal approximations
of the image with the minimum possible error Efor a given number
of pixel clusters, as well as to formalize the concept of objects in
the image, an accurate statement of the optimization problem and
a system of minimizing methods Etaking into account the features
of the video data are necessary. The report describes the methods
for minimizing of the error E, which are developed by obtaining and
studying the sequences of optimal approximations for specific images
basing on the concept of a hierarchically structured color image of N
pixels.
An image is considered structured if it is defined a binary hierarchy
of pixel clusters and the corresponding sequence of piecewise constant
approximations, which are described by a convex sequence of Evalues
depending on the number of clusters g. Any binary hierarchy of pixel
clusters is allowed, which is the main feature of the development. The
number of clusters 2N1 in the binary hierarchy is almost twice as
large as the number of pixels in the image. Due to operations with
these clusters, a real minimization of the error Eis achieved and a
hierarchy of color–distinguished objects from one, several, or many
segments of arbitrary size and shape is detected.
The main method for obtaining a hierarchically structured image
is Ward’s clustering method, which is implemented by a comparable
to Nnumber of algorithms. For definiteness of the algorithm, Ward’s
method is parameterized by the number of g0objects in the image,
which coincides with the number of clusters at which the value of Eis
as close as possible to the optimal one. To reduce the computational
complexity, Ward’s method is performed in image parts, i.e. within
g0clusters of some initial image partition, which are processed as
separate images. When recursively accelerating, the computational
complexity of Ward’s method in image parts decreases from N2to
Russian National Conference MMPR-2019. Russia, Moscow, November 26–29, 2019
5
N4
3,N16
15 ,N256
255 ,. . . ,N. For the correct calculation of the set of 2N
1 pixel clusters by Ward’s method in image parts, which ends by
iteratively merging of g0clusters into one cluster using the original
Ward’s method, it is enough that the initial partitioning of the im-
age into g0clusters cannot be improved by reducing the error Eby
counter operations of dividing one cluster into two and merging of a
pair of clusters into one.
This condition is provided by improving the quality of partition-
ing into g0clusters by CI(Clustering Improvement)–method. CI–
method is reduced to iterative repetition of counter operations of
splitting/merging of pixel clusters that correspond to the maximum
reduction of E. CI–method does not change the partitions con-
structed by Ward’s method and is especially effective for improving
of rough initial approximations of the image.
CI–method for improving of image partition into a given number
of clusters is supplemented by K–meanless method (Dvoenko S. D.,
2014). K–meanless method is designed to reduce the approximation
error of arbitrary image approximation with fixed number of struc-
tured pixel clusters. The output of K–meanless method yields an
approximation that cannot be improved by the approximation error
Eby means of reclassification of one or another part from preassigned
number of parts of one pixel cluster into another pixel cluster. K–
meanless method is an upgraded version of the conventional K–means
methods, which when clustering pixels, as a rule, lead to false min-
imums Edue to operations with only individual pixels, a coarsened
criterion for their reclassification, and initial image approximation,
which is oftenly far from the optimal. K–meanless method reclas-
sifies the provided sets of pixels with the maximum reduction of E
in the strategy from larger sets to smaller ones and supports the
minimizing of the error Efor image approximation with g0clusters,
which is so close to the optimal approximation that stays invariant
under the processing by CI–method. If the image approximation of
g0clusters is selected from the number of approximations obtained by
Ward’s method, then due to the convexity property, it is guaranteed
that the error Edoes not exceed a predetermined threshold.
As the measure of the heterogeneity for given pixel cluster it is
considered the absolute value
dE
dg
of the derivative of the error E
6
with respect to the number of clusters g, which does not decrease
upon the cluster enlargement.
Generation and storage of the hierarchy of image approximations,
as well as high–speed operations with clusters of pixels are performed
using the network, connecting the image pixels. The kernel network
encodes a hierarchy of image partitions in a pair of arrays of Nel-
ements. In one array, an acyclic graph presenting Sleator–Tarjan
dynamic tree is defined. In the second array the establishing or-
der of arcs in the tree is specified by means of a cyclic graph. A
dozens more graphs, systems of pointers, number arrays, and other
components from Nelements are generated for the image and ker-
nel network, which allow working with pixel clusters as quickly as
with individual pixels. This is achieved thanks to the Sleator–Tarjan
trees, which, unlike the traditional trees(dendrograms), with minimal
memory consumption support an arbitrary binary hierarchy of pixel
clusters.
In the report, the computer network for object detecting is com-
pared with a multilayer artificial neural network (ANN). It is useful
for interpretation of visual perception.
The report is relevant for improving of commonly used cluster
analysis methods, namely, in software tools like MatLab, as well as
for creating of software for detection of objects in the image by means
of a two–stage procedure for calculating of the hierarchy of pixel
clusters and their transforming into an approximation of the image
with “objects of interest” according to the threshold value of the
heterogeneity parameter H[1].
[1] Kharinov M. Localization of objects in a digital image by
piecewise constant approximations // Izvestiya TulGU. En-
gineering, 2019. Vol. 6, Tula, 2019. P. 160–169.
https://tidings.tsu.tula.ru/tidings/pdf/web/preview_therest_
ru.php?x=tsu_izv_technical_sciences_2019_06_b&year=2019.
ResearchGate has not been able to resolve any citations for this publication.
ResearchGate has not been able to resolve any references for this publication.