Content uploaded by Eugene Veniaminovich Lutsenko
Author content
All content in this area was uploaded by Eugene Veniaminovich Lutsenko on Mar 15, 2019
Content may be subject to copyright.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
1
УДК 004.8
UDC 004.8
05.00.00. Технические науки
Technical sciences
АСК-АНАЛИЗ КЛАССОВ ВИНА ПО ЕГО
СВОЙСТВАМ НА ОСНОВЕ ДАННЫХ
РЕПОЗИТОРИЯ UCI
ASC-ANALYSIS OF WINE CLASSES DUE TO
THEIR PROPERTIES BASED ON DATA
FROM THE UCI REPOSITORY
Луценко Евгений Вениаминович
д.э.н., к.т.н., профессор
Scopus Author ID: 57191193316
РИНЦ SPIN-код: 9523-7101
prof.lutsenko@gmail.com
Кубанский государственный аграрный
университет имени И.Т.Трубилина, Краснодар,
Россия
Lutsenko Eugeny Veniaminovich
Dr.Sci.Econ., Cand.Tech.Sci., professor
Scopus Author ID: 57191193316
RSCI SPIN-code: 9523-7101
prof.lutsenko@gmail.com
Kuban State Agrarian University, Krasnodar,
Russia
Бруяко Анжелика Андреевна
студентка группы: ПИ1301
anzhela.love@mail.ru
Кубанский государственный аграрный
университет имени И.Т.Трубилина, Краснодар,
Россия
Brujako Anzhelika Andreevna
Student
anzhela.love@mail.ru
Kuban State Agrarian University, Krasnodar,
Russia
Создание систем искусственного интеллекта
является одним из важных и перспективных
направлений развития современных
информационных технологий. Так как существует
множество альтернатив систем искусственного
интеллекта, то возникает необходимость оценки
качества математических моделей этих систем. В
данной работе рассмотрено решение задачи
идентификации классов уровней оплаты
сотрудников фирмы по их характеристикам. Для
достижения поставленной цели необходимы
свободный доступ к тестовым исходным данным и
методика, которая поможет преобразовать эти
данные в форму, которая необходима для работы в
системе искусственного интеллекта. Удачным
выбором является база данных тестовых задач для
систем искусственного интеллекта репозитория
UCI. В данной работе использована база данных
«Wine Data Set» из банка исходных данных по
задачам искусственного интеллекта – репозитория
UCI. При этом наиболее достоверной в данном
приложении оказались модели INF4, основанная
на семантической мере целесообразности
информации А.Харкевича при интегральном
критерии «Сумма знаний». Точность модели
составляет 0,916, что заметно выше, чем
достоверность экспертных оценок, которая
считается равной около 70%. Для оценки
достоверности моделей в АСК-анализе и системе
«Эйдос» используется F-критерий Ван Ризбергена
и его нечеткое мультиклассовое обобщение,
предложенное проф.Е.В.Луценко (L-мера)
Creation of artificial intelligence systems is one of
important and perspective directions of development
of modern information technology. As there are
many alternatives to artificial intelligence systems,
there is a need to evaluate mathematical models of
these systems. In this work, we present a solution of
the problem of identifying classes of salary levels of
employees depending on their characteristics. To
achieve this goal it requires free access to test the
source data and methodology, which will help to
convert the data into the form needed for work in
artificial intelligence systems. A good choice is a
database of test problems for systems of artificial
intelligence of UCI repository. In this work we used
the database called "Wine Data Set" from the Bank's
original task of artificial intelligence from repository
UCI. The most reliable in this application was the
model of the INF4 based on semantic, according to
A. Kharkevich, integral criteria of "Amount of
knowledge". The accuracy of the model is 0,916,
which is much higher than the reliability of expert
evaluations, which is equal to about 70%. To assess
the reliability of the models in the ASC-analysis and
the system of "Eidos" we used the F-criterion of van
Ritbergen and fuzzy multiCLASS generalization
proposed by Professor E. V. Lutsenko (L-measure)
Ключевые слова: ИССЛЕДОВАНИЕ
ЗАВИСИМОСТИ ОПЛАТЫ СОТРУДНИКОВ
АПК ОТ ИХ ХАРАКТЕРИСТИК
Doi: 10.21515/1990-4665-124-004
Keywords: INVESTIGATION OF THE
DEPENDENCE OF PAYMENT OF AIC
EMPLOYEES FROM THEIR
CHARACTERISTICS
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
2
СОДЕРЖАНИЕ
ВВЕДЕНИЕ .......................................................................................................................................................... 2
1. СИНТЕЗ И ВЕРИФИКАЦИЯ МОДЕЛЕЙ ................................................................................................. 3
1.1.
О
ПИСАНИЕ РЕШЕНИЯ
................................................................................................................................ 3
1.2.
П
РЕОБРАЗОВАНИЕ ИСХОДНЫХ ДАННЫХ ИЗ
HTML-
ФОРМАТА В ФАЙЛ ИСХОДНЫХ ДАННЫХ
MS
E
XCEL
................................................................................................................................................................. 3
1.3.
С
ИНТЕЗ И ВЕРИФИКАЦИЯ СТАТИСТИЧЕСКИХ И ИНТЕЛЛЕКТУАЛЬНЫХ МОДЕЛЕЙ
.............................. 1
1.4.
В
ИДЫ МОДЕЛЕЙ СИСТЕМЫ
«Э
ЙДОС
» ...................................................................................................... 2
1.5.
Р
ЕЗУЛЬТАТЫ ВЕРИФИКАЦИИ МОДЕЛЕЙ
.................................................................................................. 4
2.
РЕШЕНИЕ ЗАДАЧ В НАИБОЛЕЕ ДОСТОВЕРНОЙ МОДЕЛИ ................................................... 10
2.1.
Р
ЕШЕНИЕ ЗАДАЧИ ИДЕНТИФИКАЦИИ
.................................................................................................... 10
2.2.
П
ОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ С П МОЩЬЮ
SWOT
И
PEST
МАТРИЦ И ДИАГРАММ
.................. 13
2.3.
Н
АГЛЯДНОЕ ОТОБРАЖЕНИЕ ЭМПИРИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ С ПОМОЩЬЮ КОГНИТИВНЫХ
ФУНКЦИЙ
......................................................................................................................................................... 15
ЗАКЛЮЧЕНИЕ ................................................................................................................................................. 21
ЛИТЕРАТУРА ................................................................................................................................................... 22
ВВЕДЕНИЕ
Создание систем искусственного интеллекта является одним из
важных и перспективных направлений развития современных
информационных технологий. Так как существует множество альтернатив
систем искусственного интеллекта, то возникает необходимость оценки
качества математических моделей этих систем. В данной работе
рассмотрено решение задачи идентификации классов вина.
Для достижения поставленной цели необходимы свободный доступ к
тестовым исходным данным и методика, которая поможет преобразовать
эти данные в форму, которая необходима для работы в системе
искусственного интеллекта. Удачным выбором является база данных
тестовых задач для систем искусственного интеллекта репозитория UCI.
В данной работе использована база данных «Wine Data Set» из банка
исходных данных по задачам искусственного интеллекта – репозитория
UCI.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
3
Для решения задачи используем стандартные возможности Microsoft
Office Word и Excel, блокнот, а также систему искусственного интеллекта
"Эйдос- Х++".
1. СИНТЕЗ И ВЕРИФИКАЦИЯ МОДЕЛЕЙ
1.1. Описание решения
В соответствии с методологией АСК-анализа решение поставленной
задачи проведем в четыре этапа:
1. Преобразование исходных данных из HTML-формата в
промежуточные файлы MS Excel.
2. Преобразование исходных данных из промежуточных файлов
MS Excel в базы данных системы "Эйдос".
3. Синтез и верификация моделей предметной области.
4. Применение моделей для решения задач идентификации,
прогнозирования и исследования предметной области.
1.2. Преобразование исходных данных из HTML-формата в файл
исходных данных MS Excel
Из банка исходных данных по задачам искусственного интеллекта –
репозитория UCI получаем исходную информацию по базе данных «Wine
Data Set http://archive.ics.uci.edu/ml/datasets/wine», которую оставим без
изменений.
Общее описание задачи:
Файл «wine.names»:
1. Title of Database: Wine recognition data
Updated Sept 21, 1998 by C.Blake : Added attribute information
2. Sources:
(a) Forina, M. et al, PARVUS - An Extendible Package for Data
Exploration, Classification and Correlation. Institute of
Pharmaceutical
and Food Analysis and Technologies, Via Brigata Salerno,
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
4
16147 Genoa, Italy.
(b) Stefan Aeberhard, email: stefan@coral.cs.jcu.edu.au
(c) July 1991
3. Past Usage:
(1)
S. Aeberhard, D. Coomans and O. de Vel,
Comparison of Classifiers in High Dimensional Settings,
Tech. Rep. no. 92-02, (1992), Dept. of Computer Science and Dept. of
Mathematics and Statistics, James Cook University of North Queensland.
(Also submitted to Technometrics).
The data was used with many others for comparing various
classifiers. The classes are separable, though only RDA
has achieved 100% correct classification.
(RDA : 100%, QDA 99.4%, LDA 98.9%, 1NN 96.1% (z-transformed data))
(All results using the leave-one-out technique)
In a classification context, this is a well posed problem
with "well behaved" class structures. A good data set
for first testing of a new classifier, but not very
challenging.
(2)
S. Aeberhard, D. Coomans and O. de Vel,
"THE CLASSIFICATION PERFORMANCE OF RDA"
Tech. Rep. no. 92-01, (1992), Dept. of Computer Science and Dept. of
Mathematics and Statistics, James Cook University of North Queensland.
(Also submitted to Journal of Chemometrics).
Here, the data was used to illustrate the superior performance of
the use of a new appreciation function with RDA.
4. Relevant Information:
-- These data are the results of a chemical analysis of
wines grown in the same region in Italy but derived from three
different cultivars.
The analysis determined the quantities of 13 constituents
found in each of the three types of wines.
-- I think that the initial data set had around 30 variables, but
for some reason I only have the 13 dimensional version.
I had a list of what the 30 or so variables were, but a.)
I lost it, and b.), I would not know which 13 variables
are included in the set.
-- The attributes are (dontated by Riccardo Leardi,
riclea@anchem.unige.it )
1) Alcohol
2) Malic acid
3) Ash
4) Alcalinity of ash
5) Magnesium
6) Total phenols
7) Flavanoids
8) Nonflavanoid phenols
9) Proanthocyanins
10)Color intensity
11)Hue
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
5
12)OD280/OD315 of diluted wines
13)Proline
5. Number of Instances
class 1 59
class 2 71
class 3 48
6. Number of Attributes
13
7. For Each Attribute:
All attributes are continuous
No statistics available, but suggest to standardise
variables for certain uses (e.g. for us with classifiers
which are NOT scale invariant)
NOTE: 1st attribute is class identifier (1-3)
8. Missing Attribute Values:
None
9. Class Distribution: number of instances per class
class 1 59
class 2 71
class 3 48
Обучающая выборка:
Таблица 1 – wine.data
№ Class Alcohol
Malic
acid
Ash
Alcalinity
of ash Magne-
sium
Total
phenols
Flavanoids
Nonfla_
vanoid
phenols
Proanth_
ocyanins
Color
intensity
Hue
OD280
/OD315
of diluted
wines
Proline
1
Class 1
14 2 2 16 127 3 3 0 2 6 1 4 1065
2
Class 1
13 2 2 11 100 3 3 0 1 4 1 3 1050
3
Class 1
13 2 3 19 101 3 3 0 3 6 1 3 1185
4
Class 1
14 2 3 17 113 4 3 0 2 8 1 3 1480
5
Class 1
13 3 3 21 118 3 3 0 2 4 1 3 735
6
Class 1
14 2 2 15 112 3 3 0 2 7 1 3 1450
7
Class 1
14 2 2 15 96 3 3 0 2 5 1 4 1290
8
Class 1
14 2 3 18 121 3 3 0 1 5 1 4 1295
9
Class 1
15 2 2 14 97 3 3 0 2 5 1 3 1045
10
Class 1
14 1 2 16 98 3 3 0 2 7 1 4 1045
11
Class 1
14 2 2 18 105 3 3 0 2 6 1 3 1510
12
Class 1
14 1 2 17 95 2 2 0 2 5 1 3 1280
13
Class
1
14 2 2 16 89 3 3 0 2 6 1 3 1320
14
Class 1
15 2 2 11 91 3 4 0 3 5 1 3 1150
15
Class 1
14 2 2 12 102 3 4 0 3 8 1 3 1547
16
Class 1
14 2 3 17 112 3 3 0 1 7 1 3 1310
17
Class 1
14 2 3 20 120 3 3 0 2 6 1 3 1280
18
Class 1
14 2 3 20 115 3 3 0 2 7 1 3 1130
19
Class 1
14 2 2 17 108 3 4 0 2 9 1 3 1680
20
Class 1
14 3 3 15 116 3 3 0 2 5 1 3 845
21
Class 1
14 2 2 16 126 3 3 0 2 6 1 4 780
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
6
22
Class 1
13 4 3 19 102 2 2 0 2 5 1 4 770
23
Class 1
14 2 2 17 101 3 3 0 2 4 1 4 1035
24
Class 1
13 2 3 18 95 2 2 0 1 4 1 4 1015
25
Class 1
14 2 3 20 96 3 3 0 2 4 1 4 845
26
Class 1
13 2 3 25 124 3 3 0 2 4 1 3 830
27
Class 1
13 2 3 16 93 3 3 0 1 5 1 3 1195
28
Class 1
13 2 2 17 94 2 2 0 1 4 1 3 1285
29
Class 1
14 2 3 19 107 3 3 0 2 5 1 3 915
30
Class 1
14 2 2 16 96 3 2 0 2 5 1 4 1035
31
Class 1
14 2 3 23 101 3 3 0 2 6 1 3 1285
32
Class 1
14 2 2 19 106 3 3 0 2 7 1 3 1515
33
Class 1
14 2 2 17 104 2 3 0 2 4 1 3 990
34
Class 1
14 2 3 20 132 3 3 1 1 5 1 3 1235
35
Class 1
14 2 3 19 110 2 3 0 2 4 1 3 1095
36
Class 1
13 2 2 21 100 3 3 0 2 5 1 3 920
37
Class 1
13 2 3 16 110 3 3 0 1 5 1 3 880
38
Class 1
13 2 3 18 98 2 2 0 1 4 1 3 1105
39
Class 1
13 2 2 16 98 2 3 0 1 4 1 3 1020
40
Class 1
14 4 3 13 128 3 3 0 2 5 1 4 760
41
Class 1
14 2 2 16 117 3 3 0 2 6 1 3 795
42
Class 1
13 4 2 19 90 2 3 0 1 4 1 3 1035
43
Class 1
14 2 3 15 101 3 4 0 2 5 1 4 1095
44
Class 1
13 4 2 18 103 3 3 0 2 4 1 3 680
45
Class 1
13 2 2 17 107 3 3 0 2 5 1 3 885
46
Class 1
14 4 2 19 111 3 3 0 1 5 1 3 1080
47
Class 1
14 4 2 16 102 3 3 0 2 5 1 3 1065
48
Class 1
14 2 2 16 101 3 3 0 2 6 1 3 985
49
Class 1
14 2 2 19 103 3 3 0 2 6 1 3 1060
50
Class 1
14 2 2 17 108 3 4 0 2 9 1 3 1260
51
Class 1
13 2 2 12 92 3 3 0 3 7 1 3 1150
52
Class 1
14 2 3 17 94 2 3 0 2 6 1 3 1265
53
Class 1
14 2 2 14 111 4 4 0 2 7 1 3 1190
54
Class 1
14 2 3 17 115 3 3 0 2 6 1 3 1375
55
Class 1
14 2 2 16 118 3 3 0 2 6 1 3 1060
56
Class 1
14 2 2 21 116 3 3 0 2 6 1 3 1120
57
Class 1
14 2 2 16 118 3 3 0 2 6 1 3 970
58
Class 1
13 2 3 17 102 3 3 0 2 6 1 3 1270
59
Class 1
14 1 3 17 108 3 4 0 2 7 1 3 1285
60
Class 2
12 1 1 11 88 2 1 0 0 2 1 2 520
61
Class 2
12 1 2 16 101 2 1 1 0 3 1 2 680
62
Class 2
13 1 2 17 100 2 1 1 1 6 1 2 450
63
Class 2
14 1 2 18 94 2 2 0 1 4 1 2 630
64
Class 2
12 1 2 19 87 4 3 0 2 4 1 3 420
65
Clas
s 2
12 1 3 19 104 2 2 0 1 3 1 2 355
66
Class 2
12 1 3 18 98 2 3 0 2 5 1 2 678
67
Class 2
13 1 2 15 78 3 3 0 2 5 1 3 502
68
Class 2
12 1 2 20 78 2 2 0 1 5 1 3 510
69
Class 2
13 1 2 17 110 3 1 1 0 3 1 2 750
70
Class 2
12 1 2 17 151 2 1 0 3 3 1 3 718
71
Class 2
12 2 2 20 103 1 1 0 1 3 1 2 870
72
Class 2
14 2 3 25 86 3 3 0 2 3 1 3 410
73
Class 2
13 2 2 24 87 2 2 0 1 4 1 3 472
74
Class 2
13 2 3 30 139 3 3 0 2 3 1 4 985
75
Class 2
12 1 2 21 101 3 2 0 2 3 1 3 886
76
Class 2
12 2 2 16 97 2 2 0 1 4 1 2 428
77
Class 2
13 1 2 16 86 2 2 0 1 5 1 2 392
78
Class 2
12 3 2 18 112 2 1 0 1 3 1 3 500
79
Class 2
12 1 2 15 136 2 2 0 3 3 1 2 750
80
Class 2
13 4 2 23 101 3 3 0 2 3 1 3 463
81
Class 2
12 1 2 19 86 2 2 0 1 3 1 3 278
82
Class 2
13 2 2 19 86 2 3 0 2 4 1 3 714
83
Class 2
12 1 3 24 78 2 2 0 1 2 1 3 630
84
Class 2
13 4 2 23 85 2 2 1 2 5 1 2 515
85
Class 2
12 1 3 18 94 2 2 0 2 3 1 3 520
86
Class 2
13 1 2 18 99 2 2 0 1 3 1 3 450
87
Class 2
12 2 2 23 90 2 2 0 2 2 1 2 495
88
Class 2
12 2 3 26 88 2 2 0 1 3 1 3 562
89
Class 2
12 2 2 22 84 2 2 0 1 3 1 3 680
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
7
90
Class 2
12 1 2 24 70 2 2 0 1 2 1 3 625
91
Class 2
12 2 2 19 81 2 2 1 2 2 1 2 480
92
Class 2
12 2 2 22 86 1 1 1 2 4 1 3 450
93
Class 2
13 2 2 21 80 1 1 1 2 3 1 2 495
94
Class 2
12 3 2 18 88 2 2 0 2 2 1 3 290
95
Class 2
12 2 2 18 98 3 2 0 1 3 1 3 345
96
Class 2
12 2 2 19 162 3 2 0 3 3 1 3 937
97
Class 2
12 2 3 22 134 2 1 0 2 3 1 2 625
98
Class 2
12 1 2 16 85 3 3 0 2 3 1 3 428
99
Class 2
12 1 2 19 88 4 4 0 2 5 1 3 660
100
Class 2
12 3 2 18 88 3 3 0 3 2 1 3 406
101
Class 2
12 2 2 18 97 2 2 0 1 3 1 3 710
102
Class 2
13 1 2 19 88 1 1 0 1 2 1 3 562
103
Class 2
12 2 2 21 98 3 2 0 1 3 1 3 438
104
Class 2
12 2 2 20 86 3 2 0 1 2 1 2 415
105
Class 2
13 2 2 21 85 2 2 0 1 3 1 4 672
106
Class 2
12 3 2 22 90 2 2 1 1 3 1 3 315
107
Class 2
12 2 2 19 80 2 2 0 2 3 1 3 510
108
Class 2
13 2 2 23 84 1 2 0 2 3 1 2 488
109
Class 2
12 1 2 19 92 2 2 0 2 3 1 3 312
110
Class 2
12 1 3 20 94 3 3 0 2 3 1 3 680
111
Class 2
11 4 2 20 107 3 3 0 4 3 1 3 562
112
Class
2
13 2 2 21 88 3 2 0 1 2 1 3 325
113
Class 2
12 3 3 20 103 2 2 1 1 4 1 3 607
114
Class 2
11 1 3 21 88 2 2 0 1 3 1 2 434
115
Class 2
12 1 3 23 84 3 2 0 1 3 1 3 385
116
Class 2
11 2 2 22 85 2 2 1 2 2 2 3 407
117
Class 2
12 1 2 21 86 2 2 0 2 2 1 3 495
1
18
Class 2
12 2 2 23 108 2 2 0 2 2 1 3 345
119
Class 2
13 3 2 16 80 2 1 0 1 3 1 2 372
120
Class 2
12 3 2 19 87 2 2 0 2 1 1 3 564
121
Class 2
11 2 2 20 96 3 3 0 2 3 1 3 625
122
Class 2
12 2 3 29 119 3 5 0 2 6 1 4 465
123
Class 2
12 4 3 27 102 2 2 0 2 2 1 3 365
124
Class 2
13 6 2 22 86 3 3 0 2 3 1 3 380
125
Class 2
12 4 2 21 82 3 3 0 3 3 1 4 380
126
Class 2
12 2 2 21 85 3 3 0 1 3 1 3 378
127
Class 2
12 2 2 22 86 3 3 0 2 4 1 3 352
128
Class 2
12 2 3 29 92 2 2 1 2 3 1 2 466
129
Class 2
12 2 2 25 88 2 2 0 2 2 1 3 342
130
Class 2
12 4 2 22 80 2 2 0 1 3 1 3 580
131
Class 3
13 1 2 18 122 2 1 0 1 4 1 1 630
132
Class 3
13 3 2 20 104 1 1 0 1 5 1 1 530
133
Class 3
13 2 2 24 98 1 1 0 1 6 1 1 560
134
Class 3
13 4 2 22 106 2 1 0 1 5 1 1 600
135
Class 3
13 1 2 18 85 2 1 1 1 5 1 2 650
136
Class 3
13 2 2 19 94 2 1 1 1 7 1 2 695
137
Class 3
12 5 3 21 89 1 0 1 1 4 1 1 720
138
Class 3
13 6 3 25 96 2 1 1 1 5 1 2 515
139
Class 3
13 4 2 20 88 2 0 1 1 6 1 2 580
140
Class 3
13 3 3 24 101 2 1 1 1 5 1 2 590
141
Cl
ass 3
13 3 3 21 96 2 1 1 1 5 1 2 600
142
Class 3
13 3 2 20 89 1 1 0 1 6 1 2 780
143
Class 3
14 3 3 24 97 2 1 1 1 4 1 2 520
144
Class 3
14 5 2 20 92 2 1 0 1 4 1 2 550
145
Class 3
12 4 2 19 112 1 1 0 1 8 1 2 855
146
Class 3
13 4 2 21 102 2 1 0 1 4 1 2 830
147
Class 3
14 5 2 20 80 1 0 0 1 5 1 1 415
148
Class 3
13 5 2 22 86 2 1 0 1 8 1 2 625
149
Class 3
13 3 2 22 92 2 1 0 1 8 1 2 650
150
Class 3
13 4 2 22 113 1 1 0 1 9 1 1 550
151
Class 3
14 3 3 24 123 1 2 0 1 9 1 1 500
152
Class 3
13 3 2 22 112 1 1 0 1 11 0 1 480
153
Class 3
13 2 3 26 116 2 1 0 2 7 1 1 425
154
Class 3
13 3 2 19 98 2 1 1 2 11 1 2 675
155
Class 3
13 1 2 20 103 1 1 1 1 8 1 2 640
156
Class 3
13 5 2 22 93 2 1 1 2 8 1 1 725
157
Class 3
14 4 2 20 89 2 1 0 2 9 1 2 480
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
8
158
Class 3
12 3 3 27 97 2 1 1 1 8 1 2 880
159
Class 3
14 2 3 25 98 3 1 1 3 13 1 2 660
160
Class 3
13 2 3 23 89 3 1 1 2 12 1 2 620
161
Class 3
12 4 2 21 88 2 1 1 1 8 1 2 520
162
Class 3
14 3 3 20 107 2 1 1 1 6 1 2 680
163
Class 3
13 3 3 22 106 2 1 1 1 6 1 2 570
164
C
lass 3
13 3 2 19 106 1 1 0 1 5 1 2 675
165
Class 3
14 3 2 22 90 1 1 0 1 10 1 2 615
166
Class 3
14 4 2 23 88 1 0 1 1 7 1 2 520
167
Class 3
13 4 3 23 111 2 1 0 1 11 1 2 695
168
Class 3
13 3 2 20 88 1 1 0 1 10 1 2 685
169
Class 3
14 3 3 25 105 2 1 0 2 9 1 2 750
170
Class 3
13 5 3 25 112 2 1 0 1 9 1 2 630
171
Class 3
12 3 2 19 96 1 0 0 1 6 1 2 510
172
Class 3
13 2 2 20 86 1 1 0 1 10 1 2 470
173
Class 3
14 3 2 20 91 2 1 0 1 10 1 2 660
174
Class 3
14 6 2 21 95 2 1 1 1 8 1 2 740
175
Class 3
13 4 2 23 102 2 1 0 1 7 1 2 750
176
Class 3
13 4 2 20 120 2 1 0 1 10 1 2 835
177
Class 3
13 3 2 20 120 2 1 1 1 9 1 2 840
178
Class 3
14 4 3 25 96 2 1 1 1 9 1 2 560
Поскольку ввод исходных данных в систему «Эйдос» планируется
осуществить с помощью ее универсального программного интерфейса
импорта данных из внешних баз данных, который работает с файлами MS
Excel, то преобразуем данные из html-файла в xls-файл, для чего выполним
следующие операции.
Скопируем получившуюся таблицу из MS Word в MS Excel и
запишем ее с именем: Inp_data.xls в папку: c:\Aidos-
X\AID_DATA\Inp_data\. В файле Inp_data.xls добавим пустую колонку на
позиции «A» и автоматически пронумеруем все строки. В результате
получим таблицу исходных данных, полностью подготовленную для
обработки в системе «Эйдос» и записанную в нужную папку в виде файла
нужного типа с нужным именем.
Автоматизированная формализация предметной области путем
импорта исходных данных из внешних баз данных в систему "Эйдос".
Для загрузки базы исходных данных в систему «Эйдос» необходимо
воспользоваться универсальным программным интерфейсом для ввода
данных из внешних баз данных табличного вида, т.е. режимом 2.3.2.2
(рисунок 1):
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
9
Рисунок 1. Экранная форма Универсального программного интерфейса
импорта данных в систему "Эйдос" (режим 2.3.2.2.)
В экранной форме, приведенной на рисунке 1, задать настройки,
показанные на рисунке:
− "Задайте тип файла исходных данных Inp_data": "XLS – MS Excel-
2003";
− "Задайте диапазон столбцов классификационных шкал":
"Начальный столбец классификационных шкал" – 2, "Конечный столбец
классификационных шкал" – 2 (последний столбец в таблице);
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
10
− "Задайте диапазон столбцов описательных шкал": "Начальный
столбец описательных шкал" – 3, "Конечный столбец описательных шкал"
– 12;
− "Задание параметров формирования сценариев или способа
интерпретации текстовых полей": "Не применять сценарный метод АСК-
анализа и спец.интерпретацию TXT-полей".
После нажать кнопку "ОК". Далее открывается окно, где размещена
информация о размерности модели (рисунок 2). В этом окне необходимо
нажать кнопку "Выйти на создание модели".
Рисунок 2. Задание размерности модели системы "Эйдос"
Далее открывается окно, отображающее стадию процесса импорта
данных из внешней БД "Inp_data.xls" в систему "Эйдос" (рисунок 3), а
также прогноз времени завершения этого процесса. В том окне
необходимо дождаться завершения формализации предметной области и
нажать кнопку "ОК".
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
11
Рисунок 3. Процесс импорта данных из внешней БД "Inp_data.xls"
в систему "Эйдос"
В результате формируются классификационные и описательные
шкалы и градации, с применением которых исходные данные кодируются
и представляются в форме эвентологических баз данных. Этим самым
полностью автоматизировано выполняется 2-й этап АСК- анализа
«Формализация предметной области». Для просмотра классификационных
шкал и градаций необходимо запустить режим 2.1 (рисунок 4).
Рисунок 4. Классификационные шкалы и градации (фрагмент)
Для просмотра описательных шкал и градаций необходимо
запустить режим 2.2 (рисунок 5), а обучающей выборки – режим 2.3.1.
(рисунок 6):
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
12
Рисунок 5. Описательные шкалы и градации (фрагмент)
Рисунок 6. Обучающая выборка (фрагмент)
Тем самым создаются все необходимые и достаточные предпосылки
для выявления силы и направления причинно-следственных связей между
значениями факторов и результатами их совместного системного
воздействия (с учетом нелинейности системы [10]).
Ниже приведены классификационные и описательные шкалы и
градации создаваемых моделей.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
1
ПАРАМЕТРЫ ШКАЛ И ГРАДАЦИЙ С АДАПТИВНЫМИ ГРАНИЦАМИ И ПРИМЕРНО РАВНЫМ КОЛИЧЕСТВОМ НАБЛЮДЕНИЙ ПО ГРАДАЦИЯМ
с коррекцией ошибки округления числа наблюдений по интервалу градации при переходе к следующей градации
КЛАССИФИКАЦИОННАЯ ШКАЛА: код: [ 1], наим.: "CLASS", тип/число градаций в шкале: "Равное число событий в интервалах"/3
1 Наим.градации: 1/3-Class 1
2 Наим.градации: 2/3-Class 2
3 Наим.градации: 3/3-Class 3
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 1], наим.: "ALCOHOL", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
1 Наим.градации: 1/5-{11.0300000, 12.2500000}, размер интервала= 1.2200000, расч./факт.число наблюдений на градацию: 35/35
2 Наим.градации: 2/5-{12.2500000, 12.7200000}, размер интервала= 0.4700000, расч./факт.число наблюдений на градацию: 35/35
3 Наим.градации: 3/5-{12.7200000, 13.2700000}, размер интервала= 0.5500000, расч./факт.число наблюдений на градацию: 36/36
4 Наим.градации: 4/5-{13.2700000, 13.7500000}, размер интервала= 0.4800000, расч./факт.число наблюдений на градацию: 36/36
5 Наим.градации: 5/5-{13.7500000, 14.8300000}, размер интервала= 1.0800000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 2], наим.: "MALIC ACID", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
6 Наим.градации: 1/5-{0.7400000, 1.5000000}, размер интервала=0.7600000, расч./факт.число наблюдений на градацию: 35/35
7 Наим.градации: 2/5-{1.5000000, 1.7300000}, размер интервала=0.2300000, расч./факт.число наблюдений на градацию: 35/35
8 Наим.градации: 3/5-{1.7300000, 2.1200000}, размер интервала=0.3900000, расч./факт.число наблюдений на градацию: 36/36
9 Наим.градации: 4/5-{2.1200000, 3.3700000}, размер интервала=1.2500000, расч./факт.число наблюдений на градацию: 36/36
10 Наим.градации: 5/5-{3.3700000, 5.8000000}, размер интервала=2.4300000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 3], наим.: "ASH", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
11 Наим.градации: 1/5-{1.3600000, 2.1700000}, размер интервала=0.8100000, расч./факт.число наблюдений на градацию: 35/35
12 Наим.градации: 2/5-{2.1700000, 2.3000000}, размер интервала=0.1300000, расч./факт.число наблюдений на градацию: 35/35
13 Наим.градации: 3/5-{2.3000000, 2.4100000}, размер интервала=0.1100000, расч./факт.число наблюдений на градацию: 36/36
14 Наим.градации: 4/5-{2.4100000, 2.6100000}, размер интервала=0.2000000, расч./факт.число наблюдений на градацию: 36/36
15 Наим.градации: 5/5-{2.6100000, 3.2300000}, размер интервала=0.6200000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 4], наим.: "ALCALINITY OF ASH", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
16 Наим.градации: 1/5-{10.6000000, 16.7000000}, размер интервала= 6.1000000, расч./факт.число наблюдений на градацию: 35/35
17 Наим.градации: 2/5-{16.7000000, 18.5000000}, размер интервала= 1.8000000, расч./факт.число наблюдений на градацию: 35/35
18 Наим.градации: 3/5-{18.5000000, 20.0000000}, размер интервала= 1.5000000, расч./факт.число наблюдений на градацию: 36/36
19 Наим.градации: 4/5-{20.0000000, 22.0000000}, размер интервала= 2.0000000, расч./факт.число наблюдений на градацию: 36/36
20 Наим.градации: 5/5-{22.0000000, 30.0000000}, размер интервала= 8.0000000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 5], наим.: "MAGNESIUM", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
21 Наим.градации: 1/5-{ 70.0000000, 88.0000000}, размер интервала= 18.0000000, расч./факт.число наблюдений на градацию: 35/35
22 Наим.градации: 2/5-{ 88.0000000, 94.0000000}, размер интервала= 6.0000000, расч./факт.число наблюдений на градацию: 35/35
23 Наим.градации: 3/5-{ 94.0000000, 101.0000000}, размер интервала= 7.0000000, расч./факт.число наблюдений на градацию: 36/36
24 Наим.градации: 4/5-{101.0000000, 111.0000000}, размер интервала= 10.0000000, расч./факт.число наблюдений на градацию: 36/36
25 Наим.градации: 5/5-{111.0000000, 162.0000000}, размер интервала= 51.0000000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 6], наим.: "TOTAL PHENOLS", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
26 Наим.градации: 1/5-{0.9800000, 1.6500000}, размер интервала=0.6700000, расч./факт.число наблюдений на градацию: 35/35
27 Наим.градации: 2/5-{1.6500000, 2.0200000}, размер интервала=0.3700000, расч./факт.число наблюдений на градацию: 35/35
28 Наим.градации: 3/5-{2.0200000, 2.5000000}, размер интервала=0.4800000, расч./факт.число наблюдений на градацию: 36/36
29 Наим.градации: 4/5-{2.5000000, 2.8600000}, размер интервала=0.3600000, расч./факт.число наблюдений на градацию: 36/36
30 Наим.градации: 5/5-{2.8600000, 3.8800000}, размер интервала=1.0200000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 7], наим.: "FLAVANOIDS", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
2
31 Наим.градации: 1/5-{0.3400000, 0.8300000}, размер интервала=0.4900000, расч./факт.число наблюдений на градацию: 35/35
32 Наим.градации: 2/5-{0.8300000, 1.6900000}, размер интервала=0.8600000, расч./факт.число наблюдений на градацию: 35/35
33 Наим.градации: 3/5-{1.6900000, 2.4300000}, размер интервала=0.7400000, расч./факт.число наблюдений на градацию: 36/36
34 Наим.градации: 4/5-{2.4300000, 2.9800000}, размер интервала=0.5500000, расч./факт.число наблюдений на градацию: 36/36
35 Наим.градации: 5/5-{2.9800000, 5.0800000}, размер интервала=2.1000000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 8], наим.: "NONFLAVANOID PHENOLS", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в
интервалах"/5
36 Наим.градации: 1/5-{0.1300000, 0.2600000}, размер интервала=0.1300000, расч./факт.число наблюдений на градацию: 35/35
37 Наим.градации: 2/5-{0.2600000, 0.3000000}, размер интервала=0.0400000, расч./факт.число наблюдений на градацию: 35/35
38 Наим.градации: 3/5-{0.3000000, 0.3900000}, размер интервала=0.0900000, расч./факт.число наблюдений на градацию: 36/36
39 Наим.градации: 4/5-{0.3900000, 0.4800000}, размер интервала=0.0900000, расч./факт.число наблюдений на градацию: 36/36
40 Наим.градации: 5/5-{0.4800000, 0.6600000}, размер интервала=0.1800000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 9], наим.: "PROANTHOCYANINS", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
41 Наим.градации: 1/5-{0.4100000, 1.0600000}, размер интервала=0.6500000, расч./факт.число наблюдений на градацию: 35/35
42 Наим.градации: 2/5-{1.0600000, 1.4100000}, размер интервала=0.3500000, расч./факт.число наблюдений на градацию: 35/35
43 Наим.градации: 3/5-{1.4100000, 1.6600000}, размер интервала=0.2500000, расч./факт.число наблюдений на градацию: 36/36
44 Наим.градации: 4/5-{1.6600000, 1.9800000}, размер интервала=0.3200000, расч./факт.число наблюдений на градацию: 36/36
45 Наим.градации: 5/5-{1.9800000, 3.5800000}, размер интервала=1.6000000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 10], наим.: "COLOR INTENSITY", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
46 Наим.градации: 1/5-{ 1.2800000, 2.9000000}, размер интервала= 1.6200000, расч./факт.число наблюдений на градацию: 35/35
47 Наим.градации: 2/5-{ 2.9000000, 3.9500000}, размер интервала= 1.0500000, расч./факт.число наблюдений на градацию: 35/35
48 Наим.градации: 3/5-{ 3.9500000, 5.2500000}, размер интервала= 1.3000000, расч./факт.число наблюдений на градацию: 36/36
49 Наим.градации: 4/5-{ 5.2500000, 6.9000000}, размер интервала= 1.6500000, расч./факт.число наблюдений на градацию: 36/36
50 Наим.градации: 5/5-{ 6.9000000, 13.0000000}, размер интервала= 6.1000000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 11], наим.: "HUE", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
51 Наим.градации: 1/5-{0.4800000, 0.7300000}, размер интервала=0.2500000, расч./факт.число наблюдений на градацию: 35/35
52 Наим.градации: 2/5-{0.7300000, 0.9060000}, размер интервала=0.1760000, расч./факт.число наблюдений на градацию: 35/35
53 Наим.градации: 3/5-{0.9060000, 1.0400000}, размер интервала=0.1340000, расч./факт.число наблюдений на градацию: 36/36
54 Наим.градации: 4/5-{1.0400000, 1.1500000}, размер интервала=0.1100000, расч./факт.число наблюдений на градацию: 36/36
55 Наим.градации: 5/5-{1.1500000, 1.7100000}, размер интервала=0.5600000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 12], наим.: "OD280/OD315 OF DILUTED WINES", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в
интервалах"/5
56 Наим.градации: 1/5-{1.2700000, 1.7500000}, размер интервала=0.4800000, расч./факт.число наблюдений на градацию: 35/35
57 Наим.градации: 2/5-{1.7500000, 2.5000000}, размер интервала=0.7500000, расч./факт.число наблюдений на градацию: 35/35
58 Наим.градации: 3/5-{2.5000000, 2.8800000}, размер интервала=0.3800000, расч./факт.число наблюдений на градацию: 36/36
59 Наим.градации: 4/5-{2.8800000, 3.2600000}, размер интервала=0.3800000, расч./факт.число наблюдений на градацию: 36/36
60 Наим.градации: 5/5-{3.2600000, 4.0000000}, размер интервала=0.7400000, расч./факт.число наблюдений на градацию: 36/36
ОПИСАТЕЛЬНАЯ ШКАЛА: код: [ 13], наим.: "PROLINE", набл.на шкалу (всего): 178, тип/число градаций в шкале: "Равное число событий в интервалах"/5
61 Наим.градации: 1/5-{ 278.0000000, 470.0000000}, размер интервала= 192.0000000, расч./факт.число наблюдений на градацию: 35/35
62 Наим.градации: 2/5-{ 470.0000000, 600.0000000}, размер интервала= 130.0000000, расч./факт.число наблюдений на градацию: 35/35
63 Наим.градации: 3/5-{ 600.0000000, 735.0000000}, размер интервала= 135.0000000, расч./факт.число наблюдений на градацию: 36/36
64 Наим.градации: 4/5-{ 735.0000000, 1045.0000000}, размер интервала= 310.0000000, расч./факт.число наблюдений на градацию: 36/36
65 Наим.градации: 5/5-{1045.0000000, 1680.0000000}, размер интервала= 635.0000000, расч./факт.число наблюдений на градацию: 36/36
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
1
1.3. Синтез и верификация статистических и интеллектуальных
моделей
Далее запускаем режим 3.5, в котором задаются модели для синтеза
и верификации, а также задается модель, которой по окончании режима
присваивается статус текущей (рисунок 7).
Рисунок 7. Выбор моделей для синтеза и верификации,
а также текущей модели
В данном режиме имеется много различных методов верификации
моделей, в том числе и поддерживающие бутстрепный метод. Но мы
используем параметры по умолчанию, приведенные на рисунке 10. Стадия
процесса исполнения режима 3.5 и прогноз времени его окончания
отображаются на экранной форме, приведенной на рисунке 8.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
2
Рисунок 8. Синтез и верификация статистических моделей
и моделей знаний
Интересно заметить (см. рисунок 8), что синтез и верификация всех
10 моделей на данной задаче заняли 56 секунд. При этом верификация
(оценка достоверности моделей) проводилась на всех 178 примерах
наблюдения из обучающей выборки. В результате выполнения режима 3.5
созданы все модели, со всеми частными критериями, перечисленные на
рисунке 8, но ниже мы приведем лишь некоторые из них (таблицы 2, 3, 4).
1.4. Виды моделей системы «Эйдос»
Рассмотрим решение задачи идентификации на примере модели
INF1, в которой рассчитано количество информации по А.Харкевичу,
которое мы получаем о принадлежности идентифицируемого объекта к
каждому из классов, если знаем, что у этого объекта есть некоторый
признак.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
3
По сути, частные критерии представляют собой просто формулы для
преобразования матрицы абсолютных частот (таблица 2) в матрицы
условных и безусловных процентных распределений, и матрицы знаний
(таблицы 3 и 4).
Таблица 2 – Матрица абсолютных частот (модель ABS (фрагмент)
Таблица 3 – Матрица информативностей (модель INF1) в битах (фрагмент)
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
4
Таблица 4 – Матрица знаний (модель INF3) (фрагмент)
1.5. Результаты верификации моделей
Результаты верификации (оценки достоверности) моделей,
отличающихся частными критериями с двумя приведенными выше
интегральными критериями приведены на рисунке 9.
Рисунок 9. Оценки достоверности моделей
Наиболее достоверной в данном приложении оказались модели INF1,
INF2, INF4 и INF5 при интегральном критерии «Семантический резонанс
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
5
знаний». При этом достоверность модели в соответствии с F-мерой Ван
Ризбергена составляет 0,916, что является очень хорошим результатом.
Таким образом, уровень достоверности прогнозирования с применением
модели выше, чем экспертных оценок, достоверность которых считается
равной примерно 70%. Для оценки достоверности моделей в АСК-анализе
и системе «Эйдос» используется F-критерий Ван Ризбергена, а также L-
критерий, предложенный проф.Е.В.Луценко [11] и являющийся нечетким
мультиклассовым обобщением F-критерия (рисунок 10).
Также обращает на себя внимание, что статистические модели, как
правило, дают более низкую средневзвешенную достоверность
идентификации и не идентификации, чем модели знаний, и практически
никогда – более высокую. Этим и оправдано применение моделей знаний и
интеллектуальных технологий. На рисунке 11 приведены частные
распределения уровней сходства и различия для верно и ошибочно
идентифицированных и неидентифицированных ситуаций в наиболее
достоверной модели INF4.
Рисунок 10. Виды прогнозов и принцип определения достоверности
моделей по авторскому варианту метрики, сходной с F-критерием
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
6
Рисунок 11. Частное распределение сходства-различия верно и ошибочно
идентифицированных и неидентифицированных состояний объекта
моделирования в модели INF4
Из рисунка 11 видно, что:
– наиболее достоверная модель INF4 лучше определяет
непринадлежность объекта к классу, чем принадлежность (что видно
также из рисунка 9);
– модуль уровня сходства-различия в наиболее достоверной модели
INF4 для верно идентифицированных и верно неидентифицированных
объектов значительно выше, чем для ошибочно идентифицированных и
ошибочно неидентифицированных. Это верно практически для всего
диапазона уровней сходства-различия, кроме небольших по модулю
значений в диапазоне от 0 до 20% уровня сходства. Для больших значений
уровней сходства-различия (более 20%) также различие между верно и
ошибочно идентифицированными и неидентифицированными ситуациями
очевидно и позволяет их безошибочно разделить. На этом и основано
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
7
нечеткое мультиклассовое обобщение F-меры, предложенное
проф.Е.В.Луценко (L-мера) [11].
Любые данные о наблюдениях можно считать суммой истинного
значения и шума, причем ни первое, ни второе неизвестны. Поэтому имеет
смысл сравнить созданные модели с
чисто случайными моделями,
совпадающими по основным характеристикам. В системе «Эйдос» есть
лабораторная работа № 2.01: «Исследование RND-модели при различных
объемах выборки». Если данная работа устанавливается при отсутствии
текущего приложения, то все параметры создаваемых моделей задаются
вручную, если же текущая модель существует, как в нашем случае, то все
основные ее параметры определяются автоматически (рисунок 12).
Рисунок 12. Экранная форма управления созданием случайных моделей,
совпадающих с текущей по размерностям основных баз данных
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
8
На рисунке 13 показано частное распределение сходства-различия
верно и ошибочно идентифицированных и неидентифицированных
состояний в случайной модели INF4.
Рисунок 13. Частное распределение сходства-различия верно и ошибочно
идентифицированных и неидентифицированных состояний
в случайной модели INF4
Совершенно очевидное различие частотных распределений уровней
сходства-различия верно и ошибочно идентифицированных и
неидентифицированных состояний объекта моделирования и случайной
модели (рисунки 11 и 13) объясняется тем, что в реальных моделях кроме
шума есть также и информация об истинных причинно-следственных
взаимосвязях факторов и их значений с одной стороны, и состояниями
объекта моделирования, которые ими обуславливаются, с другой стороны.
Если же такой информации в модели нет, то и распределение получается
типа, приведенного на рисунке 13.
На рисунке 14 приведены данные по достоверности статистических и
когнитивных моделей, созданных на основе случайной выборки.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
9
Рисунок 14. Достоверность статистических и когнитивных моделей,
созданных на основе случайной выборки
На основе его сравнения с рисунком 9 можно сделать следующие
выводы:
– достоверность лучшей модели INF5, отражающей реальный объект
моделирования, примерно на 34% выше, чем аналогичной случайной
модели (0,916/0,685=1,337);
– различие между достоверностью статистических моделей и
моделей знаний, созданных на основе случайной выборки, значительно
меньше, чем у моделей, отражающих реальный объект моделирования;
– в реальных моделях кроме шума есть также и информация об
истинных причинно-следственных взаимосвязях факторов и их значений с
одной стороны, и состояниями объекта моделирования, которые ими
обуславливаются, с другой стороны, причем примерно 1/3 достоверности
обусловлена отражением в реальных моделях закономерностей
предметной области, а 2/3 достоверности обусловлено наличием шума в
исходных данных. На основании этого можно предположить, что в
исходных данных уровень сигнала о реальных причинно-следственных
связях в моделируемой предметной области примерно в два раза ниже
уровня шума.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
10
2. РЕШЕНИЕ ЗАДАЧ В НАИБОЛЕЕ ДОСТОВЕРНОЙ
МОДЕЛИ
2.1. Решение задачи идентификации
В соответствии с технологией АСК-анализа зададим текущей модель
INF4 (режим 5.6) (рисунок 15) и проведем пакетное распознавание в
режиме 4.2.1 (рисунок 16):
Рисунок 15. Экранные формы режима задания модели в качестве текущей
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
11
Рисунок 16. Экранная форма режима пакетного распознавания
в текущей модели
В результате пакетного распознавания в текущей модели создается
ряд баз данных, которые визуализируются в выходных экранных формах,
отражающих результаты решения задачи идентификации и
прогнозирования.
Режим 4.1.3 системы «Эйдос» обеспечивает отображение
результатов идентификации и прогнозирования в различных формах:
1. Подробно наглядно: "Объект – классы".
2. Подробно наглядно: "Класс – объекты".
3. Итоги наглядно: "Объект – классы".
4. Итоги наглядно: "Класс – объекты".
5. Подробно сжато: "Объект – классы".
6. Обобщенная форма по достоверности моделей при разных
интегральных критериях.
7. Обобщенный статистический анализ результатов идентификации
по моделям и интегральным критериям.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
12
8. Статистический анализ результатов идентификации по классам,
моделям и интегральным критериям.
9. Распознавание уровня сходства при разных моделях и
интегральных критериях.
10.Достоверность идентификации классов при разных моделях и
интегральных критериях.
Ниже кратко рассмотрим некоторые из них.
На рисунках 17 и 18 приведены примеры прогнозов высокой и
низкой достоверности частоты и классов ирисов в наиболее достоверной
модели INF4 на основе наблюдения предыстории их развития:
Рисунок 17. Пример идентификации классов вина в модели INF4
Рисунок 18. Пример идентификации классов вина в модели INF4
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
13
2.2. Поддержка принятия решений с п мощью SWOT и PEST
матриц и диаграмм
SWOT-анализ является широко известным и общепризнанным
методом стратегического планирования. Однако это не мешает тому, что
он подвергается критике, часто вполне справедливой, обоснованной и
хорошо аргументированной. В результате критического рассмотрения
SWOT-анализа выявлено довольно много его слабых сторон (недостатков),
источником которых является необходимость привлечения экспертов, в
частности для оценки силы и направления влияния факторов. Ясно, что
эксперты это делают неформализуемым путем (интуитивно), на основе
своего профессионального опыта и компетенции. Но возможности
экспертов имеют свои ограничения и часто по различным причинам они не
могут и не хотят это сделать. Таким образом, возникает проблема
проведения SWOT-анализа без привлечения экспертов. Эта проблема
может решаться путем автоматизации функций экспертов, т.е. путем
измерения силы и направления влияния факторов непосредственно на
основе эмпирических данных. Подобная технология разработана давно, ей
уже около 30 лет, но она малоизвестна – это интеллектуальная система
«Эйдос». Данная система всегда обеспечивала возможность проведения
количественного автоматизированного SWOT-анализа без использования
экспертных оценок непосредственно на основе эмпирических данных [12].
Результаты SWOT-анализа выводились в форме информационных
портретов. В версии системы под MS Windows: «Эйдос-Х++» предложено
автоматизированное количественное решение прямой и обратной задач
SWOT-анализа с построением традиционных SWOT-матриц и диаграмм
(рисунок 21).
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
14
Рисунок 21. Пример SWOT-матрицы и SWOT-диаграммы в модели INF4
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
15
2.3. Наглядное отображение эмпирических закономерностей с
помощью когнитивных функций
Рассмотрим режим 4.5, в котором реализована возможность
визуализации когнитивных функций для любых моделей и любых
сочетаний классификационных и описательных шкал (рисунок 19)
Рисунок 19. Экранная форма режима 4.5 системы «Эйдос-Х++»
«Визуализация когнитивных функций»
Применительно к задаче, рассматриваемой в данной работе,
когнитивная функция показывает, какое количество информации
содержится в различных значениях факторов о том, что объект
моделирования перейдет в те или иные будущие состояния. Когнитивным
функциям посвящено много работ автора, но наиболее новой и
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
16
обобщающей из них является работа [26]. Поэтому здесь не будем
останавливаться на описании того, что представляют собой когнитивные
функции в АСК-анализе. На рисунках 20. приведены визуализации всех
когнитивных функций данного приложения для модели INF4.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
17
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
18
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
19
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
20
Рисунок 20. Визуализация когнитивных функций для обобщенных классов
и всех описательных шкал для модели INF4
Когнитивные функции являются графической визуализацией
содержательных феноменологических моделей, формируемых
интеллектуальной системой «Эйдос» и являются непосредственной
основой для разработки научных гипотез, содержательно объясняющих
причины существования отраженных в этих функциях эмпирических
закономерностей.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
21
ЗАКЛЮЧЕНИЕ
Так как существует множество систем искусственного интеллекта, то
возникает необходимость сопоставимой оценки качества их
математических моделей. Одним из вариантов решения этой задачи
является тестирование различных системы на общей базе исходных
данных, для чего очень удобно использовать общедоступную базу
репозитория UCI. В данной работе приводится развернутый пример
использования базы данных репозитория UCI для оценки качества
математических моделей, применяемых в АСК-анализе и его программном
инструментарии системе искусственного интеллекта «Эйдос». При этом
наиболее достоверной в данном приложении оказались модели INF4,
основанная на семантической мере целесообразности информации
А.Харкевича при интегральном критерии «Сумма знаний». Достоверность
модели составляет 0,916, что заметно выше, чем достоверность экспертных
оценок, которая считается равной около 70%. Для оценки достоверности
моделей в АСК-анализе и системе «Эйдос» используется с F-критерий и
его нечеткое мультиклассовое обобщение, предложенное
проф.Е.В.Луценко (L-критерий) [11]. Также обращает на себя внимание,
что статистические модели в данном приложении дают примерно на 21%
более низкую средневзвешенную достоверность идентификации и не
идентификации, чем модели знаний, что, как правило, наблюдается и в
других приложениях. Этим и оправдано применение моделей знаний.
На основе базы данных UCI, рассмотренной в данной работе,
построить модели прогнозирования не с помощью АСК-анализа и
реализующей его системы «Эйдос», а с применением других
математических методов и реализующих их программных систем, то
можно сопоставимо сравнить их качество.
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
22
Литература
1. Луценко Е.В. Методика использования репозитория UCI для оценки качества
математических моделей систем искусственного интеллекта / Е.В. Луценко //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный
ресурс]. – Краснодар: КубГАУ, 2003. – №02(002). С. 120 – 145. – IDA [article ID]:
0020302012. – Режим доступа: http://ej.kubagro.ru/2003/02/pdf/12.pdf, 1,625 у.п.л.
2. Луценко Е.В. АСК-анализ, моделирование и идентификация живых существ на
основе их фенотипических признаков / Е.В. Луценко, Ю.Н. Пенкина //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный
ресурс]. – Краснодар: Куб- ГАУ, 2014. – №06(100). С. 1346 – 1395. – IDA [article ID]:
1001406090. – Режим доступа: http://ej.kubagro.ru/2014/06/pdf/90.pdf, 3,125 у.п.л.
3. Луценко Е.В. Теоретические основы, технология и инструментарий автомати-
зированного системно-когнитивного анализа и возможности его применения для
сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрно- го университета (Научный журнал КубГАУ) [Электронный
ресурс]. – Краснодар: Куб- ГАУ, 2013. – №04(088). С. 340 – 359. – IDA [article ID]:
0881304022. – Режим доступа: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 у.п.л.
4. Луценко Е.В. Автоматизированный системно-когнитивный анализ в
управлении активными объектами (системная теория информации и ее применение в
исследовании экономических, социально-психологических, технологических и
организационно-технических систем): Монография (научное издание). – Краснодар:
КубГАУ. 2002. – 605 с.
5. [Электронный ресурс]. Статья "baza dannix sotrudnikov":
http://allexcel.ru/gotovye-tablitsy-excel-besplatno, свободный. - Загл. с экрана. Яз. анг.
6. Сайт профессора Е.В.Луценко [Электронный ресурс]. Режим доступа:
http://lc.kubagro.ru/, свободный. - Загл. с экрана. Яз. рус.
7. Луценко Е.В. 30 лет системе «Эйдос» – одной из старейших отечественных
универсальных систем искусственного интеллекта, широко применяемых и
развивающихся и в настоящее время / Е.В. Луценко // Политематический сетевой
электронный научный журнал Кубанского государственного аграрного университета
(Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2009. –
№10(054). С. 48 – 77. – Шифр Информрегистра: 0420900012\0110, IDA [article ID]:
0540910004. – Режим доступа: http://ej.kubagro.ru/2009/10/pdf/04.pdf, 1,875 у.п.л.
8. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос-
Х++» / Е.В. Луценко // Политематический сетевой электронный научный журнал
Кубанского государственного аграрного университета (Научный журнал КубГАУ)
[Электронный ресурс]. – Краснодар: КубГАУ, 2012. – №09(083). С. 328 – 356. – IDA
[article ID]: 0831209025. – Режим доступа: http://ej.kubagro.ru/2012/09/pdf/25.pdf, 1,812
у.п.л.
9. Луценко Е.В. Прогнозирование количества и классов солнечных вспышек на
основе их предыстории по данным репозитория UCI с применением АСК-анализа и
интеллектуальной системы «Эйдос» / Е.В. Луценко, А.Ю. Боровко //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
23
ресурс]. – Краснодар: КубГАУ, 2014. – №10(104). С. 1309 – 1370. – IDA [article ID]:
1041410099. – Режим доступа: http://ej.kubagro.ru/2014/10/pdf/99.pdf, 3,875 у.п.л.
10. Луценко Е.В. Моделирование сложных многофакторных нелинейных объектов
управления на основе фрагментированных зашумленных эмпирических данных
большой размерности в системно-когнитивном анализе и интеллектуальной системе
«Эйдос-Х++» / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой
электронный научный журнал Кубанского государственного аграрного университета
(Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2013. –
№07(091). С. 164 – 188. – IDA [article ID]: 0911307012. – Режим доступа:
http://ej.kubagro.ru/2013/07/pdf/12.pdf, 1,562 у.п.л.
11. Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры
достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Луценко
Е.В. // Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный
ресурс]. – Краснодар: КубГАУ, 2016. – №09(123). – Режим доступа:
http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,813 у.п.л. – IDA [article ID]: 1231609001.
http://dx.doi.org/10.21515/1990-4665-123-001
12. Луценко Е.В. Количественный автоматизированный SWOT- и PEST-анализ
средствами АСК-анализа и интеллектуальной системы «Эйдос-Х++» / Е.В. Луценко //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный
ресурс]. – Краснодар: КубГАУ, 2014. – №07(101). С. 1367 – 1409. – IDA [article ID]:
1011407090. – Режим доступа: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 у.п.л.
13. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика.
Монография (научное издание). – Краснодар, КубГАУ. 2014. – 600 с. ISBN 978-5-
94672-757-0. http://elibrary.ru/item.asp?id=21358220
Literatura
1. Lucenko E.V. Metodika ispol'zovanija repozitorija UCI dlja ocenki kachestva
matematicheskih modelej sistem iskusstvennogo intellekta / E.V. Lucenko //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo
agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar:
KubGAU, 2003. – №02(002). S. 120 – 145. – IDA [article ID]: 0020302012. – Rezhim
dostupa: http://ej.kubagro.ru/2003/02/pdf/12.pdf, 1,625 u.p.l.
2. Lucenko E.V. ASK-analiz, modelirovanie i identifikacija zhivyh sushhestv na
osnove ih fenotipicheskih priznakov / E.V. Lucenko, Ju.N. Penkina // Politematicheskij
setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta
(Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: Kub- GAU, 2014. –
№06(100). S. 1346 – 1395. – IDA [article ID]: 1001406090. – Rezhim dostupa:
http://ej.kubagro.ru/2014/06/pdf/90.pdf, 3,125 u.p.l.
3. Lucenko E.V. Teoreticheskie osnovy, tehnologija i instrumentarij avtomati-
zirovannogo sistemno-kognitivnogo analiza i vozmozhnosti ego primenenija dlja
sopostavimoj ocenki jeffektivnosti vuzov / E.V. Lucenko, V.E. Korzhakov //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo
agrarno- go universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar:
Kub- GAU, 2013. – №04(088). S. 340 – 359. – IDA [article ID]: 0881304022. – Rezhim
dostupa: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 u.p.l.
4. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravlenii
aktivnymi ob#ektami (sistemnaja teorija informacii i ee primenenie v issledovanii
Научный журнал КубГАУ, №124(10), 2016 года
http://ej.kubagro.ru/2016/10/pdf/04.pdf
24
jekonomicheskih, social'no-psihologicheskih, tehnologicheskih i organizacionno-tehnicheskih
sistem): Monografija (nauchnoe izdanie). – Krasnodar: KubGAU. 2002. – 605 s.
5. [Jelektronnyj resurs]. Stat'ja "baza dannix sotrudnikov": http://allexcel.ru/gotovye-
tablitsy-excel-besplatno, svobodnyj. - Zagl. s jekrana. Jaz. ang.
6. Sajt professora E.V.Lucenko [Jelektronnyj resurs]. Rezhim dostupa:
http://lc.kubagro.ru/, svobodnyj. - Zagl. s jekrana. Jaz. rus.
7. Lucenko E.V. 30 let sisteme «Jejdos» – odnoj iz starejshih otechestvennyh
universal'nyh sistem iskusstvennogo intellekta, shiroko primenjaemyh i razvivajushhihsja i v
nastojashhee vremja / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj
zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU)
[Jelektronnyj resurs]. – Krasnodar: KubGAU, 2009. – №10(054). S. 48 – 77. – Shifr
Informregistra: 0420900012\0110, IDA [article ID]: 0540910004. – Rezhim dostupa:
http://ej.kubagro.ru/2009/10/pdf/04.pdf, 1,875 u.p.l.
8. Lucenko E.V. Universal'naja kognitivnaja analiticheskaja sistema «Jejdos- H++» /
E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo
gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
– Krasnodar: KubGAU, 2012. – №09(083). S. 328 – 356. – IDA [article ID]: 0831209025. –
Rezhim dostupa: http://ej.kubagro.ru/2012/09/pdf/25.pdf, 1,812 u.p.l.
9. Lucenko E.V. Prognozirovanie kolichestva i klassov solnechnyh vspyshek na
osnove ih predystorii po dannym repozitorija UCI s primeneniem ASK-analiza i
intellektual'noj sistemy «Jejdos» / E.V. Lucenko, A.Ju. Borovko // Politematicheskij setevoj
jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta
(Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar: KubGAU, 2014. –
№10(104). S. 1309 – 1370. – IDA [article ID]: 1041410099. – Rezhim dostupa:
http://ej.kubagro.ru/2014/10/pdf/99.pdf, 3,875 u.p.l.
10. Lucenko E.V. Modelirovanie slozhnyh mnogofaktornyh nelinejnyh ob#ektov
upravlenija na osnove fragmentirovannyh zashumlennyh jempiricheskih dannyh bol'shoj
razmernosti v sistemno-kognitivnom analize i intellektual'noj sisteme «Jejdos-H++» / E.V.
Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal
Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU)
[Jelektronnyj resurs]. – Krasnodar: KubGAU, 2013. – №07(091). S. 164 – 188. – IDA [article
ID]: 0911307012. – Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/12.pdf, 1,562 u.p.l.
11. Lucenko E.V. Nechetkoe mul'tiklassovoe obobshhenie klassicheskoj F-mery
dostovernosti modelej Van Rizbergena v ASK-analize i sisteme «Jejdos» / Lucenko E.V. //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo
agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar:
KubGAU, 2016. – №09(123). – Rezhim dostupa: http://ej.kubagro.ru/2016/09/pdf/01.pdf,
1,813 u.p.l. – IDA [article ID]: 1231609001. http://dx.doi.org/10.21515/1990-4665-123-001
12. Lucenko E.V. Kolichestvennyj avtomatizirovannyj SWOT- i PEST-analiz
sredstvami ASK-analiza i intellektual'noj sistemy «Jejdos-H++» / E.V. Lucenko //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo
agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. – Krasnodar:
KubGAU, 2014. – №07(101). S. 1367 – 1409. – IDA [article ID]: 1011407090. – Rezhim
dostupa: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 u.p.l.
13. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika.
Monografija (nauchnoe izdanie). – Krasnodar, KubGAU. 2014. – 600 s. ISBN 978-5-94672-
757-0. http://elibrary.ru/item.asp?id=21358220