CC BY
31
УДК 004.8
08.00.13 Математические и инструментальные методы экономики (экономические науки)
РАЗВИТЫЙ АЛГОРИТМ ПРИНЯТИЯ РЕШЕНИЙ В ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ УПРАВЛЕНИЯ НА ОСНОВЕ АСК-АНАЛИЗА И СИСТЕМЫ «ЭЙДОС»1
Луценко Евгений Вениаминович
д.э.н., к.т.н., профессор
Web of Science ResearcherID S-8667-2018
Scopus Author ID: 57188763047
РИНЦ SPIN-код: 9523-7101
prof.lutsenko@gmail.com http://lc.kubagro.ru
https://www.researchgate.net/profile/Eugene Lutsenko
Печурина Елена Каримовна РИНЦ SPIN-код: 1952-4286 geskov@mail.ru
Сергеев Александр Эдуардович
к.ф.-м.н, доцент
РИНЦ SPIN-код: 7837-9566
Кубанский Государственный Аграрный университет имени И.Т.Трубилина, Краснодар, Россия
Традиционно, управляющие решения принимаются путем многократного решения задачи прогнозирования при различных значениях управляющих факторов и выбора такого их сочетания, которое обеспечивает перевод объекта управления в целевое состояние. Однако на реальные объекты управления действуют сотни и тысячи управляющих факторов, каждый из которых может иметь десятки значений. Полный перебор всех возможных сочетаний значений управляющих факторов приводит к необходимости решения задачи прогнозирования десятки и сотни тысяч и даже миллионы раз для принятия одного решения, и это является совершенно неприемлемым на практике. Поэтому необходим метод принятия решений не требующий значительных вычислительных ресурсов. Таким образом, налицо противоречие между фактическими и желаемым, в чем и состоит проблема, решаемая в работе. В данной работе предлагается развитый алгоритм принятия решений путем однократного решения обратной задачи прогнозирования (автоматизированный SWOT-анализ), использующий результаты кластерно-конструктивного анализа целевых состояний объекта управления и значений факторов и однократного решения задачи прогнозирования. Этим и обуславливается актуальность темы работы. Цель работы состоит в
UDC 004.8
08.00.13 - Mathematical and instrumental methods of Economics (economic sciences)
A DEVELOPED DECISION-MAKING ALGORITHM IN INTELLIGENT CONTROL SYSTEMS BASED ON THE ASC-ANALYSIS AND THE "EIDOS" SYSTEM
Lutsenko Evgeny Veniaminovich
Doctor of Economics, Cand.Tech.Sci., Professor
Web of Science ResearcherlD S-8667-2018
Scopus Author ID: 57188763047
RSCI SPIN code: 9523-7101
prof. lutsenko@gmail.com http://lc.kubagro.ru
https://www.researchgate.net/profile/Eugene Lutsenko
Pechurina Elena Karimovna RSCI SPIN code: 1952-4286 geskov@mail.ru
Sergeev Alexander Eduardovich Cand.Phys.-Math.Sci., Associate Professor RSCI SPIN code: 7837-9566 Kuban State Agrarian University named after I.T. Trubilin, Krasnodar, Russia
Traditionally, control decisions are made by solving repeatedly the forecasting problem for different values of control factors and choosing a combination of them that ensures the transfer of the control object to the target state. However, real control objects are affected by hundreds or thousands of control factors, each of which can have dozens of values. A complete search of all possible combinations of values of control factors leads to the need to solve the problem of forecasting tens or hundreds of thousands or even millions of times to make a single decision, and this is completely unacceptable in practice. Therefore, we need a decision-making method that does not require significant computing resources. Thus, there is a contradiction between the actual and the desired, a contradiction between them, which is the problem to be solved in the work. In this work, we propose a developed algorithm for decision-making by solving the inverse forecasting problem once (automated SWOT analysis), using the results of cluster-constructive analysis of the target states of the control object and the values of factors and a single solution of the forecasting problem. This determines the relevance of the topic. The purpose of the work is to solve the problem. By decomposing the goal, we have formulated the following tasks, which are the stages of achieving the goal: cognitive-target structuring of the subject area; formalization of the subject area (development of classification and descriptive scales and gradations and formation of a
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-010-00076
решении поставленной проблемы. Путем декомпозиции цели сформулированы следующие задачи, являющиеся этапами достижения цели. Когнитивно-целевая структуризация предметной области; формализация предметной области (разработка классификационных и описательных шкал и градаций и формирование обучающей выборки); синтез, верификация и повышение достоверности модели объекта управления; прогнозирование, принятие решений и исследование объекта управления путем исследования его модели. В качестве метода решения поставленных задач применяется автоматизированный системно-когнитивный анализ и его программный инструментарий -интеллектуальная система «Эйдос». В результате работы предложен развитый алгоритм приятия решений, применимый в интеллектуальных системах управления. Основной вывод по результатам работы состоит в том, что предлагаемый подход позволил успешно решить поставленную проблему
Ключевые слова: АСК-АНАЛИЗ, СИСТЕМА «ЭЙДОС», ПРИНЯТИЕ РЕШЕНИЙ, АВТОМАТИЗИРОВАННЫЙ SWOT-АНАЛИЗ, КЛАСТЕРНО-КОНСТРУКТИВНЫЙ АНАЛИЗ
training sample); synthesis, verification and increasing the reliability of the model of the control object; forecasting, decision-making and research of the control object by studying its model. The study uses the automated system-cognitive analysis and its software tools (the intelligent system called "Eidos") as a method for solving the set tasks. As a result of the work, we propose a developed decision-making algorithm, which is applicable in intelligent control systems. The main conclusion of the work is that the proposed approach has successfully solved the problem
Keywords: ASC-ANALYSIS, EIDOS SYSTEM, DECISION-MAKING, AUTOMATED SWOT ANALYSIS, CLUSTER-CONSTRUCTIVE ANALYSIS
DOI: http://dx.doi.org/10.21515/1990-4665-160-009
СОДЕРЖАНИЕ
1. ВВЕДЕНИЕ......................................................................................................................................................2
2. ПОСТАНОВКА ЗАДАЧИ..............................................................................................................................3
3. О ТЕОРИИ АСК-АНАЛИЗА.........................................................................................................................4
4. ЗАДАЧА-2. СИНТЕЗ СТАТИСТИЧЕСКИХ И СИСТЕМНО-КОГНИТИВНЫХ МОДЕЛЕЙ (МНОГОПАРАМЕТРИЧЕСКАЯ ТИПИЗАЦИЯ), ЧАСТНЫЕ КРИТЕРИИ ЗНАНИЙ.......................5
5. ЗАДАЧА-З. РЕШЕНИЕ ЗАДАЧИ СИСТЕМНОЙ ИДЕНТИФИКАЦИИ, ИНТЕГРАЛЬНЫЕ КРИТЕРИИ..........................................................................................................................................................9
6. 8,^Т-АНАЛИЗ - КАК РЕШЕНИЕ ЗАДАЧИ ПРИНЯТИЯ РЕШЕНИЙ В УПРОЩЕННОМ ВАРИАНТЕ........................................................................................................................................................11
7. РАЗВИТЫЙ АЛГОРИТМ ПРИНЯТИЯ РЕШЕНИЙ АСК-АНАЛИЗА..............................................11
8. ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ..............................................................................................................15
9. ВЫВОДЫ И ЗАКЛЮЧЕНИЕ.....................................................................................................................17
10. ИСТОЧНИК ФИНАНСИРОВАНИЯ, БЛАГОДАРНОСТИ...............................................................17
СПИСОК ИСТОЧНИКОВ..............................................................................................................................17
1. Введение
Проблема принятия решений в интеллектуальных системах управления и принятия решений с применением интеллектуальных систем не нова.
Решению этой проблемы посвящено большое количество работ различных авторов: Еремеев, А. П., Варшавский, П. Р. (2009), Карелин, В. П. (2011), Розенберг, И. Н., Цветков, В. Я. (2011), Подвальный, С. Л., Васильев, Е. М. (2014), Маркелов, В. М., Соловьев, И. В., Цветков, В. Я. (2014), Кузнецов, О. П. (2009), Геловани, В. А. и др. (2001).
Однако предлагаемые в этих работах подходы к решению поставленной проблемы по ряду причин сложно применить на практике. Среди этих причин следует отметить:
- отсутствие сопоставимости обработки в одной математической модели разнородных по своей природе факторов, измеряемых в различных типах шкал (номинальных, порядковых и числовых) и в различных единицах измерения;
- жесткие не достижимые на практике требования к качеству исходных данных для решения задач (высокая точность, полнота, взаимная независимость и т.п.);
- очень высокие затраты вычислительных ресурсов и времени;
- отсутствие программного обеспечения персонального уровня (с нулевым порогом входа), реализующего предлагаемые подходы и находящегося в полном открытом бесплатном доступе.
Поэтому необходим корректный и не предъявляющих жестких и практически недостижимых требований к исходным данным метод принятия решений не требующий значительных вычислительных ресурсов и реализуемый открытым программам обеспечением. Для реализации этого метода необходимо разработать развитый алгоритм, обеспечивающий принятие решений путем однократного решения обратной задачи прогнозирования (автоматизированный SWOT-анализ) и использующий результаты кластерно-конструктивного анализа целевых состояний объекта управления и значений факторов и однократного решения задачи прогнозирования.
Целью данной статьи и является разработка такого алгоритма, чем и обусловлена ее актуальность.
2. Постановка задачи
Для разработки развитого алгоритма принятия решений для интеллектуальных систем управления предлагается применить метод автоматизированного системно-когнитивного анализа (АСК-анализ) (Луценко 2002).
Этот метод предполагает решение следующих задач:
1. Когнитивно-целевая структуризация и формализация предметной области (разработка классификационных и описательных шкал и градаций и формирование обучающей выборки).
2. Синтез, верификация и повышение достоверности модели объекта управления.
3. Идентификация, прогнозирование, принятие решений.
4. Исследование объекта управления путем исследования его модели.
Ниже кратко рассмотрим принципы решения 2-й и 3-й задач.
3. О теории АСК-анализа
АСК-анализ представляет собой теорию и метод количественного выявления в сопоставимой форме силы и направления причинно-следственных зависимостей в неполных зашумленных данных очень большой размерности числовой и не числовой природы, измеряемых в различных типах шкал и единицах измерения (Луценко 2002). Математическая модель и алгоритмы АСК-анализа приведены работе автора (2002). Суть АСК-анализа состоит в том, что он обеспечивает преобразование эмпирических данных в информацию, а ее в знания и применение этих знаний для идентификации, прогнозирования, принятия решений и исследования объекта моделирования и управления путем исследования его модели (рис. 1).
АСК-анализ имеет свой программный инструментарий, в качестве которого в настоящее время выступает персональная интерактивная интеллектуальная он-лайн среда для обучения и научных исследований «Эй-дос» (Луценко 2017). Система «Эйдос» характеризуется рядом преимуществ перед аналогами, которые отражены на сайте автора: http://lc.kubagro.ru/aidos/index.htm/.
Этот программный инструментарий может и неоднократно был успешно применен в составе управляющей системы интеллектуальной автоматизированной системы управления для принятия решений об управляющем воздействии на объект управления (Луценко и др. 2002, 2010, 2017) (рис. 2).
О соотношении содержания понятий: «Данные», «Информация» и «Знания»
Рисунок выполнен автором
Рис. 1. Преобразование эмпирических данных в информацию, а ее в знания
Рисунок выполнен автором
Рис. 2. Принципиальная схема замкнутой адаптивной интеллектуальной автоматизированной системы управления
4. Задача-2. Синтез статистических и системно-когнитивных моделей (многопараметрическая типизация), частные критерии знаний
Математическая модель АСК-анализа и системы «Эйдос» основана на системной нечеткой интервальной математике и обеспечивает сопоставимую обработку больших объемов фрагментированных и зашумленных взаимозависимых данных, представленных в различных типах шкал (номинальных, порядковых и числовых) и различных единицах измерения. Суть математической модели АСК-анализа состоит в следующем. Непосредственно на основе эмпирических данных рассчитывается матрица абсолютных частот (таблица 1). На ее основе рассчитываются матрицы условных и безусловных процентных распределений (таблица 2).
Отметим, что в АСК-анализе и его программном инструментарии интеллектуальной системе «Эйдос» используется два способа расчета матриц условных и безусловных процентных распределений:
1-й способ: в качестве используется суммарное количество
признаков по классу;
2-й способ: в качестве используется суммарное количество
объектов обучающей выборки по классу.
Таблица 1- Матрица абсолютных частот (статистическая модель ЛБ8)
Классы Сумма
1 1 W
Значения факторов 1 N
г N/1 N/w ш I N У=1
М N N
Суммарное количество Признаков по классу N У = N У ш м ^=I /=1 у=1
Суммарное количество объектов обучающей выборки по классу ш N г = IN У=1
Таблица 2 - Матрица условных и безусловных процентных распределений (статистические модели РЯС! и РЯС2)
Классы Безусловная вероятность признака
1 1 W
Значения факторов 1 Р11 Р1У Р 1 ш
г Р /Р II N N У У: Р /ш Р = N а Р N
М Р 1 М1 Р ГмУ Р 1 мш
Безусловная вероятность класса Ру
Затем на основе таблицы 1 с использованием частных критериев, знаний приведенных таблице 3, рассчитываются матрицы системно-когнитивных моделей (таблица 4).
Таблица 3 - Различные аналитические формы частных критериев знаний
Наименование модели знаний и частный критерий Выражение для частного критерия
через относительные частоты через абсолютные частоты
ABS, матрица абсолютных частот — NJ
PRC1, матрица условных и безусловных процентных распределений, в качестве NS]- используется суммарное количество признаков по классу — P = N - N]
PRC2, матрица условных и безусловных процентных распределений, в качестве NS- используется суммарное количество объектов обучающей выборки по классу — P II N N
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета вероятностей: N- - суммарное количество признаков по J-му классу. Вероятность того, что если у объекта j-го класса обнаружен признак, то это i-й признак Р- = Yx Log 2 P N„N I ■ = Yx Log2 —-— NN, 1 J
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по J-му классу. Вероятность того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак. I- = Yx Log 2 P NN I ■ = Yx Log2 —j— 2 NN, ' J
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами — N,N, I ■ = N ■ 1 1 j j N
INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу P P - P I = j 1 = - ' j P P N,,N I ■ = - 1 1 N N j
INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу P P - P I = j 1 = - ' j P P N,,N I ■ = 1 1 1 N N J
INF6, частный критерий: разность условной и безусловной вероятностей, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу P- = P- - P I = N - N v N] N
INF7, частный критерий: разность условной и безусловной вероятностей, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу P- = P] - P ¡ = N - N v N] N
Обозначения к таблице 3: I - значение прошлого параметра; ] - значение будущего параметра;
N ц - количество встреч Ц-го значения будущего параметра при 1-м значении прошлого параметра;
М- суммарное число значений всех прошлых параметров;
Ж - суммарное число значений всех будущих параметров.
N1 - количество встреч 1-м значения прошлого параметра по всей выборке;
N - количество встреч"-го значения будущего параметра по всей выборке;
N - количество встреч"-го значения будущего параметра при 1-м значении прошлого
параметра по всей выборке.
¡1 - частный критерий знаний: количество знаний в факте наблюдения ¡-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее "му значению будущего параметра;
¥ - нормировочный коэффициент (Е.В.Луценко, 2002), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;
Р{ - безусловная относительная частота встречи ¡-го значения прошлого параметра в обучающей выборке;
Р" - условная относительная частота встречи ¡-го значения прошлого параметра при "-м значении будущего параметра .
Таблица 4 - Матрица системно-когнитивной модели
Классы Значимость фактора
1 1 W
Значения факторов 1 ¡Ш ^ = ^ 1 ш 2 ж- 1Е ^- )
г ¡¡Ж 1 Ж 2 1 Е (I- -I) ш -1''
М ¡М1 1Мц ¡МЖ = 2 1 ш 2 ш-1Е (1М" 1М)
Степень редукции класса н=2 1 ЖМ 2 1 ЕЕ(4 I) (Ж ■ М-1) 1=11=1^ 7
Суть этих методов в том, что вычисляется количество информации в значении фактора о том, что объект моделирования перейдет под его действием в определенное состояние, соответствующее классу. Это позволяет сопоставимо и корректно обрабатывать разнородную информацию о наблюдениях объекта моделирования, представленную в различных типах измерительных шкал и различных единицах измерения. На основе системно-когнитивных моделей, представленных в таблице 4 (отличаются частыми критериями, приведенными в таблице 3), решаются задачи идентификации (классификации, распознавания, диагностики, прогнозирования), поддержки принятия решений (обратная задача прогнозирования), а также задача исследования моделируемой предметной области путем исследования ее системно-когнитивной модели. Отметим,
что как значимость значения фактора, степень детерминированности класса и ценность или качество модели в АСК-анализе рассматривается вариабельность значений частных критериев этого значения фактора, класса или модели в целом.
Численно эта вариабельность может измеряться разными способами, например средним отклонением модулей частных критериев от среднего, дисперсией или среднеквадратичным отклонением или его квадратом. В системе «Эйдос» принят последний вариант, т.к. эта величина совпадает с мощностью сигнала, в частности мощностью информации, а в АСК-анализе все модели рассматриваются в как источник информации об объекте моделирования.
5. Задача-З. Решение задачи системной идентификации, интегральные критерии
Как влияет на поведение объекта моделирования одно значение фактора, отражено в системно-когнитивных моделях. Как влияет система значений факторов, определяется с помощью интегральных критериев. В интегральном критерии используется система частных критериев и их значения сводятся к одному значению интегрального критерия. Поэтому вычисление значений интегрального критерия сходства объекта распознаваемой (ее еще называют тестовой) выборки с обобщенными образами всех классов называется системной идентификацией.
В настоящее время в системе «Эйдос» используется два аддитивных интегральных критерия:
- сумма знаний;
- резонанс знаний.
1-й интегральный критерий «Сумма знаний» представляет собой суммарное количество знаний, содержащееся в системе значений факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.
Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний:
ij = ( r , Ц).
В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:
м
= £1L.
i=1
где: M - количество градаций описательных шкал (признаков);
hj = {Iij } - вектор состояния j-го класса;
А — (А } - вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:
1, если - -й фактор действует;
Ьг — < п, где: п > 0, если - - й фактор действует с истинностью п;
0, если - - й фактор не действует.
В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или п, если он присутствует у объекта с интенсивностью п, т.е. представлен п раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).
Если представить информацию распознаваемой выборки в виде матрицы, в которой каждая строка будет описывать один объект распознаваемой выборки, то операцию распознавания этой выборки с помощью 1-го интегрального критерия можно представить себе как операцию умножения матрицы распознаваемой выборки на матрицу статистической или системно-когнитивной модели. Результатом является матрица произведения, в которой каждый элемент является суммой произведений элементов соответствующих строки распознаваемой матрицы и столбца модели.
2-й интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.
Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний и имеет вид:
¡1 —Е (¡"-¡" )(а -1),
где:
—" - среднеквадратичное отклонение частных критериев знаний вектора класса;
—I - среднеквадратичное отклонение по вектору распознаваемого объекта.
Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния ]-го класса и состояния распознаваемого объекта.
6. SWOT-анализ - как решение задачи принятия решений в упрощенном варианте
На основе этих примеров система провела многопараметрическую типизацию и сформировала обобщенные образы классов, соответствующих различным формам сознания.
Результаты этой многопараметрической типизации представляют собой большой интерес, так как отражают не просто наличие того или иного значения критерия классификации у каждой из форм сознания, но и количественно отражают, какие значения критериев классификации и в какой степени характерны, а какие и в какой степени нехарактерны для каждой формы сознания.
В упрощенном варианте задача принятия решений является обратной по отношению к задаче прогнозирования. Если при прогнозировании по значениям факторов, действующих на объект управления, определяется, в какое будущее состояние под их действием перейдет объект управления, то при принятии решений наоборот: по заданному целевому состоянию объекта управления определится совокупность значений факторов, которые обуславливают переход объекта управления в это целевое состояние.
В АСК-анализе 8ШОТ-анализ автоматизирован (Луценко, 1987), т.е. 8ШОТ-матрица формируется не на основе неформализованных экспертных оценок, основанных на опыте, интуиции и профессиональной компетенции, а рассчитывается на основе математических системно-когнитивных моделей, сформированных непосредственно на основе эмпирических данных (см. 2-й акт внедрения: http://lc.kubagro.ru/aidos/aidos02/PR-4.htm, левую часть 8ШОТ-марицы, содержащие способствующие факторы, в 1987 году автор называл «позитивный информационный портрет», а правую часть, содержащую препятствующие факторы - «негативный информационный портрет»).
7. Развитый алгоритм принятия решений АСК-анализа
Предлагается следующий развитый алгоритм принятия решений в интеллектуальных системах управления на основе АСК-анализа и системы «Эйдос» (рис. 3).
Необходимо отметить, что система «Эйдос» обеспечивает решение всех задач, решение которых необходимо для реализации предлагаемого алгоритма:
- обратной задачи прогнозирования (автоматизированный 8ШОТ-анализ) (Луценко 2014);
- кластерно-конструктивный анализ целевых состояний объекта управления и значений факторов (Луценко 2011);
- задачи прогнозирования (Луценко 2002).
Шаг 4-й. Иначе оцениваем корректность поставленных целей путем сравнения системы детерминации целевых состояний методом когнитивной кластеризации или просто матрицы сходства, т.е. определяем, являются ли целевые состояния совместимыми, т.е. достижимыми одновременно, по обуславливающим их значениями факторов, или они являются взаимоисключающими
(альтернативными) и одновременно достигнуты быть не могут.
+
Шаг 5-й. Решаем задачу поддержки принятия решений в упрощенном варианте путем автоматизированного когнитивного вУУОТ-анализа целевых состояний.
Шаг 6-й. Оцениваем технологические и финансовые возможности применения на практике рекомендованных на шаге 5 значений факторов.
Шаг 9-й. Прогнозируем результаты применения на практике сокращенной системы значений факторов в которой есть только те, которые есть реальная возможность
применить.
Шаг 11-й. Заменяем рекомендованные на шаге 5, но удаленные на шаге 8 значения факторов другими, сходными по влиянию на объект управления, но такими, которые есть возможность использовать. Эти значения факторов для замены выбираются с использованием результатов когнитивного кластерно-конструктивного анализа значений факторов или просто матрицы сходства.
1
Шаг 12-й. Прогнозирование результатов применения на практике системы значений факторов, сформированной на шаге 11
Рисунок выполнен автором
Рис. 3. Развитый алгоритм принятия решений в интеллектуальных системах управления на основе АСК-анализа и системы «Эйдос»
Развитый алгоритм принятия решений АСК-анализа при его применении в интеллектуальных системах управления
Шаг 1-й. Ставим цели управления, т.е. определяем одно или несколько целевых состояний объекта управления. В натуральном выражении целевые состояния - это обычно количество и качество продукции, а в стоимостном выражении - прибыль и рентабельность ее производства и продажи.
Шаг 2-й. Проводим когнитивно-целевую структуризацию и формализацию предметной области, синтез и верификация статистических и системно-когнитивных моделей (СК-модели), определяем наиболее достоверную из них по Б-критерию Ван Ризбергена и критериям Ь1 и 12 проф.Е.В.Луценко.
Шаг 3-й. Если целевое состояние одно, то переходим на шаг 5.
Шаг 4-й. Иначе оцениваем корректность поставленных целей путем сравнения системы детерминации целевых состояний методом когнитивной кластеризации или просто матрицы сходства, т.е. определяем, являются ли целевые состояния совместимыми, т.е. достижимыми одновременно, по обуславливающим их значениями факторов, или они являются взаимоисключающими (альтернативными) и одновременно достигнуты быть не могут.
Шаг 5-й. Решаем задачу поддержки принятия решений в упрощенном варианте путем автоматизированного когнитивного 8ШОТ-анализа целевых состояний.
Шаг 6-й. Оцениваем технологические и финансовые возможности применения на практике рекомендованных на шаге 5 значений факторов.
Шаг 7-й. Если такая возможность имеется для всех значений факторов, то принимаем их для реализации на практике и выходим из алгоритма принятия решений.
Шаг 8-й. Если же такой возможности нет, то исключаем из системы значений факторов те из них, которые по каким-либо причинам нет возможности применить и переходим на шаг 9.
Шаг 9-й. Прогнозируем результаты применения на практике сокращенной системы значений факторов в которой есть только те, которые есть реальная возможность применить.
Шаг 10-й. По результатам прогнозирования сокращенная система значений факторов приводит к достижению целевых состояний? Если да, то принимаем сформированную на шаге 8 систему значений факторов для реализации на практике и выходим из алгоритма принятия решений.
Шаг 11-й. Иначе заменяем рекомендованные на шаге 5, но удаленные на шаге 8 значения факторов другими, сходными по влиянию на объект управления, но такими, которые есть возможность использовать. Эти значения факторов для замены выбираются с использованием
результатов когнитивного кластерно-конструктивного анализа значений факторов или просто матрицы сходства.
Шаг 12-й. Прогнозирование результатов применения на практике системы значений факторов, сформированной на шаге 11.
Шаг 13-й. Если прогнозируемый результат применения на практике системы значений факторов, сформированной на шаге 12, по результатам прогнозирования приводит к переходу объекта управления в целевые состояния, то принимаем данную систему значений факторов для реализации на практике и выходим из алгоритма принятия решений. Если же прогноз показывает, что целевое состояние при использовании этой системы значений факторов не достигается, то задача управления не имеет решения в данной модели и осуществляется переход на шаг 2 для качественного изменения модели с новыми исходными данными и расширенной системной значений факторов.
После выхода из алгоритма и реализации управляющих решений цикл управления, представленный на рисунке 2, повторяется. При этом результаты управления в любом случае, т.е. как при успешном достижении целевых состояний, так и в противном случае, учитываются в исходных данных для создания модели и осуществляется пересинтез модели. Поэтому непосредственно в процессе управления происходит постоянное улучшение качества интеллектуальной модели приятия решений путем ее самообучения с учетом фактических результатов управления. Это обеспечивается тем, что интеллектуальная система «Эйдос» является одновременно инструментом для синтеза и верификации моделей объекта управления, инструментом применения этих моделей для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемой предметной области путём исследования ее модели. Достоверность созданных моделей оценивается с помощью Б-меры Ван Ризбер-гена и ее мультиклассовых, нечетких обобщений, инвариантных относительно объема выборки (Луценко 2017). Система «Эйдос» не только обеспечивает решение этих задач, но и на данный момент, по-видимому, является единственной в мире системой, обеспечивающей решение всех этих задач на единой математической и технологической основе. При этом решение некоторых из этих задач по отдельности на данный момент автоматизировано только в системе «Эйдос», например автоматизированный когнитивный 8ШОТ-анализ, когнитивный кластерно-конструктивный анализ, построение когнитивных диаграмм и когнитивных функций (Луценко 2017). Таким образом, развитый алгоритм принятия решений в интеллектуальных системах управления на основе АСК-анализа и реализуемый в системе «Эйдос», соответствует известному принципу дуального управления, предложенному в 50-х годах XX века в теории самонастраивающихся и самообучающихся систем замечательным советским ученым Александром Ароновичем Фельдбаумом.
8. Обсуждение результатов
На сколько известно автору подобный развитый алгоритм принятия решений в интеллектуальных системах управления, соответствующий принципу дуального управления А.Фельдбаума, предложен впервые. Но важно отметить, что этот алгоритм не только предложен, но и реализован в интеллектуальной системе «Эйдос», являющейся программным инструментарием АСК-анализа. Этот результат был получен как закономерный этап развития АСК-анализа. Автором еще в 2002 году предлагалась идея применения системы «Эйдос» для решения задач прогнозирования и принятия решений в составе управляющей системы интеллектуальной автоматизированной системы управления активными объектами. Затем эта идея развивалась в последующих монографиях и научных статьях.
Важно отметить, что применяемые подходы обеспечивают интеллектуальное управление сложными активными нелинейными системами.
Понятно, что существует много систем искусственного интеллекта и, как говорят, на системе «Эйдос» «свет клином не сошелся». В тоже время необходимо отметить, что Универсальная когнитивная аналитическая система «Эйдос-Х++» отличается от других систем искусственного интеллекта рядом особенностей, которые, по-видимому, могут рассматриваться как ее достоинства:
- разработана в универсальной постановке, не зависящей от предметной области. Поэтому она является универсальной и может быть применена во многих предметных областях (http://lc .kubagro.ru/aidos/index .htm);
- находится в полном открытом бесплатном доступе (http://lc.kubagro.ru/aidos/ Aidos-X.htm), причем с актуальными исходными текстами (http://lc.kubagro.ru/ AIDOS-X.txt);
- является одной из первых отечественных систем искусственного интеллекта персонального уровня, т.е. она не требует от пользователя специальной подготовки в области технологий искусственного интеллекта (есть акт внедрения системы «Эйдос» 1987 года) (http://lc .kubagro.ru/aidos/aidos02/PR-4 .htm);
- обеспечивает устойчивое выявление в сопоставимой форме силы и направления причинно-следственных зависимостей в неполных зашумлен-ных взаимозависимых (нелинейных) данных очень большой размерности числовой и не числовой природы, измеряемых в различных типах шкал (номинальных, порядковых и числовых) и в различных единицах измерения (т.е. не предъявляет жестких требований к данным, которые невозможно выполнить, а обрабатывает те данные, которые есть);
- содержит большое количество локальных (поставляемых с инсталляцией) и облачных учебных и научных Эйдос-приложений (в настоящее время их 31 и 204, соответственно) (http://lc.kubagro.ru/aidos/Presentation Aidos-online.pdf);
- обеспечивает мультиязычную поддержку интерфейса на 51 языке. Языковые базы входят в инсталляцию и могут пополняться в автоматическом режиме;
- поддерживает on-line среду накопления знаний и широко используется во всем мире (http : //aido s .byethost5 .com/map5 .php);
- наиболее трудоемкие в вычислительном отношении операции синтеза моделей и распознавания реализует с помощью графического процессора (GPU), что на некоторых задачах обеспечивает ускорение решение этих задач в несколько тысяч раз, что реально обеспечивает интеллектуальную обработку больших данных, большой информации и больших знаний;
- обеспечивает преобразование исходных эмпирических данных в информацию, а ее в знания и решение с использованием этих знаний задач классификации, поддержки принятия решений и исследования предметной области путем исследования ее системно-когнитивной модели, генерируя при этом очень большое количество табличных и графических выходных форм (развития когнитивная графика), у многих из которых нет никаких аналогов в других системах (примеры форм можно посмотреть в работе: http://lc.kubagro.ru/aidos/aidos18 LLS/aidos18 LLS.pdf);
- хорошо имитирует человеческий стиль мышления: дает результаты анализа, понятные экспертам на основе их опыта, интуиции и профессиональной компетенции.
В чем сила подхода, реализованного в системе Эйдос? В том, что она реализует подход, эффективность которого не зависит от того, что мы думаем о предметной области и думаем ли вообще. Она формирует модели непосредственно на основе эмпирических данных, а не на основе наших представлений о механизмах реализации закономерностей в этих данных. Именно поэтому Эйдос-модели эффективны даже если наши представления о предметной области ошибочны или вообще отсутствуют.
В этом и слабость этого подхода, реализованного в системе Эйдос. Модели системы Эйдос - это феноменологические модели, т.е. они не отражают механизмов детерминации, а только сам факт и характер детерминации.
Известен парадокс, с которым сталкиваются разработчики больших систем, а система «Эйдос» является большой системой: ее исходные тексты занимают более 3000 листов 10 шрифтом: http : //lc.kubagro .ru/ AIDOS -X.txt. Дело в том, что разработка подобных систем занимает значительное время, чаще всего годы и даже десятилетия (как в случае с системой «Эйдос», которая непрерывно развивается с 1979 года). В результате к тому времени когда создаваемая система приобретает более-менее законченный вид, инструментальная технология ее разработки и сама программная реализация системы с помощью этой технологии, безнадежно устаревают. Поэтому все большие системы являются технологи-
чески и морально устаревшими и нуждаются в переосмыслении переносе на новые перспективные платформы или даже нуждаются в кроссплат-форменной реализации. Не является исключением в этом плане и система «Эйдос». В настоящее время ведутся работы по ее развитию в данном направлении.
9. Выводы и заключение
Таким образом в данной статье впервые предложен развитый алгоритм принятия решений в интеллектуальных системах управления на основе АСК-анализа и системы «Эйдос». Этот алгоритм хорошо имитирует способ принятия решений и достижения целей человеком. И может реально использоваться в адаптивных системах управления.
Авторы надеются, что это заинтересует ученых и разработчиков в области искусственного интеллекта и интеллектуальных систем управления, а также будет полезно учащимся бакалавриата, магистратуры и аспирантам.
10. Источник финансирования, благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-010-00076
Список источников
Еремеев, А. П., Варшавский, П. Р. Моделирование рассуждений на основе прецедентов в интеллектуальных системах поддержки принятия решений / А. П. Еремеев, П. Р. Варшавский - Текст: электронный // Искусственный интеллект и принятие решений. -2009. - №. 2. - С. 45-57.
Карелин, В. П. Интеллектуальные технологии и системы искусственного интеллекта для поддержки принятия решений - Текст: электронный //Вестник Таганрогского института управления и экономики. - 2011. - №. 2.
Розенберг, И. Н., Цветков, В. Я. Среда поддержки интеллектуальных систем - Текст: электронный //Транспорт Российской Федерации. Журнал о науке, практике, экономике. - 2011. - №. 6 (37).
Подвальный, С. Л., Васильев, Е. М. Модели многоальтернативного управления и принятия решений в сложных системах - Текст: электронный // Системы управления и информационные технологии. - 2014. - №. 2-1. - С. 169-173.
Маркелов, В. М., Соловьев, И. В., Цветков, В. Я. Интеллектуальные транспортные системы как инструмент управления - Текст: электронный // Государственный советник. - 2014. - №. 3 (7).
Кузнецов, О. П. Интеллектуализация поддержки управляющих решений и создание интеллектуальных систем - Текст: электронный // Проблемы управления. - 2009. - №. 3.1.
Геловани, В. А. и др. Интеллектуальные системы поддержки принятия решений в нештатных ситуациях с использованием информации о состоянии природной среды -Текст: электронный // М.: Эдиториал УРСС. - 2001. - Т. 304. - С. 3. Луценко, Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании
экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. -605 с. http://elibrary.ru/item.asp?id=18632909
Луценко, Е.В. Открытая масштабируемая интерактивная интеллектуальная on-line среда для обучения и научных исследований на базе АСК-анализа и системы «Эйдос» / Луценко Е.В. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №06(130). - Режим доступа: http://ej.kubagro.ru/2017/06/pdf/01.pdf, 3,375 у.п.л. - IDA [article ID]: 1301706001. http://dx.doi.org/10.21515/1990-4665-130-001
Луценко, Е.В. Количественный автоматизированный SWOT- и PEST-анализ средствами АСК-анализа и интеллектуальной системы «Эйдос-Х++» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №07(101). С. 1367 - 1409. - IDA [article ID]: 1011407090. - Режим доступа: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 у.п.л.
Луценко, Е.В. Метод когнитивной кластеризации или кластеризация на основе знаний (кластеризация в системно-когнитивном анализе и интеллектуальной системе «Эйдос») / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №07(071). С. 528 - 576. - Шифр Информрегистра: 0421100012\0253, IDA [article ID]: 0711107040. - Режим доступа: http://ej.kubagro.ru/2011/07/pdf/40.pdf, 3,062 у.п.л.
Луценко, Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 -883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.
Луценко, Е.В. Инвариантное относительно объемов данных нечеткое мультиклассовое обобщение F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №02(126). С. 1 - 32. - IDA [article ID]: 1261702001. - Режим доступа: http://ej.kubagro.ru/2017/02/pdf/01.pdf, 2 у.п.л. Луценко, Е.В. Автоматизация Функционально-стоимостного анализа и метода "Ди-рект-костинг" на основе АСК-анализа и системы "Эйдос" (автоматизация управления натуральной и финансовой эффективностью затрат без содержательных технологических и финансово-экономических расчетов на основе информационных и когнитивных технологий и теории управления) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. -№07(131). С. 1 - 18. - IDA [article ID]: 1311707001. - Режим доступа: http://ej .kubagro.ru/2017/07/pdf/01.pdf, 1,125 у.п.л.
Луценко, Е.В. Интеллектуальное управление номенклатурой и объемами реализации в торговой фирме / Е.В. Луценко, В.Е. Коржаков, Д.С. Чичерин // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2010. - №05(059). С. 111 - 139. - Шифр Информрегистра: 0421000012\0094,
IDA [article ID]: 0591005008. - Режим доступа: http://ej.kubagro.ru/2010/05/pdf/08.pdf, 1,812 у.п.л.
Луценко, Е.В. Интеллектуальная консалтинговая система выявления технологических знаний и принятия решений по их эффективному применению на основе системно-когнитивного анализа бизнес-процессов / Е.В. Луценко, В.Е. Коржаков, А.И. Ладыга // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2010. - №05(059). С. 79 - 110. - Шифр Информрегистра: 0421000012\0091, IDA [article ID]: 0591005007. - Режим доступа: http://ej.kubagro.ru/2010/05/pdf/07.pdf, 2 у.п.л.
References
Eremeev, A. P., Varshavskij, P. R. Modelirovanie rassuzhdenij na osnove precedentov v intellektual'ny'x sistemax podderzhki prinyatiya reshenij / A. P. Eremeev, P. R. Varshavskij -Tekst: e'lektronny'j // Iskusstvenny'j intellekt i prinyatie reshenij. - 2009. - №. 2. - S. 45-57. Karelin, V. P. Intellektual'ny'e texnologii i sistemy' iskusstvennogo intellekta dlya podderzhki prinyatiya reshenij - Tekst: e'lektronny'j //Vestnik Taganrogskogo instituta upravleniya i e'konomiki. - 2011. - №. 2.
Rozenberg, I. N., Czvetkov, V. Ya. Sreda podderzhki intellektual'ny'x sistem - Tekst: e'lektronny'j //Transport Rossijskoj Federacii. Zhurnal o nauke, praktike, e'konomike. -2011. - №. 6 (37).
PodvaFny'j, S. L., VasiFev, E. M. Modeli mnogoal'ternativnogo upravleniya i prinyatiya reshenij v slozhny'x sistemax - Tekst: e'lektronny'j // Sistemy' upravleniya i informacionny'e texnologii. - 2014. - №. 2-1. - S. 169-173.
Markelov, V. M., Solov'ev, I. V., Czvetkov, V. Ya. Intellektual'ny'e transportny'e sistemy' kak instrument upravleniya - Tekst: e'lektronny'j // Gosudarstvenny'j sovetnik. - 2014. - №. 3 (7).
Kuzneczov, O. P. Intellektualizaciya podderzhki upravlyayushhix reshenij i sozdanie intel-lektual'ny'x sistem - Tekst: e'lektronny'j // Problemy' upravleniya. - 2009. - №. 3.1. Gelovani, V. A. i dr. Intellektual'ny'e sistemy' podderzhki prinyatiya reshenij v neshtatny'x situaciyax s ispol'zovaniem informacii o sostoyanii prirodnoj sredy' - Tekst: e'lektronny'j // M.: E'ditorial URSS. - 2001. - T. 304. - S. 3.
Lucenko, E.V. Avtomatizirovanny'j sistemno-kognitivny'j analiz v upravlenii aktivny'mi ob''ektami (sistemnaya teoriya informacii i ee primenenie v issledovanii e'konomicheskix, social'no-psixologicheskix, texnologicheskix i organizacionno-texnicheskix sistem): Mono-grafiya (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s. http://elibrary.ru/item.asp?id=18632909
Lucenko, E.V. Otkry'taya masshtabiruemaya interaktivnaya intellektual'naya on-line sreda dlya obucheniya i nauchny'x issledovanij na baze ASK-analiza i sistemy' «E'jdos» / Lucenko E.V. // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudar-stvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. -Krasnodar: KubGAU, 2017. - №06(130). - Rezhim dostupa: http://ej.kubagro.ru/2017/06/pdf/01.pdf, 3,375 u.p.l. - IDA [article ID]: 1301706001. http://dx.doi.org/10.21515/1990-4665-130-001
Lucenko, E.V. Kolichestvenny'j avtomatizirovanny'j SWOT- i PEST-analiz sredstvami ASK-analiza i intellektual'noj sistemy' «E'jdos-X++» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2014. -№07(101). S. 1367 - 1409. - IDA [article ID]: 1011407090. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 u.p.l.
Lucenko, E.V. Metod kognitivnoj klasterizacii ili klasterizaciya na osnove znanij (klaster-izaciya v sistemno-kognitivnom analize i intellektual'noj sisteme «E'jdos») / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2011. - №07(071). S. 528 - 576. - Shifr Informregistra: 0421100012\0253, IDA [article ID]: 0711107040. - Rezhim dostupa: http://ej.kubagro.ru/2011/07/pdf/40.pdf, 3,062 u.p.l.
Lucenko, E.V. Metrizaciya izmeritel'ny'x shkal razlichny'x tipov i sovmestnaya sopostavi-maya kolichestvennaya obrabotka raznorodny'x faktorov v sistemno-kognitivnom analize i sisteme «E'jdos» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l. Lucenko, E.V. Invariantnoe otnositel'no ob''emov danny'x nechetkoe mul'tiklassovoe obob-shhenie F-mery' dostovernosti modelej Van Rizbergena v ASK-analize i sisteme «E'jdos» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. -Krasnodar: KubGAU, 2017. - №02(126). S. 1 - 32. - IDA [article ID]: 1261702001. -Rezhim dostupa: http://ej.kubagro.ru/2017/02/pdf/01.pdf, 2 u.p.l. Lucenko, E.V. Avtomatizaciya Funkcional'no-stoimostnogo analiza i metoda "Direkt-kosting" na osnove ASK-analiza i sistemy' "E'jdos" (avtomatizaciya upravleniya natural'noj i finansovoj e'ffektivnost'yu zatrat bez soderzhatel'ny'x texnologicheskix i finansovo-e'konomicheskix raschetov na osnove informacionny'x i kognitivny'x texnologij i teorii upravleniya) / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2017. - №07(131). S. 1 - 18. - IDA [article ID]: 1311707001. - Rezhim dostupa: http://ej.kubagro.ru/2017/07/pdf/01.pdf, 1,125 u.p.l. Lucenko, E.V. Intellektual'noe upravlenie nomenklaturoj i ob''emami realizacii v torgovoj firme / E.V. Lucenko, V.E. Korzhakov, D.S. Chicherin // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2010. -№05(059). S. 111 - 139. - Shifr Informregistra: 0421000012\0094, IDA [article ID]: 0591005008. - Rezhim dostupa: http://ej.kubagro.ru/2010/05/pdf/08.pdf, 1,812 u.p.l. Lucenko, E.V. Intellektual'naya konsaltingovaya sistema vy'yavleniya texnologicheskix znanij i prinyatiya reshenij po ix e'ffektivnomu primeneniyu na osnove sistemno-kognitivnogo analiza biznes-processov / E.V. Lucenko, V.E. Korzhakov, A.I. Lady'ga // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2010. - №05(059). S. 79 - 110. - Shifr Informregistra: 0421000012\0091, IDA [article ID]: 0591005007. - Rezhim dostupa: http://ej.kubagro.ru/2010/05/pdf/07.pdf, 2 u.p.l.
