2.2 Алгоритм анализа и оценки экспертируемого документа

На втором этапе осуществляется оценка представленного документа, обосновывающего безопасность конкретной ИУС АЭС, на соответствие регулирующим требованиям НД по ЯРБ. Эта общая задача декомпозируется на ряд частных задач, для решения которых нами предложена следующая алгоритмическая модель:

Шаг 1. Формирование множества требований М_ТД, отраженных в экспертируемом документе.

Шаг 2. Оценка экспертами требований нижнего уровня иерархии N.

Шаг 3. Последовательная оценка требований более высоких уровней иерархии от (N-1) до 1-го (высшего) уровня иерархии.

Шаг 4. Учет для всех уровней иерархии степени важности (влияния на безопасность) замечаний к регулирующим требованиям, которые частично отражены в экспертируемом документе.

Шаг 5. Формирование вектора итоговой оценки V_Э для экспертируемого документа в целом.

Рассмотрим последовательно решение вышеуказанных частных задач.

Шаг 1. Введем множество М_ТД, которое содержит требования, отраженные в экспертируемом документе:

М_ТД = {x₁, x₂, …, x_m}, (2.12)

где x₁, x₂, …, x_m – требования, отраженные в экспертируемом документе;

m – количество требований, отраженных в экспертируемом документе (в общем случае, количество требований в множестве М_ТД может не совпадать с количеством регулирующих требований в множестве М_ТЭ).

Множество М_ТД может быть организовано в виде таблицы базы данных, а требования, входящие в указанное множество, также должны быть разделены на несколько уровней иерархии, по аналогии с тем, как это делается для регулирующих требований из множества М_ТЭ.

При проведении экспертизы фактически осуществляется сопоставление и оценка соответствия требований нормативных документов (элементы множества М_ТЭ) требованиям, отраженным в экспертируемом документе (элементы множества М_ТД). Таким образом, может быть получено множество М_ТС отраженных в экспертируемом документе требований, которые соответствуют требованиям нормативных документов. Множество М_ТС является пересечением множеств М_ТЭ и М_ТД [104]:

М_ТС = М_ТЭ  М_ТД . (2.13)

Если выполнение хотя бы части требований нормативных документов не отражено в экспертируемом документе, т.е. М_ТЭ  М_ТС, то результат экспертизы будет отрицательным ( рис. 2.3а). Результат экспертизы является положительным только в том случае, если выполнение всех предъявляемых требования нормативных документов в достаточной степени отражено в экспертируемом документе, т.е. если М_ТЭ = М_ТС (рис. 2.3б).

Рисунок 2.3 – Результат экспертизы: а) отрицательный; б) положительный

Шаг 2. В общем случае оценка выполнения каждого конкретного регулирующего требования самого нижнего уровня иерархии в экспертируемом документе может осуществляться путем проверки соответствия на основе двухместного предиката следующего вида:

P_N(x_N, y_N) = “x_N соответствует y_N” , (2.14)

где x_N – требование, отраженное в документе, обосновывающем безопасность;

y_N – регулирующее требование нормативного документа;

N – нижний уровней иерархии требований нормативных документов.

Предикат – это один из элементов логики первого и высшего порядков. При этом n-местный предикат представляет собой функцию с областью значений {0, 1} (или «истина» и «ложь»), определённая на n-й декартовой степени множества M. Таким образом, каждый набор из n элементов множества M он характеризует либо как «истинный», либо как «ложный».

В нашем случае ограничимся двухместным предикатом P_N(x_N, y_N).

Предикат P_N(x_N, y_N) = 1, если требование x_N, отраженное в документе, обосновывающем безопасность, соответствует регулирующему требованию y_N нормативного документа. В противном случае, P_N(x_N, y_N) = 0.

На этой стадии оценка выполнения требования нижнего уровня иерархии осуществляется экспертами, поскольку современный уровень развития науки и техники не позволяет сделать этот процесс полностью автоматическим и исключить человека из процесса оценки и принятия решений. Предлагаемая модель призвана систематизировать оценку безопасности ИУС АЭС при экспертизе обеспечить автоматизированную поддержку экспертной деятельности.

Шаг 3. Для оценки соответствия требования уровня иерархии (N-1) на основе соответствия требований более низкого уровня иерархии N введем функцию вида:

, (2.15)

где , (n_Nj – количество требований нормативного документа на уровне иерархии N, относящихся к j-му требованию уровня иерархии K);

, (n_N-1 – количество требований нормативного документа на уровне иерархии N-1);

«» – квантор всеобщности [3], т.е. логический оператор, указывающий на то, что некоторое утверждение, содержащее переменные, распространяется на все формулы, получаемые при подстановке вместо переменных, перечисленных в этом операторе любых значений из областей определения этих переменных (этому квантору соответствует лексема "для всех");

«» – квантор существования, т.е. логический оператор, указывающий на область истинности некоторого утверждения (этому квантору соответствует лексема "существует");

«» – оператор отрицания (логическое «НЕ»);

«» – оператор конъюнкции (логическое «И»).

Формулу (2.15) можно интерпретировать следующим образом. Функция F_(N-1)j(x_(N-1)j, y_(N-1)j) равна:

• 0, если все предикаты имеют значение 0, т.е. ни одно из регулирующих требований не отражено в экспертируемом документе (выражение – означает, что для всех требований нормативных документов y_Ni не существует отраженных в экспертируемом документе требований x_Ni, при которых предикат P_Ni(x_Ni, y_Ni) является истинным);

• 1, если все предикаты имеют значение 1, т.е. все регулирующие требований полностью отражены в экспертируемом документе (выражение – означает, что для всех требований нормативных документов y_Ni существуют отраженные в экспертируемом документе требования x_Ni, при которых предикат P_Ni(x_Ni, y_Ni) является истинным);

• некоторому числу в диапазоне (0, 1), если часть предикатов равна 1, а часть – 0, т.е. регулирующие требования частично отражены в экспертируемом документе (выражение – означает, что для части требований нормативных документов y_Ni существуют отраженные в экспертируемом документе требования x_Ni, при которых предикат P_Ni(x_Ni, y_Ni) является истинным, а для части требований нормативных документов y_Ni не существует отраженных в экспертируемом документе требований x_Ni, при которых предикат P_Ni(x_Ni, y_Ni) является истинным).

В свою очередь для более высоких уровней иерархии значение функции F_Kj(x_kj, y_kj) рассчитывается следующим образом:

, (2.16)

где k – уровень требования в иерархии требований нормативного документа (НД) (при этом ). Самый высокий уровень иерархии (при k=1) соответствует базовым регулирующим требованиям, предъявляемым к документу, обосновывающему безопасность ИУС АЭС.

Приведенную выше формулу можно интерпретировать следующим образом. Функция F_Kj(x_kj, y_kj) равна:

• 0, если все функции уровня иерархии (k+1) принимают значение 0, т.е. j-ое требование уровня иерархии k считается полностью невыполненным, только в том случае, если для него не выполнены все относящиеся к нему требования уровня иерархии (k+1)

• 1, если все функции уровня иерархии (k+1) принимают значение 1, т.е. j-ое требование уровня иерархии k можно считать полностью выполненным, только в том случае, если для него выполнены все относящиеся к нему требования уровня иерархии (k+1);

• некоторому числу в диапазоне (0, 1), если часть функций уровня иерархии (k+1) принимают значение из диапазона [0, 1), т.е. j-ое требование уровня иерархии k считается выполненным частично, если для него не выполнена часть относящихся к нему требований уровня иерархии (k+1).

Если по отношению к формуле (2.15) применить операцию развертки [105, 101], то можно перейти от ее представления в виде кванторно-предикатной формы к представлению в виде логически-предикатной формы:

, (2.17)

где «» – оператор конъюнкции (логическое «И»);

«» – оператор дизъюнкции (логическое «ИЛИ»).

Аналогичным образом можно выполнить развертку формулы (2.16), представив ее в логически-функциональном виде:

. (2.18)

Логически-предикатное и логически-функциональное представление позволяет программно реализовать вычисление функции F_kj(x_kj, y_kj).

Шаг 4. При частичном выполнении требования конкретное значение функции F_kj(x_kj, y_kj) может быть определено следующим образом:

, (2.19)

где q_(k+1)j – количество регулирующих требований уровня иерархии (k+1) (связанных с j-м требованием уровня иерархии k), выполнение которых полностью отражено в документе, обосновывающем безопасность, т.е. количество требований y_(k+1)i на уровне иерархии (k+1), для которых ;

n_(K+1)j – количество требований на уровне иерархии (k+1), относящихся к j-му требованию уровня иерархии k;

s_(k+1)j – поправочный коэффициент, который корректирует значение функции F_kj(x_kj, y_kj), с учетом степени влияния на безопасность замечаний к тем требованиям уровня иерархии (k+1), относящихся к j-му требованию уровня иерархии k, выполнение которых недостаточно отражено в документе, обосновывающем безопасность.

Таким образом, рассмотренный выше поправочный коэффициент s определяется следующим образом:

, (2.20)

где [0, 1) – весовой коэффициент, зависящий от категории^* замечания по отношению к i-му недостаточно выполненному требованию;

[0, 1) – весовой коэффициент, зависящий от группы^* замечания по отношению к i-му недостаточно выполненному требованию;

[0, 1) – весовой коэффициент, зависящий от класса^* замечания по отношению к i-му недостаточно выполненному требованию.

Интерпретировать вышеприведенную формулу можно следующим образом. Если имеются замечания к выполнению определенных требований уровня иерархии (k+1), то коэффициент s примет значение в диапазоне [0, q_(k+1)j‑n_(k+1)j), и таким образом, функция F_kj(x_kj, y_kj) будет принимать значение из диапазона [0, 1), отражающее степень выполнения соответствующего требования уровня иерархии k. Если же имеется хотя бы одно существенное замечание (по категории, группе или классу) к любому из требований уровня иерархии (k+1), то коэффициент s принимает значение (‑q_(k+1)j), и таким образом, функция F_kj(x_kj, y_kj) будет принимать значение 0 (то есть соответствующее требование уровня иерархии k считается полностью не выполненным).

Если в результате расчета, хотя бы одна функция верхнего уровня иерархии F_1j(x_1j, y₁) = 0, то результат экспертизы должен быть негативным. Если же большинство функций верхнего уровня иерархии F_1j(x_1j, y₁) = 1, но некоторые из них 0 < F_1j(x_1j, y_1j) < 1, то необходимо провести дополнительную экспертную оценку и на ее основе принять решение о возможности согласования экспертируемого документа Регулирующим органом или об отправке документа на переработку.

В случае принятия решения группой экспертов о возможности снятия замечания, значение соответствующей функции F_kj(x_kj, y_kj), оценивающей степень выполнения требования, к которому было предъявлено данное замечание, корректируется и принимается равным 1 (т.е. требование считается отраженным в экспертируемом документе в достаточной степени).

Шаг 5. Результаты экспертизы будем характеризовать следующим вектором:

, (2.21)

где F_(1)j(x_(1)j,y_(1)j)[0; 1] – функция, значение которой отражает результат оценки выполнения регулирующих требований в экспертируемых документах;

n – общее количество требований на верхнем уровне иерархии.

Конечный результат экспертизы можно представить в следующем виде:

. (2.22)

Формула (2.22) может быть интерпретирована следующим образом:

• результат экспертизы положителен, если все элементы вектора V_Э равны 1, то есть, если все требования нормативных документов в достаточной степени отражены в экспертируемом документе (в том числе, с учетом возможной дополнительной оценки);

• результат экспертизы отрицателен, если хотя бы один элемент вектора V_Э не равен 1, то есть, если хотя бы одно из требований нормативных документов не отражено в достаточной степени в экспертируемом документе (в том числе, не может быть снято даже по результатам дополнительной оценки).

На основе предложенной модели оценки безопасности ИУС АЭС был построен соответствующий алгоритм, представленный в приложении А.

Экспертиза на основе такой модели обеспечивается применением модуля формирования нормативного профиля и модуля оценки экспертируемого документа подсистемы поддержки принятия решений, входящей в состав компьютерной системы поддержки экспертной деятельности.

2.3 Статистический анализ результатов оценки ИУС АЭС при экспертизах

Статистический анализ результатов оценки ИУС АЭС заключается в определении систем и типов экспертируемых документов, которые являются наихудшими с точки зрения качества представляемых на экспертизу документов, обосновывающих безопасность ИУС АЭС.

Общая задача, решаемая на этапе 2, может быть декомпозирована на ряд последовательных частных задач, для решения которых нами предложена следующая алгоритмическая модель:

Шаг 1. Оценка выполнения одного требования в одном конкретном документе, относящемся к одной конкретной системе.

Шаг 2. Оценка выполнения всех требований в одном конкретном документе, относящемся к одной конкретной системе.

Шаг 3. Оценка выполнения всех требований во всех документах конкретного типа, относящихся к одной конкретной системе.

Шаг 4. Определение систем и типов документов, которые являются наиболее проблемными с точки зрения качества представляемых на экспертизу документов, путем расчета средних оценок выполнения требований в экспертируемых документах.

Шаг 5. Определение систем и типов документов, которые являются наиболее проблемными с точки зрения качества представляемых на экспертизу документов, путем расчета контрастов между каждой парой систем и каждой парой типов документов.

Рассмотрим последовательно решение вышеуказанных задач.

Шаг 1. Оценку выполнения одного конкретного i-го регулирующего требования при экспертизе фиксированного документа, относящегося к одной фиксированной системе, можно считать случайной величиной X_i, которая имеет закон распределения Бернулли и может принимать одно из двух значений: 1, если требование выполнено, или 0, если требование не выполнено. Моменты распределения этой случайной величины можно определить по формулам:

E[X_i] = p_i , (2.23)

D[X_i] = p_i·(1-p_i) , (2.24)

где E[X_i] – математическое ожидание случайной величины X_i; D[X_i] – дисперсия случайной величины X_i; p_i = P{X_i=1} – вероятность того, что оценка выполнения требования равна 1 (т.е. требование выполнено).

Шаг 2. Можно утверждать, что все требования, проверяемые при оценке каждого отдельно взятого экспертируемого документа, являются равнозначными (т.е. нельзя утверждать, что какое-нибудь одно требование более важно, чем любое другое) и взаимно независимыми. При оценке экспертируемого документа в целом рассматривается конечная последовательность независимых случайных величин X₁, X₂, …, X_n с распределением Бернулли.

Оценка j-го экспертируемого документа может рассматриваться, как случайная величина

, (2.25)

где n – общее количество оцениваемых требований конкретного j-го экспертируемого документа.

Значение случайной величины Y_j изменяется в диапазоне [0, 1] и представляет собой отношение количества успешно выполненных требований к общему количеству требований, рассмотренных при оценке конкретного j-го экспертируемого документа. Математическое ожидание случайной величины Y_j рассчитывается по формуле:

, (2.26)

а дисперсия может быть определена по формуле:

. (2.27)

Точечная оценка вероятности выполнения требования (то есть вероятность того, что его оценка равна 1) в конкретном j-м экспертируемом документе определяется следующим образом:

. (2.28)

Следует отметить, что вероятность выполнения любого требования, относящегося к одному и тому же экспертируемому документу, будет одинакова, т.е. .

Если теперь подставить значение в формулы (3.4) и (3.5), то получим следующие формулы для определения математического ожидания и дисперсии оценки конкретного j-го экспертируемого документа:

, (2.29)

. (2.30)

Шаг 3. Как было отмечено выше, для каждой конкретной системы может быть выпущено несколько документов одинакового типа. Исходя из этого, оценка по типу документа в целом может быть рассчитана, как среднее значение оценок Y₁, Y₂, …, Y_m каждого конкретного документа рассматриваемого типа и относящегося к рассматриваемой системе. Иными словами, в целом оценка для документов типа h, относящихся к конкретной системе, представляет собой случайную величину

. (2.31)

Математическое ожидание этой случайной величины может быть рассчитано по формуле:

, (2.32)

а дисперсия вычисляется с помощью формулы

, (2.33)

где h – порядковый номер типа документов;

j – порядковый номер конкретного документа рассматриваемого типа h и относящегося к анализируемой системе;

m – общее количество документов рассматриваемого типа h для одной конкретной системы.

Недостатком рассмотренного подхода является то, что при расчете средних оценок для систем не учитывается различие типов экспертируемых документов и, соответственно, при расчете средних оценок для типов документов не учитывается различие систем, к которым эти документы относятся.

Шаг 5. Применительно к имеющемуся набору данных, где оценки выполнения требований определены на множестве значений {0, 1}, наиболее очевидным решением, учитывающим различие типов систем и типов экспертируемых документов, выглядит применение таблиц анализа дисперсий ANOVA (Analysis of Variance), наиболее распространенных для анализа бинарного ответа. На практике же подобный анализ сопряжен с многочисленными трудностями. Прежде всего, применение ANOVA наиболее действенно в случаях, когда проект является сбалансированным, то есть число наблюдений в каждой ячейке таблицы является одинаковым. В случаях, когда данные в отдельных ячейках отсутствуют полностью, рекомендуется снижение размерности таблицы, в частности, переход к одномерной ANOVA с последующим анализом с использованием контрастов. Следует отметить, что реально имеющийся набор данных содержит значительное количество пустых ячеек, в то время как заполненные ячейки содержат неодинаковое количество наблюдений, зачастую очень незначительное. Эти практические сложности делают реализацию ANOVA невозможной. Неполнота исходных данных накладывает ограничения и на использование многих других существующих моделей статистической оценки.