Дана публікація є частиною статті "Методика оцінки ефективності автоматизованої системи підтримки інформаційно-аналітичної роботи" (Герасимов Б.М., Перегуда О.М., Круковський І.А., 2008р.) де оприлюднено актуальний до цього часу опис методики, яка дозволяє на основі експертної інформації: 1) сформувати модель оцінки ефективності (корисності) автоматизованої системи підтримки інформаційно-аналітичної роботи (АСПІАР); 2) на основі сформованої методики здійснити порівняльну оцінку альтернативних варіантів АСПІАР відповідно до потреб користувачів, згідно вимог перспективних керівних документів до функцій системи електронних інформаційних ресурсів.
Постановка проблеми.
Важливим завданням підвищення ефективності інформаційно-аналітичної роботи корпоративного інформаційно-аналітичного центру (КІАЦ) є впровадження автоматизованої системи підтримки інформаційно-аналітичної роботи (АС ПІАР) із зареєстрованими інформаційними ресурсами (ЗІР). Виходячи з цього, важливим практичним частковим завданням розробки і впровадження АС ПІАР КІАЦ є оцінка її ефективності (корисності) для користувачів – за допомогою обґрунтованої формалізованої методики.
Необхідність розробки такої методики визначила актуальність цього дослідження. Огляд останніх досліджень і публікацій. Перспективним підходом до побудови АС ПІАР КІАЦ є забезпечення синергетичної інтеграції елементів сучасних технологій обробки інформації: сховища та (або) вітрин й кіосків знань або даних (Data Warehouse, Data Mart); засобів багатовимірного OLAP моделювання; Mining засобів на основі єдиної моделі опису інформаційних ресурсів, реалізованій на обраній моделі подання знань штучного інтелекту.
Існуючі методики і системи критеріїв для оцінювання ефективності програмного забезпечення та автоматизованих інформаційних систем розроблені, насамперед, на основі: узагальнених підходів інженерії програмного забезпечення (Software Engineering) для оцінки якості й надійності програм, які закріплені, для прикладу:
в метриках Боема, Джилба, Холстеда, ін., в стандартах ISO/I ЕС 9126 [8, 9], ін.; в оцінках інформаційно-пошукових систем на основі систем якісних та кількісних показників (технікоекономічних, семантичних, прагматичних); в аналізі відмінностей вимог до аналітичних систем від вимог до OLTP систем; в аналізі відповідності систем підтримки аналітичної діяльності вимогам до OLAP систем згідно правил Кодда (12+6 правил) або згідно розробленого на їх основі Пендсом та Крітом тесту FASMI.
Системи показників ефективності для різних проблемних областей можливо звести, як правило, до „головного показника”, до „результуючого показника” (адитивного, мультиплікативного, мінімаксного, згортки), до показників, що визначаються за допомогою лексикографічних методів (методів послідовних поступок).
Проте, існуючі показники та методики не забезпечують цілісну оцінку корисності системи часткових функцій АС ПІАР КІАЦ відповідно до структури проблемної області інформаційно-аналітичної роботи фахівців аналітиків.
Найбільш близькими можливо вважати вимоги до загальнодержавної та галузевих систем електронних інформаційних ресурсів, які визначають їх узагальнені функції. На основі цих вимог можливо розробити узагальнені критерійні показники оцінки ефективності АС ІПАР, проте вони також потребують розділення на часткові, відповідно до даної проблемної області, з урахуванням рівня реалізації в них елементів перерахованих сучасних інформаційних технологій.
Наявність вказаних недоліків приводить до того, що розробники програмного забезпечення не мають достатньої мотивації до впровадження у даній проблемній області найбільш сучасних технологій систем управління знаннями. У результаті користувачі недостатньо інформовані про їх високу ефективність, не мають hi-tech аналітичних функцій і тому не використовують їх у повній мірі у повсякденній аналітичній роботі.
Формулювання завдання дослідження.
Завданням дослідження є розробка методики оцінки ефективності АСПІАР відповідно до її корисності для фахівців аналітиків КІАЦ, згідно перспективних вимог до узагальнених функцій системи електронних інформаційних ресурсів, а також відповідно до рівня реалізації елементів сучасних інформаційних технологій.
Виклад основного матеріалу.
У цьому дослідженні ефективність (корисність) АСПІАР КІАЦ визначена як міра відповідності функцій автоматизованої системи потребам користувачів, які визначаються, насамперед, структурою проблемної області інформаційноаналітичної роботи із ЗІР, які є носіями знань. Тому, для розробки часткових критерійних показників ефективності необхідно врахувати особливості даної проблемної області.
Проблемна область інформаційно-аналітичної роботи КІАЦ містить:
- предметну область;
-цілі і завдання аналізу предметної області;
- стратегії, формалізовані методи і прийоми, а також евристики аналітиків для досягнення визначених цілей і завдань.
Предметна область містить комплекс понять і знань про структуру й функціонування її елементів.
Евристики аналітиків – це знання та немонотонні умовиводи, які не мають формального обґрунтування, а базуються на досвіді, здоровому глузді та інтуїтивних припущеннях. Важливість відображення в критеріях оцінки ефективності АСПІАР рівня підтримки евристик витікає зі специфіки даної проблемної області, у якій здійснюється аналіз й агрегатування знань, що можуть бути не повністю визначеними (не повністю відомими, достовірними, однозначними). Тому, у даній проблемній області, лише у рідких випадках можливе застосування монотонного формального математичного виведення, заснованого на умовиводах класичної логіки, коли кожен наступний висновок витікає з попереднього.
Виходячи з перерахованого, витікає необхідність відображення в критеріях оцінки ефективності АСПІАР КІАЦ ступеню реалізації парадигм „ЗНАННЯ+АРГУМЕНТАЦІЯ”, ЗНАННЯ+ВИПРАВДАННЯ”, які вважаються більш перспективними для побудови систем управління знаннями подібних типів, ніж парадигми „ЗНАННЯ+ЛОГІЧНЕ (ДОСТОВІРНЕ ЧИ ПРАВДОПОДІБНЕ) ВИВЕДЕННЯ”.
Також, ефективність АСПІАР визначається у значній мірі можливостями вилучення всіх наявних знань з успадкованих інформаційних систем до єдиного сховища чи кіоску (вітрини) знань та послідуючого багатовимірного моделювання за допомогою OLAP засобів. Така система повинна мати розвинені засоби автоматичного оповіщення про актуальні зміни у базі експертних знань, що може бути досягнуто шляхом реалізації єдиної числолінгвістичної моделі опису інформаційних ресурсів на раціональній моделі подання знань штучного інтелекту, а також забезпечувати поглиблений аналіз наявних елементів знань і добування з них нових нетривіальних знань за допомогою інтелектуальних методів „розкопки” даних Data Mining. Основою для створення системи критеріїв оцінки ефективності функціонування АСПІАР КІАЦ обрані вимоги до узагальнених функцій системи електронних інформаційних ресурсів, викладені у відповідних керівних документах. Детальна формалізація вимог, визначення взаємозв’язку показників ефективності і їх важливості проведено шляхом експертного оцінювання.
Для розробки методики формалізована постановка задачі.
Дано:
– неформалізований перелік критеріїв оцінки ефективності АСПІАР у вигляді керівних документів, інструкцій і слабоформалізованих експертних суджень;
– альтернативні варіанти автоматизованих інформаційних систем, які можливо використовувати для автоматизації інформаційно-аналітичної роботи на КІАЦ.
Потрібно (необхідно):
– сформувати модель оцінювання ефективності, як формалізовану систему логічно зв’язаних показників ефективності АСПІАР;
– оцінити ефективність альтернативних варіантів АСПІАР.
Обмеження й допущення:
– існує група експертів, компетентна й повноважна у визначенні критеріїв ефективності АСПІАР;
– існує перелік керівних документів, який регламентує інформаційно-аналітичну роботу КІАЦ, у тому числі роботу АСПІАР;
– існує група експертів, компетентна і повноважна у визначенні ефективності реалізації окремих функцій в АСПІАР;
– експерти не дають, заздалегідь, хибної або неправдивої інформації;
– економічна складова ефективності не оцінюється у зв’язку значною із залежністю від маркетингових заходів; при необхідності, її можливо здійснити після застосування цієї методики і обчислити як відношення отриманої кількісної оцінки ефективності (корисності) до витрат на створення і функціонування АСПІАР КІАЦ.
Розроблена загальна методика оцінки ефективності (корисності) АСПІАР складається із двох часткових методик:
1. За допомогою першої часткової методики формується модель оцінювання ефективності.
2. За допомогою другої часткової методики проводиться безпосереднє оцінювання ефективності альтернативних АСПІАР з використанням отриманої моделі.
 |
| Фрагмент таблиці з критерійними показниками оцінки ефективності автоматизованих систем підтримки інформаційно-аналітичної роботи. До основних узагальнених показників віднесені: обліково-реєстраційні функції (F1.1); класифікаційні функції (F1.2); інформаційно-пошукові функції (F1.3); інформаційно-аналітичні функції (F1.4); адміністративні функції (F1.5), |
 |
| Фрагмент спрощеного графу з показниками оцінки ефективності автоматизованих систем підтримки інформаційно-аналітичної роботи. На графі не показані блоки, які визначають вагу показників. |
Текст статті має складне форматування, тому з її більш повним описом і використаною літературою можна ознайомитися у публікації (розміщення статті може бути іншим, ніж встановлене у гіперпосиланні):
Висновки і перспективи подальших досліджень.
За результатами проведеного дослідження розроблена методика оцінювання ефективності (корисності) АСПІАР КІАЦ. У рамках методики розроблена модель оцінювання ефективності у вигляді зваженого деревоподібного графа узагальнених і часткових критерійних показників ефективності.
Система показників розроблена на основі вимог керівних і методичних документів до перспективної загальнодержавної і галузевої систем електронних інформаційних ресурсів, відповідно до корисності часткових функцій АСПІАР для узагальнених потреб користувачів аналітиків та з урахуванням рівня реалізації в ній елементів перспективних інформаційних технологій. Забезпечено врахування різної важливості показників ефективності та рівня авторитетності експертів. Даний підхід уперше використаний для оцінки ефективності систем підтримки інформаційно-аналітичної роботи.
Використання методики дозволяє порівняти ефективність автоматизованих систем, які можуть використовуватися для автоматизації інформаційно-аналітичної роботи на КІАЦ та вибрати найбільш ефективну (корисну) для узагальнених потреб фахівців аналітиків.
Перспективою подальших досліджень є адаптація розробленої методики для оцінювання ефективності в інших проблемних областях автоматизації інформаційно-аналітичної роботи, а також інтеграція методики до початкових етапів загальної методики розробки автоматизованих інформаційних систем з метою удосконалення існуючого методичного апарату для обґрунтованого формування вимог до цих систем на етапі їх замовлення і початкового проектування.
Коментарі