Реферат на тему:
Методи отримання знань в «Deductor warehouse»
Діяльність ділових людей пов’язана з необхідністю щодня приймати
рішення різної складності. Прикладами можуть служити: вибір напрямку
розвитку фірми, вибір варіанту автоматизації діяльності компанії,
визначення варіанту розміщення філіалу, типу товару, що випускається або
закуповується, вибір приміщення під офіс, типу устаткування, вибір
кредитора, співвиконавця роботи, призначення на вакантну посаду одного з
багатьох кандидатів і т.д.
Обґрунтованість і професійний рівень прийняття рішень визначає,
врешті-решт, ефективність діяльності фірми. Необхідність обліку при
ухваленні управлінських рішень великої кількості політичних,
економічних, соціальних, юридичних і моральних чинників значно ускладнює
задачу вибору правильного варіанту рішення. В першу чергу, це пов’язано
з пошуком і збором необхідної для прийняття рішення інформації. В цьому
відношенні істотну допомогу керівнику надають сучасні інформаційні
системи. Проте володіння необхідною інформацією – необхідна, але
недостатня умова для прийняття правильного рішення.
Аналіз інформації є невід’ємною частиною ведення бізнесу і одним з
важливих чинників підвищення його конкурентоспроможності. При цьому в
переважній більшості випадків усе зводиться до застосування одних і тих
же базових механізмів аналізу. Вони є універсальними і застосовні до
будь-якої предметної області, завдяки цьому є можливість створення
уніфікованої програмної платформи, в якій реалізовані основні механізми
аналізу.
Data Mining – це не один, а сукупність великого числа різних методів
виявлення знань. Всі задачі, вирішувані методами Data Mining, можна
умовно розбити на п’ять класів.
1. Класифікація – віднесення об’єктів (спостережень, подій) до одного з
наперед відомих класів.
2. Кластеризація – це угрупування об’єктів (спостережень, подій) на
основі даних (властивостей), що описують суть об’єктів.
3. Регресія, у тому числі задача прогнозування. Це встановлення
залежності безперервних вихідних змінних від вхідних.
4. Асоціація – виявлення закономірностей між зв’язаними подіями.
Прикладом такої закономірності служить правило, вказуюче, що з події X
слідує подія У. Такі правила називаються асоціативними.
5. Послідовні шаблони – встановлення закономірностей між зв’язаними в
часу подіями.
Для вирішення вищеперелічених задач використовуються різні методи і
алгоритми Data Mining. З огляду на те, що Data Mining розвивався і
розвивається на стику таких дисциплін, як математика, статистика, теорія
інформації, машинне навчання, теорія баз даних, цілком закономірно, що
більшість алгоритмів і методів Data Mining були розроблені на основі
різних методів з цих дисциплін.
На сьогодні найбільше розповсюдження отримали самонавчальні методи і
машинне навчання. Розглянемо найбільш відомі алгоритми і методи, що
застосовуються для вирішення кожної задачі Data Mining в «Deductor
Warehouse».
«Deductor Warehouse» призначений для ефективного вирішення проблеми
тиражування знань. Deductor – це аналітична платформа, основа для
створення закінчених прикладних рішень в області аналізу даних.
Реалізовані в Deductor технології дозволяють на базі єдиної архітектури
пройти всі етапи побудови аналітичної системи від створення сховища
даних до автоматичного підбору моделей і візуалізації отриманих
результатів.
Deductor складається з 3-х частин – багатовимірного сховища даних
Deductor Warehouse, аналітичного додатку Deductor Studio і робочого
місця користувача Deductor Viewer.
Deductor Warehouse – багатовимірне сховище даних, що акумулює всю
необхідну для аналізу предметної області інформацію. Використання
єдиного сховища дозволяє забезпечити несуперечність даних, їх
централізоване зберігання і автоматично забезпечує всю необхідну
підтримку процесу аналізу даних. Deductor Warehouse оптимізований для
вирішення саме аналітичних задач, що позитивно позначається на швидкості
доступу до даних.
Deductor Studio – програма, що реалізовує функції імпорту, обробки,
візуалізації і експорту даних. Deductor Studio може функціонувати і без
сховища даних, одержуючи інформацію з будь-яких інших джерел, але
найбільш оптимальним є їх сумісне використання. В Deductor Studio
включений повний набір механізмів, що дозволяє отримати інформацію з
довільного джерела даних, провести весь цикл обробки (очищення,
трансформацію даних, побудову моделей), відобразити отримані результати
найбільш зручним чином (OLAP, діаграми, дерева) і експортувати
результати. Це повністю відповідає концепції відбору знань з баз даних
(KDD).
Deductor Viewer – робоче місце користувача. Дозволяє відділити процес
побудови моделей від використання вже готових моделей. Всі складні
операції по підготовці моделей виконуються аналітиками-експертами за
допомогою Deductor Studio, а Deductor Viewer забезпечує користувачам
простий спосіб роботи з готовими результатами, приховує від них всі
складнощі побудови моделей і не пред’являє високих вимог до кваліфікації
співробітників.
Архітектура системи побудована таким чином, що вся робота по аналізу
даних в Deductor Studio базується на виконанні наступних дій: імпорт
даних, обробка даних, візуалізація, експорт даних.
Процес побудови моделей в Deductor ґрунтується на наступних трьох
принципах: використання обробників, використання візуалізаторів,
створення сценаріїв.
ue
gds4C
. Під обробкою розуміються будь-які маніпуляції над набором даних: від
найпростіших (наприклад, сортування) до складних (побудова нейроної
мережі). Обробник можна представити у вигляді «чорного ящика», на вхід
якого подається набір даних, а на виході формується перетворений набір
даних.
Реалізовані в Deductor обробники задовольняють основну потребу в аналізі
даних і створення закінчених аналітичних рішень на базі Data Mining.
Будь-який набір даних можна візуалізувати яким-небудь доступним способом
або декількома способами, оскільки візуалізація допомагає інтерпретувати
побудовані моделі.
В Deductor Warehouse передбачені наступні способи візуалізації даних.
– OLAP. Багатовимірне представлення даних. Будь-які дані, що
використовуються в програмі, можна подивитися у вигляді крос-таблиці і
крос-діаграми.
– Таблица. Стандартне табличне уявленні з можливістю фільтрації даних.
– Диаграмма. Графік зміни будь-якого показника.
– Гистограмма. Графік розкиду показників.
– Статистика. Статистичні показники набору даних.
– Диаграмма рассеяния. Графік відхилення прогнозованих за допомогою
моделі значень від реальних. Може бути побудована тільки для
безперервних величин і лише після використання механізмів побудови
моделі, наприклад, нейромережі або лінійної регресії. Використовується
для візуальної оцінки якості побудованої моделі.
– Таблица сопряженности. Призначена для оцінки результатів класифікації
незалежно від моделі, що використовується. Використовується для оцінки
якості класифікації.
– «Что-если». Таблиця і діаграма. Дозволяють «проганяти» через
побудовану модель будь-які дані, що цікавлять користувача, і оцінити
вплив того або іншого чинника на результат.
– Обучающая выборка. Набір даних, що використовується для побудови
моделі.
– Диаграмма прогноза. Застосовується після використовування методу
обробки – Прогнозирование. Прогнозні значення виділяються кольором.
– Граф нейросети. Візуальне відображення навченої нейромережі.
Відображається структура нейроної мережі і значення ваги;
– Дерево решений. Відображення дерева рішень, отриманого при допомозі
відповідного алгоритму.
– Дерево правил. Відображення в ієрархічному виді (у вигляді дерева)
асоціативних правил.
– Правила. Відображає в текстовому вигляді правила, отримані за
допомогою алгоритму побудови дерев рішень або пошуку асоціацій.
– Карта Кохонена. Відображення карт, побудованих за допомогою
відповідного алгоритму.
– Описание. Текстовий опис параметрів імпорту/обробки/експорту в дереві
сценаріїв обробки.
Сценарій є ієрархічною послідовністю обробки і візуалізації наборів
даних. Він завжди починається з імпорту набору даних з довільного
джерела. Після імпорту може використовуватися довільне число обробників
будь-якого ступеня глибини і вкладеності. Кожній операції обробки
відповідає окремий вузол дерева, або об’єкт сценарію. Будь-який об’єкт
можна візуалізувати тим або іншим доступним способом. Набір даних
служить механізмом, що сполучає всі об’єкти сценарію. Можна сказати, що
сценарій – найбільш природний з погляду аналітика спосіб представлення
етапів побудови моделі. Це дозволяє швидко створювати моделі, що
володіють великою гнучкістю і розширюваністю, порівнювати декілька
моделей.
Інтерфейс Deductor Studio складається з головного вікна, всередині якого
розташовуються панелі сценаріїв, звітів, джерел даних і результати
моделювання (таблиці, графіки, крос-діаграми, правила і т.д.).
Всі сценарії створюються на основі запуску майстрів. В розпорядженні
аналітика є 4 майстри: імпорт, експорт, обробка, відображення.
Майстер імпорту призначений для автоматизації отримання даних з
будь-якого джерела, передбаченого в системі. На першому кроці майстра
імпорту відкривається список всіх передбачених в системі типів джерел
даних. Число кроків майстра імпорту, а також набір параметрів, що
настроюється, відрізняється для різних типів джерел.
Майстер обробки призначений для настройки всіх параметрів вибраного
алгоритму.
Майстер відображень дозволяє в покроковому режимі вибрати і настроїти
найбільш зручний спосіб представлення даних. Залежно від обробника, в
результаті якого була отримана гілка сценарію, список доступних для
нього видів відображень буде різним.
Наприклад, після побудови дерев рішень їх можна відобразити за допомогою
візуалізаторів «Дерево решений» і «Правила». Ці способи відображення не
доступні для інших обробників.
Майстер експорту дозволяє в покроковому режимі виконати експорт даних у
файли найбільш поширених форматів.
Література:
1. Є.В. Лєпа, Є.К. Міхеєв, В.В. Крініцин. Системи підтримки прийняття
рішень. Частина 1 / Навчальний посібник, Херсон, 2006., 324 с.
2. Є.В. Лєпа, Є.К. Міхеєв, В.В. Крініцин. Системи підтримки прийняття
рішень. Частина 2 / Навчальний посібник, Херсон, 2006., 248 с.
3. HYPERLINK “http://www.basegroup.ru/deductor”
www.basegroup.ru/deductor
4. HYPERLINK “http://www.deductor.com.ua/”
http://www.deductor.com.ua/
Нашли опечатку? Выделите и нажмите CTRL+Enter
