Откривање законитости у подацима - ОЗП (енг. Data mining)

Transcription

1 Факултет организационих наука Центар за пословно одлучивање Откривање законитости у подацима - ОЗП (енг. Data mining) Процес ОЗП

2 Дефиниција Откривање законитости у подацима (eng. data mining) је процес oтркивања законитости у великој количини података користећи математичке, статистичке и оптимизационе методе и технике. Законитости представљају знање, чијим познавањем се стичу компететивне предности.

3 Случај телком Компанија моб. телефоније у САД. Има највећи број корисника и тржишно учешће од око 70%. На тржиште су почели да улазе и други моб. оператери и компанија је почела да губи свој тржишни удео. Компанија: води податке о рачунима (задужења, плаћања, врсте услуга) за своје потрошаче жели да искористи податке како би повећала укупну продају жели да упозна своје потрошаче како би понудила услуге које су њима потребне жели да спречи одлазак потрошача жели да сегментира тржиште, на основу демографских података жели да предвиди укупну продају по свим својим објектима

4 Подаци о кориснику

5 Задаци ОЗП Класификација Процена (Регресија) Кластеровање Асоцијација Предвиђање Редукција

6 Задаци и алгоритми ОЗП задаци стварају потребу за ОЗП. Задаци представљају део свакодневног одлучивања ДО. ОЗП алгоритми решавају ОЗП задатке. Они служе за откривање законитости (знања) Сваки алгоритам може да открије само део законитости у подацима Увек треба кренути од једноставнијих алгоритама

7 Алгоритми Стабла одлучивања К-најближих суседа Наивни Бајес Априори К-средина Логистичка регресија Линеарна регресија Хијерархијско кластеровање Вештачке неуронске мреже... задаци?

8 Квалитет решења Мера евалуације модела Специфична за сваки задатак Шта ако нисмо задовољни? Који су неопходни фактори за добијање доброг модела? избор алгоритма? (црна кутија) подешавање алгоритма? (познавање) прикупљање још примера? (крива учења) прикупљање нових атрибута? припрема постојећих података!

9 Методологија: Crisp-DM 1. Разумевање пословног проблема 2. Разумевање података 3. Припрема података 4. Моделовање 5. Евалуација 6. Примена

10 Разумевање података Питања: какав је формат података? колико има инстанци и атрибута? да ли подаци садрже атрибуте релевантне за пословни проблем? који су типови атрибута (нумерички, категорички, идентификациони, текстуални)? на шта указују основне статистике атрибута? (просеци, девијације, мин/макс, број вредности) да ли су за пословни проблем сви атрибути потребни (важни)? да ли постоји неки подскуп (потпопулација) над којим треба фокусирати анализу?

11 Разумевање података Експлорација података Визуелизације хистограми, скетер плотови, крос-табеле, линијски дијаграми, паралелене координате,... Питања: који атрибути делују релевантно за проблем? да ли постоје грешке у подацима (очигледне или потенцијалне)? да ли постоје недостајуће вредности? да ли постоје неконзистентности у вредностима?

12 Разумевање података

13 Разумевање података

14 Разумевање података

15 Разумевање података

16 Припрема података Грешке избацивање случајева корекција вредности (replace) брисање вредности Недостајуће вредности попуњавање највероватнијих вредности (просек, најчешћа вр., случајно, моделом) неки алгоритми имају могућност рада са недостајућим вредностима

17 Припрема података Конверзија типова нумерички у категорички (дискретизација) категорички у нумерички (кодирање) услов за примену неких алгоритама Конструисање нових атрибута комбинацијом постојећих правило: рацио ликвидности > 1 формула: квадратура/број људи

18 Припрема података Аутлајери - случајеви који су мало вероватни (ретки) могу бити грешке могу бити екстремне вредности могу бити необичне комбинације особина (при чему ниједна особина није екстремна) значајно утичу на изградњу модела, а нису репрезентативни откривање и елиминисање

19 Редукција Редукција случајева Редукција атрибута Шта се дешава ако се у модел не укључи битан атрибут? Шта се дешава ако се у модел укључи небитан атрибут? Октривање скривених фактора специфичне комбнације атрибута анализа главних компоненти (енг. PCA) Често се решава комплексним алгоритмима Може бити засебан ОЗП задатак!

20 Методологија: Crisp-DM 1. Разумевање пословног проблема 2. Разумевање података 3. Припрема података 4. Моделовање 5. Евалуација 6. Примена

21 Алати IBM + SPSS (2009) SAP + KXEN (InfiniteInsight) (2013) Dell + StatSoft (2014) Microsoft + Rev. Analytics (R) (2015)

22 Алати IBM SPSS Modeler SAS Enterprise Miner

23 EXPERT Модел ПИ GDSS EXPERT SUPPORT? PROBLEM PROCESS S SOLUTION COMPUTER SUPPORT MODELS RULES DSS ES ANN CBR DM DW DB

24 Примери Бпстпн Селтикси би желели да прпцене кпликп ће ппена наредни прптивник да ппстигне прптив оих. Впјни пбавештајац жели да сазна п пднпсу Чијата и Сунита у пдређенпм стратешкпм ппдручју. НОРАД пдбрамбени рачунар треба да пдлучи тренутнп да ли је трептај на радару јатп гусака или нуклеарни прпјектил.

25 Примери Пплитичар тражи најбпљу групу да га ппдржи у пдређенпм пкругу дпнацијама. Обевештајац жели да утврди да ли пдређена секвенца (редпслед) пптеза на финансијскпм тржишту представља претоу терпристичкпг напада. Впл стрит аналитичар је зампљен да анализира пчекиване прпмене у цени акцији за скуп кпмпанија са сличним раципм цена/принпс.

26 Пословне примене 1. Лојалност бренду и понашање купаца 2. Компетитивна предност 3. Моделовање одлучивања потрошача 4. Кредитна способност и откривање превара 5. Управљање односима са потрошачима 6. Директни и маркетинг на основу БП 7. Анализа потршачке корпе

27 Пословне примене 8. Моделовање одзива тржишта и предвиђање продаје 9. Сегментација тржишта 10.Политика цена 11.Позиционирање производа 12.Персонализована медицинска нега 13.Управљање скијашким центром

28 Пословне примене - KAGGLE Don't get kicked English Premier League result prediction E-commerce product categorization Thank Beer! Electrocardiogram Anomalies Hit or Flop HapBeer! E-commerce Transaction Anomaly Classification Stay alert! Driver identification Restaurant Revenue Prediction What s cooking Give Me Some Credit

29 ТЕСТ