Универзитет у Београду Факултет организационих наука Пословна интелигенција Развој складишта података и ОЛАП коцке
П3: Развој DW DW је пословно решење Шта је потребно знати да би се направио DW? Архитектре и шеме DW Шта је битно код DW развоја?
Циљеви предавања Развој DW Разумевање компромиса који се склапају у том процесу
EXPERT GDSS EXPERT SUPPORT? Модел ПИ PROBLEM PROCESS S SOLUTION COMPUTER SUPPORT MODELS RULES DSS ES ANN CBR DM DW DB
Уобичајени проблеми у пословању Немогућност добијања информација Нетачни извештаји Извештаји касне Неефикасно доношење одлука
Разлог ИС није интегрисан
Последице Непотпуне информације Погрешне одлуке Погрешни закључци Лоши резултати пословања
ОЛАП прави компромис Базе података Складиште податке пословања Захтевају IT експерте Нису намењени анализи ОЛАП -Конзистентност -Мултидимензионалност -Брзо извештавање -Предагрегирани подаци Spreadsheet Анализирају мале количине података Minimalна IT знања Неконзист. података
ОЛАП ОЛАП се користи за Анализу сумарних података (МЕРЕ) Анализу по категоријама (ДИМЕНЗИЈЕ) ОЛАП се не користи за Складиштење ненумеричких података Трансакциону обраду
Мултидимензионалност Finance Production Profit and budget Production quantity By region By years By quartiles Sales Incomes By product By region By salesman By month Marketing Incomes By buyers By sales channels By weeks By fabric By delivery By product By days
Основни концепти Табела чињеница Димензиона табела Мере Шеме складишта података Једнотабеларна Звезда Пахуљица
OLTP - Normalizacija
Табела чињеница Датум Произв. Купац Кол. Цена 11/02/14 101 Johnson 250 3,295 11/02/14 101 Wayne 92 1,422 11/02/14 102 Johnson 105 1,750 11/02/14 102 Sakes 81 1,090 11/03/14 101 Johnson 125 2,105 11/03/14 101 King 302 3,988 11/03/14 102 Johnson 144 2,675 11/03/14 102 Zebron 171 3,009
Димензиона табела ID Регионa Име региона Град 101 Region 1 Hamburg 102 Region 2 Bonn 103 Region 3 Berlin 104 Region 4 München
Звездаста (Star) шема Факт табела Димензија
Пахуљичаста (Snowflake) шема Димензионе табеле Табела чињеница
Поређење Star <-> Snowflake Једноставнији проблеми Мање спајања табела Боље перформансе Сложенији проблеми Випе спајања табела Лошије перформансе Mediator pattern
Димензиони модел података
ОЛАП коцка 19
OЛАП насупрот СП Складиште података ОЛАП коцка (Дејта март) ОЛТП извори ETL Остали извори ДО 20
Начини складиштења (ОЛАП КОЦКЕ) РОЛАП (RELATIONAL OLAP) МОЛАП (MULTIDIMENSIONAL OLAP) ХОЛАП (HYBRID OLAP)
Начини складиштења
ROLAP особине Подаци и агрегације у БП Најмање меморијског заузимања Најспорије извршавање упита Користи се када је: Меморијски простор ограничен Подаци се ретко користе
MOLAP особине Подаци и агрегације у мултидимензионој коцки Заузима највише простора Најбрже извршавање упита Користи се када је: Најбитнији брзина извештавања Када се подаци често користе Када постоје меморијски капацитети
ХОЛАП особине Подаци у БП, Агрегације у коцки Више простора него код ROLAP, мање него код MOLAP Брзина извештавања упита је задовољавајућа Користи се када: није критично време извршавања упита се подаци користе често постоје ограничења меморијског капацитета
Дејта март (Data Mart) 26
Архитектура 1 27
Архитектура 2 28
Архитектура 3 29
Архитектура 4 30
Top-down приступ развоја 31
Bottom-up приступ развоја 32
Комбиновани приступ 33
Развој складишта података у три корака 1. ETL (Extract, Transform, Load) 2. Изградња СП 3. Извештавање (ОЛАП коцка) 34
DW развој 1. ETL (Extract, Transform, Load) 2. DW процесирање 3. Извештавања
Skladište podataka (definicija) Skladište podataka, zapravo predstavlja bazu podataka koja ima sledeće karakteristike: Predmetno orijentisana; Nepromenljiva; Integrisana i Ima vremensku dimenziju.
Karakteristike skladišta Predmetna orijentisanost - podaci organizovani oko predmeta (kao što su prodaja, ispitna prijava, telefonski poziv.). Nepromenljivost - podaci koji se jednom smeste u skladište podataka, oni više nisu podležni promenama.
Karakteristike skladišta Integrisanost - skladišta podataka pune iz više operacionih baza jednog sistema Različiti zapisi datuma, različiti kodovi zapisa Svi podaci sa istim značenjem moraju da imaju iste oznake
Integracija podataka
Karakteristike skladišta Vremenska dimenzija: Beleže se istorijski podaci svaki upit izvršen nad skladištem podataka ima neki element vremena vezan uz sebe otvara novi horizont dobijanjem strateških informacija na osnovu istorijskih podataka
Granularnost
Struktura skladišta podataka
Случај: ФОН 1. Анализа постојеће БП 2. Избор података занимљивих за анализу (Extract) 3. Чишћење и обрада података (Transform) 4. Учитавање података у складиште података (Load) 5. Избор факт и димензионих табела 6. Избор врсте шеме 7. Избор мера 8. Избор начина складиштења 9. Избор процента агрегације 10. Генерисање коцке 11. Коришћење коцке
OLTP анализа DBase IV Захтеви ДО: 1. Пролазност на испитима. 2. Просечне оцене. 3. Просечне оцене по студенту, одсеку, испиту, полу, итд. 4. Пролазност и оцене по професорима. 5. Број полагања по полу, одсеку, итд.
Део БП Избор података за анализу Изабрано је свега неколико табела
БП има Трансформација података Погрешне податке Лоше формате датума итд. Неки редови су мењани, док су неки брисани
Изградња складишта података
Избор факт и димензионих табела 1. Што мање података, 2. Атрибути занимљиви за анализи, и 3. Могућност повезивања са димензионим табелама.
Избор одговарајуће шеме 1. Једнотабеларна 2. Звезда 3. Пахуљица Комплексност проблема Димензије табела Перформансе Меморијски простор
Пахуљичаста шема
Избор мера Основне и изведене мере 1. Положен испит 2. Оцена на испиту
Избор начина складиштења 1. РОЛАП (Relational OLAP), 2. ХОЛАП (Hybrid OLAP), i 3. МОЛАП (Multidimensional OLAP). Меморијски капацитети Перформансе упита
Начини складиштења
Степен агрегације
Генерисање коцке Величина коцке, Број корисника, Клијент-сервер архитектура, и Способности мреже.
Коришћење коцке
Коришћење коцке
Следећи пут Откривање законитости у подацима (ОЗП, енг. data mining) Задаци ОЗП-а
Питања за студенте Молим Вас да заузмете позицију за тест Одложите све материјале са предавања Спустите оловку Тест траје 2 минута 59