Présentation DataWarehouse
Contents
1. Temps Produit jour r f semaine libell date volume Fait Vente cat gorie poids temps i produit a promotion ville magasin nom m2 revenu budget r gion m dia manager Plan _DataWarehou m P Multi dimensionne _ _ Alimentation EE OLAP A e Les concepts et architecture _ e Les techniques de mod lisation e L alimentation du data warehouse e Les syst mes OLAP e L offre d cisionnelle de Microsoft SQL Server 7 e Les aspects conomiques e Conclusion et perspectives e R f rences bibliographiques e Glossaire e Annexes Data Warehouse 2 47 Le contexte e Besoins contexte de mondialisation concurrence entreprise doit savoir anticiper besoin d informations pertinentes e Probleme donn es orient es production e Premi re d finition Un data warehouse est un lieu de stockage interm diaire des donn es issues des applications de production dans lesquelles les utilisateurs finaux puisent avec des outils de restitution et d analyse Data Warehouse 3 47 Les objectifs e Acc s aux informations e Coh rence des informations e Analyse multidimensionnelle e Outils de requ tes d analyse et de pr sentation e Publication de donn es ayant d j servi e Le data warehouse ne peut rem dier la mauvaise qualit des donn es sources Data Warehouse2. m E appl D balance pic s FTSS comp 3 py appl description description appl B denci oe ee ee ae appl C description E appl D description appl amp bal on h hand 2 balance appl B current balance A appl C cash in house appl D balance appl amp date MS Ce Julian appl B date ee me appl C date om pe EE appl D dete absolute _m FEY Data Warehouse 7 47 Le sch ma de principe d un data warehouse donn es ex termes donm es de production a i T Ua E CEA FE r m Bl LA O N Z p D n 1 ANT L DL Data Warehouse 8 47 Les types de donn es Ventes nationales par mois Ventes mensuelles par ligne de 1983 1993 de produits de 1985 1993 Ventes 1983 1 noens Boas tans Ventes d taill es de 1982 199 Donn es fortement agr g es on Niveau Donn es agr g es de synth se Donn es d taill es Niveau Donn es d taill es 4 historique historis es Data Warehouse 9 47 Comparaison OLTP vs D cisionnel OLTP D cisionnel Donn es d taill es d riv es Acc s donn es Requ tes Tps de r ponse Priorit Coh rence Transactions lectures critures Simples pr visibles lt lsec reproductible performance fiabilit microscopique petites nombreuses lecture seule complexes impr visibles secondes minutes souplesse autonomie glo
3. pour le taux d occupation des lits la p riode le service Data Warehouse 14 47 Le sch ma en toile Dimension produit Dimension magasin id produit id magasin Faits de vente libell marque ville couleur can 1 THERE ana ve id produit responsable id p riode montant unit s prix Dimension temps volumineuse id p riode ann e trimestre mois jour Finesse ou grain de la table des faits journ e par ex f ri Data Warehouse 15 47 Les faits e Num riques e Valoris s de fa on continue continuously valued prenant une valeur l int rieur d une grande fourchette contrairement aux dimensions e Additifs pour synth tiser additionner de grandes masses de chiffres e Identifiant de la table des faits Cl multiple concat nation des cl s de chacune des dimensions d analyse e Tables des faits parses sparse vitant les z ros signifiant rien signaler Data Warehouse 16 47 Les dimensions Caract ris es par des attributs e textuels e discrets propri t s constantes contrairement aux faits e utilis s comme contraintes filtres ou en t tes dans les rapports e enjeux majeurs de la mod lisation Data Warehouse 17 47 La dimension Temps e le type SOL date standard est insuffisant peut ventuellement tre la cl de la table et la cl trang re dans la table des fait
4. SQL Server 7 Optimisation de agr gation Data Storage and Aggregation Wizard Set storage size and performance options You can set options for your query performance or aggregation storage Setting a high performance gain improves query speeds by building more Performance YS Size aggregations but requires increased storage 400 Aggregation answer most l l queries Add aggregations until s0 LEM f Estimated storage reaches m a4 f Performance gain reaches ropa z a F x t click Stop Aggregations answer few 20 queries For more information on these options click Help A 0 2 4 6 a Click Start to design the aggregations MB Start Reset oo lt Back Cancel Help Data Warehouse 36 47 Les aspects conomiques e Investissement moyen 2 2 millions de dollars e Retour sur investissement a 3 ans en moyenne 400 gt 40 pour 90 des entreprises gt 1000 pour 13 des entreprises e Dur e de rentabilisation lt 3 ans pour 65 des entreprises e Gains en information et en efficacit Une augmentation des ventes gr ce un marketing mieux cibl Une am lioration des taux de rotation des produits L limination des produits obsol tes Une r duction des rabais et remises diverses Une meilleure n gociation au niveau des achats Data Warehouse 37 47 Conclusion et perspectives e Deux tendances actuelles datamarts et dataweb e La constr
5. http www prismsolutions com serveur de la soci t de Bill Inmon sp cialis sur la probl matique de mise en ceuvre du Data Warehouse Data Warehouse 40 47 Glossaire 1 e Agr gation Partitionnement horizontal d une relation selon des valeurs d attributs suivi d un regroupement par une fonction de calcul Somme moyenne min max comptage e Cluster Architecture mat rielle permettant la coop ration de plusieurs machines pour une instance de SGBD par partage des disques Environnement a haute disponibilit e Data Mart Base de donn es orient e sujet mise a disposition des utilisateurs dans un contexte d cisionnel d centralis e Data Mining Ensemble des technologies avanc es suceptibles d analyser information d un Data Warehouse pour en tirer des tendances pour segmenter information ou pour trouver des corr lations dans les donn es Data Warehouse 41 47 Glossaire 2 e Data Warehouse Entrep t de donn es Base de donn es sp cifique au monde d cisionnel et destin e principalement a analyser les leviers business potentiels Un Data Warehouse est int gr orient sujet et contient des donn es non volatiles e Dimension Axe d analyse associ aux indicateurs correspond la plus souvent aux sujets d int r t du Data Warehouse e Drill down Drill up M canisme permettant de se d placer dans une structure multidimensionnelle en allant du
6. Warehouse 28 47 Les syst mes d riv s d OLAP Les syst mes OLAP 3 7 e Le concept OLAP a fait de nombreux petits e Les syst mes MOLAP Multidimensional OLAP bases r ellement multidimensionnelles e Les syst mes ROLAP Relational OLAP bases relationnelles classiques organis es pour r agir comme une base OLAP e Les syst mes HOLAP Hybride OLAP compromis entre les deux concepts pr c dents e Les syst mes DOLAP Desktop OLAP bases OLAP h berg es sur le poste client e Etc Data Warehouse 29 47 Les outils MOLAP Les syst mes OLAP 4 7 e Base de donn es multidimensionnelle e Avantages performance e Inconv nients Volum trie importante en raison des agr gations syst matiques Volume maximum g rable 10 Gigaoctets Structure de stockage propri taire Mod lisation pr alable des besoins e March Arbor EssBase Kenan MultiWay Oracle expressServer Pilot LightShip Plaaning Science Gentium TM1 Software Table Manager Data Warehouse 30 47 Les outils ROLAP Les syst mes OLAP 5 7 e Base de donn es relationnelle e Simulation d un SGBD multidimensionnel e Pas d agr gation syst matique e Plus lent que MOLAP pour des petits volumes e Supportent de tr s gros volumes e March Informix Metacube Oracle Discovere 2000 Information Advantage Axsys Micro Strategy DSS Agent Platinum ProdeaBeacon
7. extraction alimentation ETL Configuration miroir Data Warehouse 21 47 L alimentation du Data Warehouse 2 6 e La d couverte des donn es e L extraction des donn es e La transformation des donn es e Le transfert des donn es Data Warehouse 22 47 L alimentation du Data Warehouse 3 6 e La d couverte des donn es identifier les donn es utiles Adresse complete ou code postal L age du client est il n cessaire e L extraction des donn es Difficult li e 1 h t rog n it des donn es sources Ne charger que les donn es modifi es ou cr es e Analyse des transactions des syst mes de production e Examens des fichiers op rationnels e Int r t des outils d extraction m canisme de changed data capture Data Warehouse 23 47 L alimentation du Data Warehouse 4 6 e La transformation des donn es homog n iser les donn es L puration e Le filtrage des donn es aberrantes ou sans signification e Le d doublonnage des donn es redondantes Le formatage conversion au format cible La synchronisation des cl s e Le transfert des donn es Le transfert de fichiers Le transfert de base a base plus lent s curis transf cplexes Data Warehouse 24 47 L alimentation du Data Warehouse 5 6 e Les outils d extraction et d alimentation ETL automatisation de alimentatio
8. if Solution Star Tracker Data Warehouse 31 47 Les outils HOLAP Les syst mes OLAP 6 7 e Compromis entre MOLAP et ROLAP e Donn es souvent consult es sont stock es dans une base MOLAP e Les autres donn es sont stock es dans une base relationnelle e March Oracle Express SAS Institute MDDB IBM DB2 OLAP Server Holistic Systems Holos Data Warehouse 32 47 Les outils DOLAP Les syst mes OLAP 7 7 e OLAP de bureau e Base OLAP h berg e sur le poste client e Tr s rapide e March Andyne Pablo Business Object Cognos PowerPlay Dimensional Insight Cross Traget Speedware Media Data Warehouse 33 47 L offre d cisionnelle de Microsoft e Int r ts diminution des co ts d mocratiser les technologies du DWH int gration d outils d acquisition de donn es et analyse multidim standardisation des m tadonn es e SGBDR SQL SERVER 7 e Outil d extraction et d alimentation DTS Data Transformation Services e OLAP Services e Les outils clients Excel 2000 et outils tiers Pivot Table Service struct interm diaire de stockage permettant W en d connect e Le r f rentiel Microsoft Repository Data Warehouse 34 47 SQL Server 7 Data Transformation Services Sales 4 Data Warehouse Sales Data OLAF Fact Table Sales Regions Sales Stores Data Warehouse 35 47
9. 4 47 Quelques exemples e Secteurs privil gi s Automobile t l communications distribution assurances et banques e Exemples Application d aide la d cision charg d am liorer la rentabilit et la r activit au Cr dit Lyonnais Syst me strat gique d aide la production mondiale chez un quipementier Application de suivi commercial sur des postes nomades Application de pilotage m dico conomique dans un h pital Data Warehouse 5 47 D finition Bill Inmon e Un data warehouse est une collection de donn es orient es sujet e regroup es par centre d int r t de utilisateur int gr es e coh rentes en terme de codage et de repr sentation historis es e conservation de historique des valeurs prises non volatiles e une m me requ te ex cut e 2 moments diff rents fournira la m me r ponse organis es pour le support d un processus d aide la d cision Data Warehouse 6 47 Donn es int gr es integration operational data warehouse appl amp m f mf appl B 8 LW _3 appl ae ok appl D mae LE temale appl A pipeline cmn AMAA 7M pipeline cm appl B pipeline inches g 7 appl C pipeline met DEEE appl D pipeline yds e FE appl amp balance dec fixed 13 2 3 Wm D 5 CE appl B balance pic oe a ee fixed 13 2 appl C balance dec fixed 11 0
10. aire la mise en place d un syst me multidimensionnel en s appuyant sur les technologies relationnelles Data Warehouse 46 47 Glossaire 7 e SGBD multidimensionnel Caract rise une base de donn es d di e au d cisionnel stockant les donn es sous la forme d un tableau multidimensionnel cube Ces SGBD sont une alternative aux SGBD relationnels voir aussi SIAD e Structure multidimensionnelle stockant les donn es sous la forme d un tableau multidimensionnel Ces SGBD sont une Caract rise une base de donn es d di e au d cisionnel alternative aux SGBDR voir SIAD galement e SIAD Systeme Interactif d Aide la D cision Environnement permettant de stocker et de structurer information d cisionnelle Ce terme d signe souvent les bases de donn es multidimentionnelles L arriv e des concepts de Data Warehouse fait perdre de 1 importance ce terme qui fait fortement r f rence a une technologie sp cifique Data Warehouse 47 47
11. bale grosses par jour Data Warehouse 10 47 La mod lisation des syst mes OLTP e Bas e sur le mod le entit relation e Hautes performances Limitation de la redondance Optimisation du mod le pour privil gier les requ tes fr quentes e Orientation processus e Faible lisibilit pour les utilisateurs finaux Data Warehouse 11 47 La mod lisation des syst mes d cisionnels e Lisibilit du point de vue de l utilisateur e Performance au chargement des donn es e Performance l ex cution des requ tes e Facilitation de administration du Data Warehouse e Evolutivit Data Warehouse 12 47 Le mod le relationnel e Le mod le relationnel normalis Complet mais peu lisible Certains indicateurs doivent tre calcul s chaque requ te Requ tes complexes Limit aux syst mes d cisionnels simples e Le mod le relationnel d normalis Orient besoins D normalisation agr gats Moins complet mais plus lisible Gain de performances relatif tables volumineuses Data Warehouse 13 47 Le mod le dimensionnel e Ensemble d indicateurs de performance les faits et d axes d tude les dimensions e Exemple de faits pour une entreprise le chiffre d affaire pour un h pital le taux d occupation des lits e Exemple de dimensions pour le chiffre d affaire la p riode le client le produit
12. ci es sa source son format e Middleware Outil logiciel de connectivit Dans un contexte d cisionnel il est situ entre les outils d aide la d cision et la base de donn es d cisionnelle Un bon Middleware permet de conserver l ind pendance de ces deux types de composants e Mod le de donn es Sch ma d une base Le mod le d crit les tables les attributs les cl s les contarintes d int grit Le mod le relationnel d crit des tables deux dimensions ligne et colonne Le mod le multidimensionnel ne limite pas le stockage des donn es dans espace e Mod le en toile Technique de mod lisation dimensionnelle consistant distinguer physiquement les tables de faits des tables de dimensions La table de faits est plac e au centre du mod le les tables de dimensions gravitant autour Ce mod le repr sente visuellement un toile Data Warehouse 44 47 Glossaire 5 Mod le en flocon Technique de mod lisation dimensionnellle d riv e de la mod lisation en toile dont la repr sentation visuelle s apparente un flocon Dans ce mod le les tables de dimensions sont d normalis es c a d d nu es de redondances Mod le dimensionnel ou multidimensionnel Technique de mod lisation consistant mod liser une base d cisionnelle partir de l identification des faits analyser et des dimensions d analyses qui leur sont associ es Mod le relationnel Tech
13. global vers le d tail drill down ou vice versa drill up e EIS Executive Information System outils d aide a d cision e Index Structure annexe pointant sur les donn es d une table partir des valeurs d une colonne ou d un ensemble de colonnes de cette m me table et utilis e pour acc l rer la recherche des donn es Data Warehouse 42 47 Glossaire 3 e Index binaire tableau de bits faisant correspondre les indices de valeur 1 aux lignes de la table contenant une valeur donn e pour la colonne index e e Infocentre op rationnel Collection de donn es destin es 1 aide la d cision orient es sujet int gr es volatiles actuelles organis es pour le support d un processus de d cision ponctuel en support une activit particuli re e Int grit Ensemble de contraintes appliqu es aux mises jour d une base de donn es permettant de garantir leur coh rence e Jointure Rapprochement entre deux tables par comparaison de valeurs sur la base d un attribut commun e M tabase Ensemble de tables systemes utilis es par les SGBD pour stocker la description des objets utilisateurs tables vues droits proc dures stock es d une base Data Warehouse 43 47 Glossaire 4 e M tadonn e Information d crivant une donn e Dans un contexte de Data Warehouse elle qualifie une donn e pr cisant par ex sa s mantique les r gles de gestion asso
14. n e Les familles d ETL Premi re g n ration 1990 les g n rateurs de code e Warehouse Manager de Prism Solutions e Passport de Carleton e ETI Extract d ETI puissant sophistiqu mais cher gt 1 M de francs la licence Deuxieme g n ration les moteurs d extraction de donn es e Powermart d Informatica e Datastage d Ardent Software e Genio de Leonard s Logic 300 000 francs e Inconv nient pr sence de goulets d tranglement Data Warehouse 25 47 L alimentation du Data Warehouse 6 6 e Les familles d ETL suite La troisi me g n ration les solutions globales e DTS compris dans SQL Server 7 Microsoft e Redbrick Informix e Les outils de data hub Constellar Hub Constellar Paseo Cimm Informatique Data Warehouse 26 47 Les systemes OLAP 1 7 e OLAP OnLine Analytical Processing e Systeme d analyse rapide d information multidimensionnelle partag e pas de programmation n cessaire la plupart des r ponses sont fournies en 5 secondes toutes les donn es sont accessibles vue multidimensionnelle cubes ou pyramides conditions de s curit et de confidentialit jusqu au niveau cellule du cube Data Warehouse 27 47 Les systemes OLAP 2 7 Dimension axe d analyse Cellule indicateurs num riques Drill Down analyse descendante Slicing and Dicing analyse transversale Produit 5 o my OO Data
15. nique de mod lisation consistant d composer une base de donn es en entit et en relations corr lant ces entit s MOLAP Multidimensional On Line Analytical Processing voir OLAP Multidimensionnel SGBD Caract rise une base de donn es d di e au d cisionnel stockant les donn es sous forme d un tableau multidimensionnel Ces SGBD sont une alternative aux SGBD relationnels Data Warehouse 45 47 Glossaire 6 e OLAP On Line Analytical Processing Caract rise l architecture n cessaire la mise en place d un syst me d information d cisionnel S oppose OLTP Le terme OLAP d signe souvent les outils d analyse s appuyant sur des bases de donn es multidimensionnelles On parle alors galement d outils MOLAP pour les bases multidimensionnelles par opposition aux outils ROLAP pour les bases relationnelles OLTP On Line Transactionnel Processing Type d environnement de traitement de l information dans lequel une r ponse doit tre donn e dans un temps acceptable et consistant e R f rentiel Structure de stockage des m tadonn es Un r f rentiel f d re ces m tadonn es On distingue le Data Warehouse Repository f d rant les m tadonn es de la base d cisionnelle de l Enterprise Repository qui inclut en th orie toutes les m tadonn es de l entreprise aussi bien transactionnelles que d cisionnelles ROLAP Relational On Line Analytical Processing Architecture n cess
16. s e chaque jour peut tre caract ris par le jour de la semaine lundi le num ro du jour du mois 1 2 id temps sil est le dernier jour du mois O N jourSemaine le num ro du jour calendrier julien partir d une date donn e noJourMois le num ro de semaine dans ann e 1 2 52 dernJour le num ro du mois 1 2 12 noJour f ok ee noSemaine le mois janvier f vrier noMois le trimestre ler 2 me mois la p riode fiscale 1Q98 2098 peste P D ue Q p riodeFisc s il est f ri ou non f ri la saison printemps t saison v nement un v nement final de foot Data Warehouse 18 47 Exemple Trouver toutes les marques de produits vendues au cours du mois d octobre 1995 et pr senter le total des ventes et le total des unit s vendues va StarTracker Demo Be File Edit Aggregates Sequences Comparisons Help Product All Products FIELDS groups STUDIES Product_Key Description Full_Description SKU_Number Package_Size Brand Sales Facts Time_Key Product_Key Promotion_Key Store_Key Dollar_Sales Unit_Sales Dollar_Cost Customer_Count Avg Price Avg Cost Avg Purchase Dollars Avg Purchase Number Gross Profit Gross Margin Report Columns FIELOS GROUPS sTUDIES Day Saturday Dan Qindan Store All Stores FIELDS croups s
17. tuDIEs Store_Key Name Store_Number Store_Street_Address City Stara Cormbi Promotion All Promotions FIELDS gRoups sTuDIEs Promotion_Key Promotion_Name Price_Reduction_Type Ad_Type Display_Type Cannan Tune pe Unit_Sales 539 872 23 41 544 36 375 16 39 643 33 765 57 43 612 564 938 83 26145 S70 598 67 28 611 23 791 00 26 099 S65 020 68 41 949 50 685 69 27 998 Family Chapter 2 Grocery 26 05 98 09 55 Data Warehouse 19 47 SQL SELECT Time SOL Time KEY Time TYPE FROM Time GP WHERE Time GRP_ NAME 4095 ORDER BY Time KEY colonnes SELECT Product Brand Sum Sales Fact Dollar_Sales as Coll Sum Sales Fact Unit Sales as Col2 Jointures FROM Sales Fact Time Product fait amp dimensions WHERE Sales Fact time_key Time time_key AND Sales Fact product_key Product product_key AND Time Fiscal Period IN 4095 Contrainte filtre sur dimensions GROUP BY Product Brand ORDER BY Product Brand rupture Data Warehouse 20 47 L alimentation du Data Warehouse 1 6 e Deux modes de fonctionnement de l entrep t en ligne ex cution des requ tes des utilisateurs hors ligne alimentation e Alimentation migration et pr paration des donn es provenant des systemes op rationnels e Etape tr s importante 80 du budget e Optimisation et automatisation Outils d
18. uction du data warehouse est un processus long et difficile e Construction progressive par datamarts avantages rapide inconv nient risque de cohabitation de datamarts incoh rents e Dataweb ouverture du data warehouse au web Data Warehouse 38 47 R f rences e Bibliographiques Le Data Warehouse Le Data Mining de J M Franco et EDS Institut Promoth us Ed Eyrolles Guillet 1999 La construction du Data Warehouse du datamart au dataweb de J F Goglin Ed Herm s septembre 1998 Entrp ts de donn es Guide pratique du concepteur de data warehouse de R Kimball Ed International Thomson Publishing janvier 1997 e Presse informatique SQL Server 7 0 de Microsoft Le d cisionnel en ligne de mire Informatiques Magazine 11 d cembre 1998 Datamart mode d emploi Informatiques Magazine 10 janvier 1998 Le Cr dit Lyonnais allie web et d cisionnel Informatiques Magazine 21 mai 1999 Le data warehouse optimise le duty free Informatiques Magazine 1 juillet 1998 Trois crit res pour appr hender les solutions H Olap et Rolap Informatiques Magazine 15 mai 1998 Six solutions completes de data Web Informatiques Magazine 6 novembre 1998 Data Warehouse 39 47 R f rences e Documentation technique SOL Server 7 0 de Microsoft e Adresses Internet http pwp startenic com larryg index html beaucoup de conseils int ressants pour construire un Data Warehouse
Download Pdf Manuals
Related Search