Quelle est la différence entre un entrepôt de données, un Data Mart, un Data Lake et un Data Center?

Les joueurs de données ont aussi vu beaucoup d'explications,Quelle est la différence entre les données,Pas assez intuitif,Ici.,L'entrepôt de données est donc l'équivalent d'un entrepôt au rez - de - chaussée d'IKEA.

Qu'est - ce qu'un entrepôt de données?

Les codes sur les marchandises sont généralement notés,Ça ne veut rien dire,J'ai souvent vu quelqu'un poser cette question,Je veux aller à l'entrepôt pour récupérer les marchandises,Le processus de sélection doit encore se dérouler en haut:

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

Tu te souviens du grand entrepôt au rez - de - chaussée?Ce code est pour le client,Si vous regardez un meuble,Voir ce code,Cela signifie quelque chose pour le magasinier.

Mais ce code,J'essaie d'illustrer cela par un exemple que tout le monde comprend,Ils savent très bien,Quelle étagère est,Quelle position.

Bien sûr.,Les clients peuvent également trouver des articles dans l'entrepôt le long des étagères et de l'emplacement,Mais ce n'est pas très intuitif,Il est impossible de savoir ce qu'il est.

L'entrepôt de données est donc l'équivalent d'un entrepôt au rez - de - chaussée d'IKEA. ,Ici,Données(Mobilier)Selon un modèle spécifique,Par exemple:FS-LDMAttendez.(Rayonnage-Emplacement)Organiser,Ce modèle,Pour les clients(Personnel d'affaires,Utilisateurs finaux de données)Ce n'est pas amical,Mais pour les technologues(Magasinier,Personnel IKEA)Relativement amical, Parce qu'il suit une règle plus intensive (Mobilier) C'est réglé. , Stockage centralisé 、Regulation,Extraire les données( Ramassage des marchandises ) Pas de bibliothèque croisée ( Entrepôt )Recherche, Recherche plus efficace .

Qu'est - ce qu'un Data Mart? ?

Ou utiliser cet exemple ,Comme indiqué ci - dessus, L'entrepôt de données n'est pas très convivial pour les gens d'affaires ,Encore une fois, Vous ne pouvez pas laisser les clients aller directement à l'entrepôt. ? Besoins des clients , Selon le type de mobilier , Selon les différentes chambres de la famille , Ensemble pour montrer , Comme le showroom au - dessus d'IKEA :

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

Même si c'est un labyrinthe. ,Mais dans l'ensemble, L'expérience du shopping doit être meilleure que celle de l'entrepôt. .

Alors..., Data Mart est comme une salle d'exposition au - dessus d'IKEA , Comme son nom. “ Marché ”C'est pareil, Est un utilisateur final (Clients) Marché des données ,Ici,Données(Mobilier) Pour être plus facilement accessible aux gens d'affaires (Clients) Les façons acceptées sont combinées , Ces combinaisons peuvent varier , Parce que les gens d'affaires (Clients) Les besoins sont variables , Par conséquent, nous devons ajuster régulièrement le calibre de calcul du marché ( Mode d'affichage dans la salle d'exposition ), De nouveaux Data marts sont souvent créés ( Rénovation de la nouvelle salle d'exposition ).

Le concept d'entrepôt de données et de marché est compris , D'autres problèmes connexes sont résolus. , Pourquoi construire un Data Mart avec un entrepôt de données? ?Attendez un peu!.

Qu'est - ce qu'un lac de données? ?

Le Lac de données n'a toujours pas de concept standard particulier , Parmi les différents concepts , Ce qui est plus uniforme, c'est que les lacs de données stockent des données brutes non traitées. , Contient des données structurées et non structurées . Les joueurs de données essaient encore d'expliquer avec l'exemple ci - dessus .

Tout le monde sait, Les meubles ikea doivent être assemblés par eux - mêmes , Les clients d'IKEA ont donc des compétences pratiques , Ils ont eu des caprices. , Tous les meubles peuvent - ils être démontés et stockés en pièces? , Les clients choisissent les pièces en fonction des besoins réels et les assemblent eux - mêmes. ?

Alors..., Un lac de données est un endroit où toutes les données brutes de l'entreprise sont stockées. ( Pièces de mobilier )Stockage, Cela pose un certain nombre de problèmes. , Le stockage des données après traitement est déjà très complexe , Les données brutes dépendent de plus de capacités administratives , Sinon, les données sont volumineuses et difficiles à gérer. , Les lacs de données peuvent dégénérer en marais de données .En outre, Données brutes en l'absence de normes de données uniformes , C'est comme si les interfaces entre les différents composants du mobilier étaient différentes. , On ne peut pas les assembler. .

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

Donc,, Le Lac de données doit avoir une fonction de gestion des données parfaite , Elle repose également sur des normes de données uniformes et une bonne gestion de la qualité des données. .

Qu'est - ce que c'est? ?

Il n'y a pas non plus de définition très claire de l'information dans les données. , Il est difficile d'appliquer l'exemple d'IKEA , Regardons les différentes plateformes de données :

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

Dans nos applications de données traditionnelles , À mesure que les données deviennent plus conviviales pour les entreprises , Sa rapidité diminue également . Et notre objectif , Apparemment, les données sont rapides et bonnes. . Puisque les besoins varient d'un Ministère à l'autre, , Pourquoi ne pas laisser les entreprises analyser les données en libre - service ? Donc nous avons l'état de la cible en haut à droite . Mais il y a un énorme écart entre cet état idéal et nos applications de données actuelles , Par quoi? ? La réponse est dans les données. .

Nous pouvons les diviser en deux catégories: les données au sens étroit et les données au sens large. . Données étroites , Un ensemble d'applications et d'outils de données , Y compris la distribution ETL、Gestion des actifs de données、 Gestion des étiquettes de données 、 Bac à sable de données 、 Plate - forme d'analyse libre - service 、Gestion des métadonnées、 Gestion de la qualité des données, etc. , Au rez - de - chaussée, il y a déjà un entrepôt de données existant 、 Plate - forme Big Data comme source de données , Fournir aux entreprises la capacité de gérer les actifs de données , Et continuer à exploiter la valeur des données , Fournir continuellement des services d'intelligence des données .

Données généralisées , Sur la base de données étroites , Contient une stratégie de données de haut niveau , Système de gouvernance des données et gestion et exploitation des données 、 Culture de la culture des données et appui à la structure organisationnelle , Est un système de gestion et d'exploitation continues .

On peut dire que, Données étroites , Conçu pour répondre à la Mission de Data Desk , L'un est d'accélérer le traitement des données 、Intégration、Traitement,Comme la distributionETLOutils.

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

Avec le remplacement progressif des données traditionnelles par la plate - forme Big Data ,ETL L'industrie de l'adaptation des outils aux plateformes de Big Data doit évoluer avec le temps , Prise en charge de l'informatique distribuée 、Calcul élastique, Et réduire la quantité de développement

L'autre est de rendre les données plus précieuses pour l'entreprise , Comme la gestion des étiquettes de données , Plate - forme d'analyse libre - service, etc. . Les étiquettes de données sont utilisées par tout le monde , Mais les entreprises qui l'utilisent vraiment profondément se sentiront : Facile à construire et difficile à utiliser , S'il n'y a pas de système de gestion des étiquettes , L'étiquette est - elle usinée en double? , Utilisation des étiquettes 、 L'exactitude est hors de contrôle. , L'entreprise veut créer un nouvel onglet pour les récentes campagnes de marketing , Il faut encore passer par le processus de développement. , Il est également difficile de garantir la rapidité .

Le système de gestion des étiquettes de données est conçu pour résoudre le problème de l'utilisation des étiquettes de données. . La plate - forme d'analyse libre - service facilite l'analyse des données par le personnel d'affaires. 、Traitement、 Plate - forme d'exploration , Il est combiné avec un bac à sable de données , Fournir directement des données de production privées à l'analyse du personnel d'affaires , Rendre les données plus précieuses , Appuyer les décisions clés .

Données généralisées , C'est le mécanisme qui aide Taiwan à atteindre sa mission dans les données étroites. , Bien qu'ils aient l'air tous les deux “Vide”, Mais c'est une garantie nécessaire pour un atterrissage réussi dans les données .

Tout cela doit - il être fait? ?

Cette question dépend de la situation spécifique de l'entreprise. ,En général, L'un des grands principes est de donner la priorité au développement des entreprises. , Ne faites pas d'infrastructure pour l'infrastructure , L'objectif ultime doit être de répondre aux exigences de l'entreprise. .

《Mythe de la lune humaine》 Li a déjà déclaré que la bombe n'existait pas. ,La nature,Entrepôt de données、Data Mart、Data Lake、 Il n'y a pas de balles d'argent dans les données. , On ne peut pas croire qu'ils l'ont fait. , La transformation numérique est automatisée .

Entrepôt de données、Data Mart、Data Lake、Tout le monde a fait du shopping à IKEA?

En bref, Avec une série de nouvelles technologies à la mode, ce n'est pas nécessairement un leader numérique. , Non, et ce n'est pas nécessairement un atelier en retard à l'ère classique de l'Internet. . La clé est de comprendre la situation actuelle de la numérisation , Objectifs numériques proposés , Développer un chemin numérique , Scénario préféré ,Réaliser la valeur.

Nouvelles technologies、 Toutes sortes d'infrastructures de données , Ensemble de mesures pratiques , C'est une tentative de numériser les banques du passé. , Re - systématisation 、 Un peigne méthodologique structuré , Et mettre en œuvre l'architecture technologique actuelle .

版权声明
本文为[Des choses comme la gestion des technologies de l'information]所创,转载请带上原文链接,感谢
https://fheadline.com/2021/09/20210915051333549a.html
相似文章