Qu'est-ce que le stockage objet ?
Le stockage objet, également appelé stockage basé sur des objets, est une architecture de stockage conçue pour gérer les données non structurées à l'échelle souhaitée. Alors que le stockage en mode bloc répartit les données en blocs dotés d'identifiants uniques et que les systèmes de fichiers gèrent les données selon une hiérarchie de fichiers, le stockage objet stocke les données sous forme d'objets. Chaque objet correspond à un référentiel de données distinct et autonome, composé de trois parties : un identifiant unique au monde qui sert à traiter les objets, les métadonnées et la charge utile des données (ou données brutes). Les métadonnées contiennent des informations sur la charge utile des données, mais peuvent également contenir des données système telles que des stratégies de protection ou des métadonnées personnalisées.
Les objets sont stockés selon une structure plate, sans dossiers ni structures hiérarchiques telles qu’on les trouve généralement dans un système de fichiers. À l’instar des paires clé-valeur utilisées dans les bases de données, le stockage d’objets utilise l’identifiant unique (clé) de chaque objet pour faire référence à la charge utile (valeur). Les métadonnées spécifiques à chaque objet sont personnalisables et peuvent inclure tous les attributs définis par l’utilisateur qui permettront d’optimiser la recherche, l’interrogation, l’indexation et l’analyse des fichiers.
Le stockage objet crée des espaces de noms qui facilitent l'accès aux données stockées sous forme d'objets. En règle générale, dans un cluster de stockage objet, un espace de noms global constitue un portal d'accès logique unique portal les utilisateurs et les applications. Le stockage objet permet d'accéder aux données via divers protocoles, notamment S3 et HTTP(S).
Selon IDC, 80 % de l’ensemble des données mondiales seront non structurées d’ici 2025. Cela offre la possibilité de stocker toutes ces données soit dans un système de stockage de fichiers, soit dans un système de stockage d’objets. Le stockage objet est généralement préféré au stockage de fichiers lorsque les données doivent être conservées dans une archive pendant une longue période – par exemple, les données froides ou inactives, les sauvegardes et les répliques, les données de conformité, les données analytiques, les fichiers multimédias, etc. Le stockage objet est nettement plus économique et évolutif que le stockage en blocs et le stockage de fichiers ; il est généralement déployé sur site, sous forme de cloud privé cloud selon un modèle de paiement à l'utilisation en tant que cloud public.
Évaluation des solutions de stockage objet
Par Eric Burgener, d'IDC, et les experts en stockage objet de DataCore Regarder le webinaire
Principales capacités du stockage objet
Évolutivité
L'une des principales raisons pour lesquelles les organisations utilisent le stockage objet est son évolutivité sans précédent. Les clusters de stockage objet peuvent évoluer considérablement, passant de l'ordre des téraoctets à celui des exaoctets, et stocker des milliards de fichiers auxquels peuvent accéder des millions d'utilisateurs. Le fichiers ne sont plus stockés dans un système de fichiers, mais stockés en tant qu'objets dans un espace d'adressage plat.
En dissociant la gestion des fichiers de la gestion des blocs de bas niveau, chaque disque du cluster de stockage objet participe à l'espace de noms. Les services de données sont superposés par dessus. Ce niveau de séparation offre une excellente facilité de gestion à l'échelle souhaitée. En outre, la gestion extensible des données basée sur des métadonnées simplifie la gestion de l'accès aux données. Cela rend le stockage objet pratiquement illimité pour traiter n'importe quelle capacité de données.
Accès distribué
Le stockage objet permet aux utilisateurs et aux applications d'accéder au contenu via divers protocoles et méthodes d'accès, notamment S3, HTTP(S) et REST . L'accès distribué permet à plusieurs utilisateurs situés à différents endroits d'accéder simultanément aux fichiers.
Si un utilisateur doit apporter une modification au niveau d'un objet, une nouvelle version de celui-ci sera créée au lieu de modifier la version existante. Le nombre de versions d’objets pouvant être créées est souvent configurable par l’administrateur. Il existe également une fonctionnalité supplémentaire de verrouillage des objets basée sur des règles, qui restreint la modification d’un objet ou d’un groupe d’objets pendant une période donnée ou indéfiniment. Ce niveau de flexibilité en matière d’accès, de modification et de verrouillage permet un véritable accès distribué aux utilisateurs finaux et un contrôle optimal pour les administrateurs.
Métadonnées personnalisées
Dans les solutions de stockage objet,les métadonnéescontiennent des informations sur les données et servent à la récupération et à la gouvernance de celles-ci. Le stockage objet permet aux utilisateurs d'enrichir les métadonnées d'un fichier avec un nombre illimité d'attributs personnalisés.
Cela simplifie la recherche, l'indexation et les analyses de contenu. Les métadonnées peuvent également servir à définir des stratégies au niveau des objets ou des buckets pour définir la façon dont les données doivent être protégées et stockées.
Durabilité des données
Alors que la disponibilité des données fait référence au temps de fonctionnement du système, la pérennité des données vise à garantir leur protection à long terme. Les solutions de stockage objet offrent de solides capacités de protection des données afin d'assurer leur pérennité et d'éliminer les points de défaillance uniques.
- La réplication des données vers un ou plusieurs nœuds garantit que les copies de données sont répliquées de manière synchrone ou asynchrone au sein du système ou en externe vers un site de reprise après sinistre. En cas de problème, le système de stockage objet crée automatiquement des copies supplémentaires en suivant la stratégie définie pour conserver la redondance des données. Les copies de données sont également récupérées depuis le site de reprise après sinistre en cas de défaillance d'un site.
- Le codage d'effacement combine les données avec des informations de parité, puis les segmente et les répartit à travers le cluster de stockage d'objets. En cas de perte de données, celles-ci sont immédiatement reconstituées à partir des segments codés par effacement et restaurées dans leur état d'origine.
Immuabilité
Il s'agit de la capacité de la plateforme de stockage d'objets à rendre les objets immuables, c'est-à-dire impossibles à supprimer ou à modifier. L'immuabilité permet de préserver les enregistrements et de garantir l'intégrité des données. Lorsqu'un utilisateur tente de modifier un fichier, une nouvelle version de l'objet est créée et l'objet d'origine est conservé tel quel.
En cas de menace (par exemple, une attaque de ransomware) ou de suppression ou remplacement involontaire des données, les administrateurs peuvent facilement restaurer les données d'origine. Les réglementations en matière de conformité exigent également de stocker les données sur des supports non effaçables et non réinscriptibles, ainsi que de respecter une certaine durée de conservation des fichiers à des fins juridiques. L'immuabilité permet de satisfaire toutes ces exigences et rend le stockage objet conforme à la norme WORM (Write-Once-Read-Many - écriture unique, lecture multiple).
Gestion intelligente des données
Le stockage objet est principalement utilisé comme archivage à faible coût, mais il présente d'autres avantages, en plus d'être « économique et profond ». Il permet de gérer le cycle de vie des données, en couvrant la création, la modification, la suppression, l'accès, la collaboration et la protection. Il prend en charge la création de copies de données à l'aide de la réplication, du verrouillage et du chiffrement de fichiers, la protection contre la suppression, l'application de contrôles d'accès, la recherche de fichiers à l'aide de métadonnées enrichies, l'intégration avec des applications via des API REST, etc.
Certaines solutions de stockage objet permettent la diffusion de contenu directement depuis la couche de stockage, sans qu'il soit nécessaire de le télécharger vers un référentiel local. Une interface utilisateur intuitive sert généralement de portal de contenu portal aux utilisateurs d'accéder aux fichiers via Internet. Cela élargit le champ d'application du stockage objet, qui passe du simple rôle d'archive à celui d'une plateforme à part entière de gestion et de diffusion de contenu.
Gestion multi-clients
Une architecture de stockage objet multi-locataires permet de partager des ressources au sein d’un cluster regroupant plusieurs locataires (utilisateurs internes ou abonnés externes). Il s’agit d’une implémentation couramment utilisée par les fournisseurs de services qui hébergent des ressources de stockage pour leurs clients à partir d’un cluster de stockage centralisé et partagé, que ce soit dans un cloud public cloud privé. cloud locataires se voient attribuer différents niveaux d’autorisations d’accès et de contrôles pour accéder aux données, en fonction de leur niveau d’abonnement. Même au sein d’une même organisation, lorsque différents services ont besoin de stocker et de protéger leurs données selon des politiques spécifiques, ils peuvent adopter un deployment multi-locataires deployment leur centre de données.
Principales caractéristiques du stockage objet multi-clients :
- Intégration avec des systèmes de gestion d'identité tels qu'AD et LDAP pour mettre en œuvre des contrôles d'accès et des stratégies de sécurité.
- Mesures et quotas d'utilisation de la capacité en vue de déterminer et de gérer l'utilisation entre les différents clients.
- Capacités d'audit et de reporting pour permettre aux fournisseurs de services de gérer la facturation et les comptes.
- Options de l'utilisateur final en libre-service permettant une gestion des données au niveau du client, à l'aide de contrôles d'accès granulaires, d'autorisations utilisateur, de quotas, etc.
Banc d'essai des performances du stockage objet
Utilisation de l’environnement de super-cluster de données «
»
du Conseil des installations scientifiques et technologiques (STFC)
Cas d'utilisation courants du stockage objet
Voici quelques cas d’utilisation courants du stockage objet répondant aux besoins de différents secteurs d'activité. Il existe de nombreuses autres applications du stockage objet dans les environnements des organisations et des fournisseurs de services.
Archive active
Transfère les données du stockage NAS principal pour le soulager
Stockage immuable pour les sauvegardes
Protège contre la perte de données et les vecteurs de menace
Archive quasi en ligne (nearline)
Prend en charge les flux de travail multimédias numériques à la fois dans les locaux et sur le plateau (en périphérie)
Stockage d’origine
Pour les services OTT/VOD et la diffusion de contenu
Archive d’imagerie médicale
Stocke des images médicales, des systèmes d'archivage et de communication d'images (PACS), ainsi que des archives ouvertes (VNA) pour les secteurs de la santé
Archive de gestion des ressources numériques
Protège les ressources, en permettant un accès à faible latence
Stockage Data Lake
Gère des charges de travail massives dans les domaines de la recherche, du Big Data, de l’IoT et de l’IA/ML
Stockage multi-clients
Facilite diverses offres de services cloud (par exemple, StaaS)
Conservation des données à long terme
Pérennise la protection du contenu, sans nécessiter de mise à niveau lourde
Solution de remplacement du Cloud public et de la bande LTO
Idéal pour le stockage de données en ligne et sur site
Différences entre les stockages bloc, fichier et objet
Examinons quelques-unes des principales différences entre l'architecture, les caractéristiques et les domaines d'application du stockage en blocs, du stockage en fichiers et du stockage d'objets.
| Stockage en blocs | Stockage fichier | Stockage en mode objet | |
|---|---|---|---|
| :Idéal pour | Stockage en blocs :données à forte intensité transactionnelle, applications à faible latence, bases de données et charges de travail des machines virtuelles | Stockage de fichiers :partage de fichiers distribué et collaboration, système de fichiers évolutif | Stockage d'objets :accès, diffusion et archivage distribués de contenu |
| :Comment les données sont-elles stockées ? | Stockage par blocs :les données sont divisées en blocs au sein des pistes et des secteurs du disque | Stockage de fichiers :fichiers organisés en dossiers avec un répertoire/chemin d'accès | Stockage d'objets :objets autonomes |
| :Structure de données | Stockage en blocs :volume, LUN | Stockage de fichiers :hiérarchique | Stockage d'objets :clé/valeur |
| :Protocoles courants utilisés pour l'accès aux données | Stockage en bloc :iSCSI Fibre Channel | Stockage de fichiers :NFS SMB | Stockage objet :S3 et HTTP(S) |
| :support des métadonnées | Stockage en blocs :Non | Stockage des fichiers :Oui, métadonnées fixes du système de fichiers. Stockées séparément du fichier. | Stockage d'objets :Oui, métadonnées personnalisées. Stockées avec l'objet lui-même. |
| :support des espaces de noms | Stockage en blocs :Non | Stockage de fichiers :Oui | Stockage objet :Oui |
| :Performances | Stockage en blocs :très élevé | Stockage de fichiers :Élevé | Stockage d'objets :Élevé (optimisé pour le débit) |
| :Évolutivité | Stockage en bloc :relativement faible | Stockage de fichiers :Élevé | Stockage d'objets :très élevé |
| :Coût | Stockage en blocs :très élevé | Stockage de fichiers :Élevé | Stockage d'objets :Faible |
Avantages du stockage objet DataCore Swarm
DataCore Swarm offre une solution de stockage objet sur site qui simplifie considérablement la gestion, le stockage et la protection des données, tout en permettant un accès S3/HTTP(S) à n'importe quelle application, n'importe quel appareil ou n'importe quel utilisateur final. Swarm transforme vos archives de données en une bibliothèque de contenu flexible et immédiatement accessible, qui permet la mise en place de workflows à distance, un accès à la demande et une évolutivité à grande échelle.
Swarm offre une plateforme dédiée à la protection, à la gestion, à l'organisation et à la recherche de données à l'échelle de l'entreprise. Vous n'avez plus besoin de migrer vos données vers des solutions disparates pour leur conservation à long terme, leur mise à disposition et leur analyse. Regroupez tous vos fichiers sur Swarm, retrouvez rapidement les données que vous recherchez et réduisez le coût total de possession grâce à une évolution continue du matériel et à l'optimisation des ressources.
Consommateurs
-
Utilisateurs finaux
-
Applications et services Web
-
Appareils
Méthodes d'accès
-
S3
-
HTTP(S)
Exploitation et analyses
-
Gestion des identités et des accès à l'
-
Portal en libre-service «
» destiné aux utilisateurs finaux -
s et requêtes de recherche ad hoc -
Suivi et rapports d'
-
Gestion multi-clients
Services de données
- WORM / Immuabilité
- Réplication synchrone
-
Sceaux d’intégrité des données
- Réplication asynchrone et reprise après sinistre
-
Chiffrement
- Code d’effacement
-
Calendriers de conservation
-
Auto-réparation
- Métadonnées personnalisées
-
Mise en cache dynamique
-
Espace de noms universel
- Intégration cloud
Commandement et contrôle
-
Console Web
-
API REST
-
Journaux d'audit, mesure de l'
et quotas -
Verrouillage d'objet S3
-
DARKIVE®: Économies d'énergie grâce à l'
Toute combinaison de serveurs x86
-
HDD
-
SSD
Démarrez avec Swarm, Le stockage objet Software-Defined
Stockez vos données en constante augmentation dans une archive active évolutive et sécurisée. Finis cloud exorbitants cloud !
Rejoignez des milliers de professionnels de l'informatique qui ont bénéficié des solutions DataCore.
« L'évolutivité est l'un des atouts les plus remarquables de Swarm. L'un des avantages de cette plateforme, c'est que lorsqu'on y ajoute un nouveau nœud, celui-ci se configure tout seul de A à Z. Si l'on souhaite ajouter un nœud de 72 To ou de 72 Po, il suffit de le connecter. »