Qu'est-ce que le stockage objet ?
Le stockage objet, également appelé stockage basé sur des objets, est une architecture de stockage conçue pour gérer les données non structurées à l'échelle souhaitée. Alors que le stockage en mode bloc répartit les données en blocs dotés d'identifiants uniques et que les systèmes de fichiers gèrent les données selon une hiérarchie de fichiers, le stockage objet stocke les données sous forme d'objets. Chaque objet correspond à un référentiel de données distinct et autonome, composé de trois parties : un identifiant unique au monde qui sert à traiter les objets, les métadonnées et la charge utile des données (ou données brutes). Les métadonnées contiennent des informations sur la charge utile des données, mais peuvent également contenir des données système telles que des stratégies de protection ou des métadonnées personnalisées.
Les objets sont stockés selon une organisation horizontale, sans les dossiers et les structures hiérarchiques qui sont généralement utilisés dans un système de fichiers. Comme les bases de données avec la paire clé-valeur, le stockage objet utilise l'identifiant unique de chaque objet (clé) pour se référer aux données de charge utile (valeur). Les métadonnées spécifiques à chaque objet sont personnalisables. Elles peuvent contenir des attributs définis par l'utilisateur pour simplifier la recherche de fichiers, les requêtes, l'indexation et les analyses.
Le stockage objet crée des espaces de noms qui permettent d'accéder facilement aux données stockées sous forme d'objets. En général, dans un cluster de stockage objet, un espace de noms global forme un portail d'accès logique unique pour les utilisateurs et les applications. Le stockage objet permet d'accéder aux données à l'aide de divers protocoles, notamment S3, HTTP, NFS et SMB.
Selon IDC, 80 % des données mondiales seront non structurées d'ici 2025. C'est une bonne occasion de stocker toutes ces données dans un stockage objet ou fichier. Le stockage objet est souvent privilégié par rapport au stockage en mode fichier pour conserver des données en archive pendant une longue période (données froides/inactives, sauvegardes et répliques, données de conformité, données analytiques, fichiers multimédias, etc.). Le stockage objet est beaucoup plus économique et évolutif que le stockage en mode bloc ou fichier. Il est, en général, mis en œuvre sur site, sous forme de Cloud privé, ou selon un modèle de paiement à l'utilisation, sous forme de service de Cloud public.
Évaluation des solutions de stockage objet
Par Eric Burgener d'IDC et des experts du stockage objet de DataCore Voir le webinaire
Principales capacités du stockage objet
Évolutivité
One of the main reasons organizations use object storage is its unprecedented scalability. Object storage clusters can scale from Terabytes to Exabytes and store billions of files accessed by millions of tenants. Instead of storing files in a file system, files are stored as objects in a flat address space.
En dissociant la gestion des fichiers de la gestion des blocs de bas niveau, chaque disque du cluster de stockage objet participe à l'espace de noms. Les services de données sont superposés par dessus. Ce niveau de séparation offre une excellente facilité de gestion à l'échelle souhaitée. En outre, la gestion extensible des données basée sur des métadonnées simplifie la gestion de l'accès aux données. Cela rend le stockage objet pratiquement illimité pour traiter n'importe quelle capacité de données.
Accès distribué
Le stockage objet permet aux utilisateurs et aux applications d'accéder aux contenus via divers protocoles et méthodes d'accès, notamment S3/HTTP, NFS, SMB et les API REST. L'accès distribué permet à plusieurs utilisateurs situés à différents emplacements d'accéder aux fichiers en même temps.
Si un utilisateur doit effectuer une modification sur un objet, cela créera une nouvelle version de l'objet au lieu de modifier l'existant.Le nombre de versions d'objet pouvant être créées est souvent configurable par l'administrateur. Il existe également une fonctionnalité supplémentaire de verrouillage des objets basée sur des règles qui limite la modification d'un objet ou d'un groupe d'objets à une période spécifique ou indéfiniment. Ce niveau de flexibilité d'accès, de modification et de verrouillage permet de donner un véritable accès distribué aux utilisateurs finaux et un contrôle efficace aux administrateurs.
Métadonnées personnalisées
Dans les solutions de stockage objet, les métadonnées stockent des informations sur les données et sont utilisées pour la récupération et la gouvernance des données. Le stockage objet permet aux utilisateurs d'enrichir les métadonnées d'un fichier par un nombre quelconque d'attributs personnalisés.
Cela simplifie la recherche, l'indexation et les analyses de contenu. Les métadonnées peuvent également servir à définir des stratégies au niveau des objets ou des buckets pour définir la façon dont les données doivent être protégées et stockées.
Durabilité des données
Alors que la disponibilité des données renvoie à la disponibilité du système, la durabilité des données vise à garantir leur protection à long terme. Les solutions de stockage objet offrent de solides capacités de protection des données pour garantir leur durabilité et éliminer les points de défaillance uniques.
- Replication of data to one or more nodes ensures data copies are synchronously orasynchronously replicated within the system or externally to a DR (disaster recovery) site. If there is an issue, the object storage system will automatically create additional copies based upon the policy defined to maintain data redundancy. Data copies are also recovered from the DR site in the event of a site failure.
- Le codage par effacement combine les données avec les informations de parité, puis les segmente et les distribue sur le cluster de stockage objet. En cas de perte de données, les données sont immédiatement reconstituées à partir des segments codés par effacement et restaurées à leur état d'origine.
Immuabilité
Il s'agit de la capacité de la plateforme de stockage objet à rendre les objets immuables, c'est-à-dire impossibles à supprimer ou modifier. L'immuabilité permet de préserver les enregistrements et de maintenir l'intégrité des données. Si un utilisateur essaie de modifier un fichier, une nouvelle version de l'objet est créée tandis que l'objet d'origine est conservé tel quel.
En cas de menace (par exemple, une attaque de ransomware) ou de suppression ou remplacement involontaire des données, les administrateurs peuvent facilement restaurer les données d'origine. Les réglementations en matière de conformité exigent également de stocker les données sur des supports non effaçables et non réinscriptibles, ainsi que de respecter une certaine durée de conservation des fichiers à des fins juridiques. L'immuabilité permet de satisfaire toutes ces exigences et rend le stockage objet conforme à la norme WORM (Write-Once-Read-Many - écriture unique, lecture multiple).
Gestion intelligente des données
Le stockage objet est principalement utilisé comme archivage à faible coût, mais il présente d'autres avantages, en plus d'être « économique et profond ». Il permet de gérer le cycle de vie des données, en couvrant la création, la modification, la suppression, l'accès, la collaboration et la protection. Il prend en charge la création de copies de données à l'aide de la réplication, du verrouillage et du chiffrement de fichiers, la protection contre la suppression, l'application de contrôles d'accès, la recherche de fichiers à l'aide de métadonnées enrichies, l'intégration avec des applications via des API REST, etc.
Certaines solutions de stockage objet permettent de diffuser du contenu en streaming directement à partir de la couche de stockage, sans avoir à le télécharger dans un référentiel local. Une interface utilisateur intuitive est habituellement utilisée comme portail de contenus pour permettre aux utilisateurs d'accéder aux fichiers sur Internet. Les cas d'utilisation du stockage objet s'étendent ainsi de l'archivage à une plateforme complète de gestion et de diffusion de contenus.
Gestion multi-clients
Une architecture de stockage objet multi-clients permet de partager les ressources d'un cluster avec plusieurs clients (utilisateurs internes ou abonnés externes). Cette solution est couramment mise en œuvre par les fournisseurs de services, qui hébergent des ressources de stockage pour leurs clients dans un cluster de stockage centralisé et partagé, dans un Cloud public ou privé). Les clients disposent de différents niveaux d'autorisation et de contrôle d'accès aux données en fonction de leur niveau d'abonnement. Si différents départements au sein d'une même organisation doivent stocker et protéger leurs données en fonction de stratégies spécifiques, l'entreprise peut même adopter un déploiement multi-clients à l'intérieur de son datacenter.
Principales caractéristiques du stockage objet multi-clients :
- Intégration avec des systèmes de gestion d'identité tels qu'AD et LDAP pour mettre en œuvre des contrôles d'accès et des stratégies de sécurité.
- Mesures et quotas d'utilisation de la capacité en vue de déterminer et de gérer l'utilisation entre les différents clients.
- Capacités d'audit et de reporting pour permettre aux fournisseurs de services de gérer la facturation et les comptes.
- Options de l'utilisateur final en libre-service permettant une gestion des données au niveau du client, à l'aide de contrôles d'accès granulaires, d'autorisations utilisateur, de quotas, etc.
Banc d'essai des performances du stockage objet
Utilisation de l'environnement de supercluster de données
du Science and Technology Facilities Council
Cas d'utilisation courants du stockage objet dans l'industrie
Médias et divertissement
Plateforme centrée sur le contenu qui assure une distribution et un accès sécurisés des fichiers multimédias enrichis et des ressources numériques, et permet de remplacer les bandes
Informatique hautes performances
Stockage S3 mutualisé qui facilite la collaboration et accélère la découverte des données
Santé
Gestion évolutive des archives d'images médicales et des dossiers de patients
Informatique d'entreprise
Plateforme de stockage secondaire pour éliminer les silos de stockage et gérer la croissance des données non structurées
Stockage Cloud
Efficacité des opérations et des workflows de stockage de données sur Cloud privé, public et hybride.
Gouvernement
Protection des données, intégrité des données et respect des exigences de conformité
Différences entre les stockages bloc, fichier et objet
Examinons quelques-unes des principales différences entre le stockage bloc, le stockage fichier et le stockage objet en matière d'architecture, de caractéristiques et d'application.
Stockage en blocs | Stockage fichier | Stockage en mode objet | |
---|---|---|---|
:Idéal pour | Stockage bloc :Données hautement transactionnelles, applications à faible latence, bases de données et charges de travail de machine virtuelle | Stockage fichier :Partage de fichiers et collaboration distribués, système de fichiers évolutif | Stockage objet :Consultation, diffusion et archivage de contenus distribués |
:Comment les données sont stockées | Stockage bloc :Données divisées en blocs dans les voies et les secteurs du disque | Stockage fichier :Fichiers organisés en dossiers avec un répertoire/chemin d'accès | Stockage objet :Objets autonomes |
:Structure des données | Stockage bloc :Volume, LUN | Stockage fichier :Hiérarchique | Stockage objet :Clé/valeur |
:Protocoles couramment utilisés pour l'accès aux données | Stockage bloc :iSCSI et Fibre Channel | Stockage fichier :NFS et SMB | Stockage objet :S3/HTTP, NFS, SMB, API REST |
:Prise en charge des métadonnées | Stockage bloc :Non | Stockage fichier :Oui, métadonnées du système de fichiers fixes. Stockées séparément du dossier. | Stockage objet :Oui, métadonnées personnalisées. Stockées avec l'objet lui-même. |
:Prise en charge de l'espace de noms | Stockage bloc :Non | Stockage fichier :Oui | Stockage objet :Oui |
:Performances | Stockage bloc :Niveau très élevé | Stockage fichier :Niveau élevé | Stockage objet :Niveau élevé (optimisé pour le débit) |
:Évolutivité | Stockage bloc :Comparativement faible | Stockage fichier :Niveau élevé | Stockage objet :Niveau très élevé |
:Coût | Stockage bloc :Niveau très élevé | Stockage fichier :Niveau élevé | Stockage objet :Faible |
Avantages du stockage objet DataCore Swarm
DataCore Swarm offre une solution de stockage objet sur site qui simplifie considérablement la gestion, le stockage et la protection des données, tout en donnant un accès S3/HTTP/NFS/SMB aux applications, aux appareils ou aux utilisateurs finaux. Swarm transforme vos archives de données en bibliothèque de contenus flexible et immédiatement accessible, ce qui permet de bénéficier de workflows distants, d'un accès à la demande et d'une grande évolutivité.
Swarm fournit une plateforme de protection des données, de gestion, d'organisation et de recherche à l'échelle de l'entreprise. Vous n'avez plus besoin de faire migrer les données vers des solutions disparates pour les conserver à long terme, les rendre accessibles ou les analyser. Regroupez tous les fichiers sur Swarm, trouvez rapidement les données que vous recherchez et réduisez le coût total de possession en faisant évoluer le matériel et en optimisant les ressources en permanence.
Consommateurs
-
Utilisateurs finaux
-
Applications et services Web
-
Appareils
Méthodes d'accès
-
S3/HTTP
-
NFS*
- SMB**
Opération et informations
-
Audit d'utilisation,
mesures et quotas -
Gestion de l'identité
-
Délégation et
libre-service -
Graphiques historiques et en temps réel
-
Graphiques sur l'intégrité et
les performances -
Orchestration
Services de gestion des données et de l'infrastructure
-
Espace de noms universel
-
Expansion rapide
-
Un ou plusieurs sites
-
Optimisation des capacités
ou des performances -
Sécurité et authentification
- Recherche et demande de fichiers
- Protection élastique du contenu (réplication + code d’effacement)
-
Partage de fichiers, streaming
et découpage vidéo -
Récupération automatique en cas de défaillance
-
WORM et verrouillage d'objets S3
-
Chiffrement en transit et au repos
-
Reprise après sinistre Cloud
Commande et contrôle
-
Console
-
API REST
-
Métadonnées personnalisables
-
Administration granulaire
Toute combinaison de supports de stockage et de serveurs X86
-
HDD
-
SSD
*L'ACCÈS NFS EST PRIS EN CHARGE PAR SWARMFS.❘ **L'ACCÈS SMB EST PRIS EN CHARGE PAR DATACORE FILEFLY.
Démarrez avec Swarm, Le stockage objet Software-Defined
Store your growing data on scalable & secure active archive. No more insane cloud costs!
Join thousands of IT pros who have benefitted from DataCore solutions.
“Scalability is one of the slickest things about Swarm. One sweet thing with the platform is when you drop a new node in, it builds itself from the ground up. If you want to add a 72 TB or PB node you just drop it in.”