Les workflows gourmands en données sont soumis à une forte pression lorsque les systèmes de stockage traditionnels ne parviennent pas à suivre. Qu'il s'agisse d'entraînement de l'IA, de simulations HPC ou de projets du secteur des médias en haute résolution, les goulets d'étranglement des performances, la fragmentation du système de fichiers et la surcharge des métadonnées peuvent mettre un frein au processus.
Pixstor est un système de fichiers évolutif hautes performances software-defined et doté de capacités NAS. Il offre un débit constant, une faible latence et un accès multi-protocole transparent, et prend en charge des workloads mixtes, un très grand nombre de fichiers et des cas d'utilisation exigeants, sans compromis. Grâce à un tiering intelligent des données et à un catalogue unifié, Pixstor simplifie la gestion tout en garantissant que vos données sont toujours accessibles rapidement et sécurisées.
- Prend en charge toutes les technologies de stockage : NVMe, SSD, SAS, NL-SAS, etc.
- Prend en charge plusieurs protocoles, notamment SMB, NFS, SFTP, POSIX, S3, NVMe-oF
- Peut évoluer de quelques téraoctets à des environnements de plusieurs pétaoctets contenant des milliards de fichiers.
- Offre des performances allant jusqu'à 180 Go/s dans un format 4U
- Conçu pour fonctionner à pleine vitesse, même à 99 % d'utilisation de la capacité
- Permet un accès rapide aux données, la recherche de fichiers et le contrôle du cycle de vie
- Se déploie sur site ou dans le Cloud, avec la prise en charge de workflows hybrides
Cas d’usage
Workloads HPC nécessitant un traitement parallèle rapide et l'accès à de grands ensembles de données avec des débits d'I/O extrêmes
Environnements d'entraînement IA/ML nécessitant un accès rapide et à faible latence à de vastes ensembles de données dans des clusters GPU
Workloads en sciences de la vie et en génomique impliquant des séquençages, des balayages et des analyses parallèles
Montage vidéo et rendu VFX à haut débit dans les pipelines des médias et du divertissement
Système de fichiers sécurisé et multi-tenant pour les équipes de création ou les groupes de recherche, avec accès contrôlé et quotas
Entreprises qui remplacent les serveurs NAS existants ou font évoluer les systèmes de fichiers incapables de maintenir les performances à l'échelle.
Fonctionnalités
Pixstor propose un système de fichiers parallèle hautes performances, compatible POSIX, conçu pour gérer des milliards de fichiers avec précision et contrôle. Son catalogue global unifié et son architecture de métadonnées distribuée éliminent les goulets d'étranglement, tout en prenant en charge les environnements à grande échelle et à protocoles mixtes.
- Catalogue unifié entre tous types de disques, niveaux et emplacements
- Stratégies au niveau des fichiers pour les quotas, les ACL, les snapshots et les métadonnées
- Accès multiprotocole simultané : NFS, SMB, SFTP, POSIX, S3
- Prise en charge de NVMe-oF et GPUDirect pour des chemins d'accès aux données ultrarapides et à faible latence entre les nœuds de stockage, de calcul et GPU
- Isolation du catalogue par une segmentation logique au niveau du projet (par exemple, Filesets)
- Caching local pour un accès accéléré aux données chaudes ou réutilisées
- Prise en charge native de milliards de fichiers et de répertoires
- Optimisé pour les blocs de grande taille (jusqu'à 8 Mo) sans compromettre les performances des petits fichiers
Pixstor automatise le placement intelligent des données à l'aide de stratégie de tiering granulaires qui déplacent les données entre les couches de performances et de capacité, sans perturber les workflows ni les autorisations d'accès.
- Tiering basé sur des stratégies en fonction de l'ancienneté, de la taille, du temps d'accès, de l'emplacement, du propriétaire ou des balises du fichier.
- Tiering transparent entre les types de stockage NVMe, SSD et disque dur, qui peut être étendu au stockage objet, au Cloud public, aux bandes et à d'autres systèmes de stockage grâce à DataCore Ngenea
- Déplacement transparent des données en conservant les chemins d'accès et les autorisations
- Les fichiers sont rappelés de manière transparente depuis les niveaux inférieurs à la consultation.
Les snapshots et les clones de Pixstor sont légers et conçus pour évoluer, ce qui permet de prendre en charge des scénarios de restauration rapide, des environnements de test et de récupération complète sur plusieurs sites.
- Snapshots copy-on-write (copie à l'écriture) avec très peu d'impact sur les performances
- Clones de snapshot inscriptibles pour les workflows de mise en préproduction, de tests ou temporaires
- Intégration des versions précédentes de Windows pour les points de restauration accessibles à l'utilisateur
- Conservation de snapshots versionnés sur les cibles de sauvegarde
- Jeux de sauvegarde montables pour un accès immédiat à la DR
- Réplication d'un site à l'autre et synchronisation de DR à l'aide de la technologie snapshot-diff
Le moteur de recherche de Pixstor va au-delà des noms de fichiers pour permettre une découverte approfondie, un marquage et une automatisation en utilisant les métadonnées et l'analyse du contenu sur tous les niveaux, même sur les ensembles de données hors ligne ou archivés.
- Indexation intégrée des métadonnées et du contenu avec Pixstor Search
- Indexation des attributs des fichiers (nom, taille, propriétaire), de leur contenu (EXIF, texte) et des balises IA/ML
- Marquage personnalisé des métadonnées via des attributs étendus (xattrs)
- Recherche et prévisualisation des données en direct, archivées et distantes
- Exportable résultats pour editorial or pre-staging workflows
- Résultats de recherche actionnables : rechercher → sélectionner → agir (copier, déplacer, archiver)
- Accessible via l'interface web ou l'API programmable
Pixstor optimise l'utilisation du stockage grâce à une logique de compression en ligne et de déduplication intelligente qui repère les contenus redondants et réduit l'encombrement, sans affecter les performances.
- Compression en ligne au moment de l'écriture
- Décompression transparente à la lecture
- Identification des fichiers dupliqués basée sur des stratégies en fonction des résultats de recherche.
La sécurité est intégrée à Pixstor sur toutes les couches, de l'accès basé sur les rôles à la segmentation au niveau du tenant, en passant par le chiffrement. Cela garantit que vos données sont toujours protégées et conformes.
- Contrôle d'accès basé sur les rôles (RBAC) pour une gestion granulaire des utilisateurs
- Containers NAS sécurisés avec isolation complète des données, des métadonnées et des accès
- Authentification par Active Directory, LDAP, OKTA et OAuth2
- Stratégies d'immuabilité et de conservation des données à l'aide de snapshots et de listes de contrôle d'accès au réseau (ACL)
- Restauration basée sur des snapshots pour les scénarios de récupération et d'audit
- Chiffrement TLS, SSH lors du transfert et chiffrement au repos en option
- Isolation par tenant de l'accès, des chemins d'accès au réseau et des champs d'application des stratégies
Pixstor comprend une observabilité et une automatisation intégrées. Vous bénéficiez ainsi d'une visibilité et d'un contrôle complets, du tableau de bord aux workflows programmatiques en passant par la CLI.
- Mesures en temps réel de la bande passante, de la latence, du CPU et de la profondeur de la file d'attente
- Analyse des I/O par client et au niveau du protocole
- Logstash/Elasticsearch intégré pour les événements et les alertes
- Journalisation centralisée et pistes d'audit pour les événements et les actions sur les fichiers
- Notifications par e-mail des événements et des seuils du système
- Hooks d'automatisation basés sur les fichiers (par exemple, le dépôt d'un fichier déclenche des tâches)
- SaltStack pour la configuration du système et le contrôle des versions
- Automatisation du cycle de vie via l'interface web, l'API REST et le SDK Python
- Compatible avec des planificateurs de workload tels que Slurm via un accès POSIX/NFS
Pixstor prend en charge les workflows basés sur le cloud lorsqu'il est associé à Ngenea, permettant un tiering transparent, une recherche et une gestion des données basée sur des stratégies sur tous les stockages sur site et cloud.
- Accès au stockage objet compatible S3, y compris une intégration native à DataCore Swarm
- Tiering transparent vers et depuis AWS, Azure, GCP et d'autres stockages objet
- Workflows hybrides avec caching intelligent et logique push/pull
- Recherche et prévisualisation des données des niveaux cloud et locaux
- Hooks de stratégie d'utilisation et de conservation par niveaux en fonction des coûts.
Analyse de l'utilisation des fichiers
Observabilité et surveillance
Gestion des données basée sur des stratégies avec Ngenea
Avantages
Accélérez les résultats
- Réduisez les délais de démarrage des tâches grâce à un accès instantané aux ensembles de données
- Préparez intelligemment les données pour les workflows de calcul
- Éliminez les goulets d'étranglement liés au stockage dans les pipelines critiques.
Travaillez plus intelligemment grâce à l'automatisation
- Stratégies de cycle de vie « Réglez et oubliez » automatisées, basées sur l'utilisation réelle
- Déplacez automatiquement les données entre le stockage rapide et le stockage profond
- Réduisez la gestion manuelle des fichiers et les conjectures
Trouvez rapidement ce dont vous avez besoin
- Plus de recherche dans les différents systèmes : vue unifiée de tous les fichiers
- Recherche par projet, utilisateur ou balise, même si les données sont archivées
- Recherche actionnable : copiez, déplacez, archivez en une seule étape
Réduisez les coûts sans compromis
- Réservez le stockage coûteux aux tâches actives
- Maximisez le retour sur investissement en utilisant du matériel standard
- Coûts prévisibles : ne payez que ce que vous déployez, évoluez selon vos conditions, sans frais cachés.
Protégez vos données sans ralentir
- Snapshots et DR intégrés, pas verrouillés
- Assurez la productivité des utilisateurs tout en garantissant la conformité
- Restaurez rapidement les fichiers sans faire appel au service informatique
Intégrez n'importe quel workflow
- Fonctionne avec vos applications, vos workflows et votre infrastructure existants
- S'intègre aux planificateurs de tâches et aux pipelines
- Pas de dépendance vis-à-vis des fournisseurs : les données restent sous votre contrôle
Architecture
Architecture de référence de DataCore Pixstor et Ngenea pour les environnements HPC/IA
Déploiement
Pixstor et Ngenea peuvent être déployés sur site, sur le Cloud ou sous forme de solution hybride, ce qui vous donne la flexibilité nécessaire pour prendre en charge n'importe quelle stratégie de workflows ou d'infrastructure.
Licence
Pixstor utilise un modèle de licence par disque, basé sur le nombre de disques NVMe ou SAS déployés. Aucun frais par téraoctet ni supplément par niveau. Cette approche prend en charge des configurations flexibles de performance et de capacité à plusieurs niveaux, tout en maintenant les coûts prévisibles à mesure de l'évolution du système.