Lorsque vous travaillez avec des ensembles de données massifs répartis sur plusieurs sites et systèmes de stockage, les ralentissements ne sont pas seulement gênants, ils sont également coûteux. Les silos de données, les goulets d'étranglement des performances et les transferts manuels peuvent perturber des tâches critiques telles que les simulations HPC, l'entraînement de l'IA et le rendu des médias en haute résolution. Plus les environnements évoluent, plus les risques augmentent : délais non respectés, explosion des coûts et blocage de l'innovation.
DataCore Nexus élimine ces obstacles. Il combine la vitesse brute du système de fichiers parallèle hautes performances Pixstor avec l'automatisation intelligente et la mobilité globale des données du moteur d'orchestration Ngenea. Résultat : une plateforme unifiée qui accélère les workflows exigeants, automatise le déplacement des données et vous permet de contrôler vos données, quelle que soit l'échelle ou la complexité.
- Stockage de fichiers parallèle ultrarapide conçu pour un accès à haut débit et à faible latence
- Regroupez les silos de stockage dans une plateforme unifiée software-defined.
- Accélérez les workflows de calcul, scientifiques, d'IA et de recherche gourmands en données.
- Automatisez le déplacement des données sur les stockages NVMe, cloud, objet, bande, etc.
- Permettez une collaboration mondiale et un accès à distance transparent
- Protégez et répliquez efficacement les données sans surcharge
- Évoluez sans compromis : sur site, dans le cloud ou de manière hybride
Cas d’usage
Améliorez l'efficacité du calcul hautes performances et de la recherche grâce à des I/O évolutives et à des déplacements de données intelligents.
Accélérez les workflows IA/ML avec un accès à haut débit et un flux de données intelligent.
Rationalisez les pipelines de médias, de l'acquisition à la diffusion mondiale, en passant par l'archivage
Favorisez la collaboration à l'échelle mondiale grâce à un accès cohérent, des workflows distants et des rappels intelligents sur l'ensemble des sites.
Prenez en charge les workflows hybrides et cloud grâce au tiering automatisé, au caching et au placement de données basé sur des stratégies.
Simplifiez la gestion du cycle de vie en automatisant le déplacement des données en fonction des objectifs d'utilisation, de coût et de conservation.
Fonctionnalités
Optimisé par Pixstor et Ngenea, Nexus associe les performances d'un système de fichiers parallèle à une orchestration intelligente des données. Il offre un accès cohérent et à faible latence tout en automatisant la façon dont les données sont placées, protégées et accessibles dans tous les environnements.
Nexus est conçu pour les environnements où la vitesse d'accès aux données est absolument déterminante. Avec des performances en ligne à l'échelle du pétaoctet, il garantit que le bon fonctionnement des workloads critiques, quelle que soit la taille ou la complexité de l'ensemble de données (par exemple, HPC, IA, pipelines de médias).
- Système de fichiers parallèle conforme à POSIX pour une simultanéité extrême
- Performances prévisibles à faible latence pour les workflows à haut débit
- Évolue en toute transparence pour gérer des milliards de fichiers et des workloads mixtes
- Optimisation des performances sur les niveaux de stockage NVMe, SSD et disque dur
- Offre des performances en lecture allant jusqu'à 180 Go/s dans un format 4U
Accédez à vos données, à votre façon. Nexus fournit un catalogue global unique qui couvre tous les types d'emplacement et de stockage, avec une prise en charge native de l'accès simultané aux fichiers par plusieurs protocoles.
- Vue unifiée de tous les types de stockage NVMe, SSD, disque dur, objet et bande
- Prise en charge multi-protocole : accès NFS, SMB, S3, POSIX, API RESTful
- Prend en charge NVMe-oF et GPU Direct pour des chemins d'accès aux données ultrarapides et à faible latence entre les nœuds de stockage, de calcul et GPU.
- Segmentation logique par filesets pour le contrôle d'accès
- Isolation du catalogue pour la séparation des projets et des tenants
- Conservation transparente du chemin d'accès lors du déplacement des données
Nexus offre des fonctionnalités de snapshot et de clonage légères et évolutives qui permettent une récupération, une restauration et une mise en préproduction rapides, sans perturber les workflows actifs ni nécessiter d'outils supplémentaires.
- Snapshots copy-on-write (copie à l'écriture) avec une surcharge minimale
- Clones inscriptibles pour les tests, la mise en préproduction ou l'utilisation temporaire
- Snapshots montables pour un accès instantané ou la reprise après sinistre (DR)
- Prise en charge des versions pour la récupération de l'historique
Trouvez rapidement ce dont vous avez besoin. Nexus comprend des services de métadonnées intégrés pour le marquage, l'indexation et la recherche dans des ensembles de données en ligne, archivés ou distants, le tout sans nécessiter de réhydratation préalable des données.
- Recherche de fichiers en texte intégral et par attributs
- Indexation en fonction du contenu (EXIF, balises AI, propriétaire, taille, etc.)
- Marquage personnalisé des métadonnées via des attributs étendus (xattrs)
- Recherche sur tous les niveaux de stockage, y compris le cloud et les bandes magnétiques
- Accessible via l'interface web ou l'API programmable
Automatisez le déplacement des données entre les différentes couches de performances et de capacité grâce à des stratégies personnalisables. Nexus garantit que les données sont toujours sur le niveau de stockage approprié : économique ou rapide, si nécessaire.
- Tiering par ancienneté, utilisation, emplacement, balises, etc., en fonction de stratégies
- Migration transparente entre les types de stockage NVMe, SSD, disque dur, objet, bande
- Conserve les chemins d'accès, les métadonnées et les autorisations des fichiers lors de leur déplacement.
- Prend en charge l'hydratation (le rappel) à la demande ou selon un calendrier
- S'intègre aux planificateurs de tâches pour une mise en préproduction adaptée aux besoins informatiques
Nexus est construit avec une forte sécurité multi-tenant, offrant un contrôle granulaire sur l'accès des utilisateurs, l'isolation des données et la conformité, même dans des environnements partagés à grande échelle.
- Contrôle d'accès basé sur les rôles (RBAC) pour les utilisateurs et les groupes
- Intégration de LDAP, Active Directory, OAuth2 et OKTA
- Segmentation sécurisée au niveau des projets et des tenants
- Immuabilité des snapshots et mise en œuvre de la conservation à des fins de conformité
- Chiffrement lors du transfert (TLS/SSH) et au repos en option
Protégez vos données sur tous les emplacements grâce à une réplication intelligente et efficace. Nexus utilise la différenciation des snapshots pour une synchronisation rapide et prend en charge une récupération flexible sans dupliquer des ensembles de données intégralement.
- Réplication d'un site à l'autre avec un minimum de déplacement de données
- Synchronisation basée sur des snapshots pour des mises à jour incrémentielles rapides
- Ensembles DR montables avec accès complet aux fichiers
- Prise en charge de la récupération et de la restauration ponctuelles
- Restauration en libre-service via des protocoles de fichiers standard
Gagnez en contrôle et en visibilité grâce à des outils intégrés de surveillance, d'automatisation et de gouvernance du cycle de vie. Nexus s'adapte à votre environnement et s'intègre parfaitement aux outils d'orchestration.
- Mesures en temps réel des performances et de l'utilisation
- Alertes Slack/e-mail, accès à l'API et au SDK Python
- Automatisation basée sur les fichiers (par exemple, l'ingestion déclenche un workflow)
- Configuration du système et mise en œuvre des stratégies pilotées par SaltStack
- S'intègre aux planificateurs de tâches (tels que Slurm) et aux cadres d'automatisation
Analyse de l'utilisation des fichiers
Observabilité et surveillance
Gestion des données basée sur des stratégies
Avantages
Accélérez les résultats
- Réduisez les délais de démarrage des tâches grâce à un accès instantané aux ensembles de données
- Préparez intelligemment les données pour les workflows de calcul
- Éliminez les goulets d'étranglement liés au stockage dans les pipelines critiques.
Travaillez plus intelligemment grâce à l'automatisation
- Stratégies de cycle de vie « Réglez et oubliez » automatisées, basées sur l'utilisation réelle
- Déplacez automatiquement les données entre le stockage rapide et le stockage profond
- Réduisez la gestion manuelle des fichiers et les conjectures
Trouvez rapidement ce dont vous avez besoin
- Plus de recherche dans les différents systèmes : vue unifiée de tous les fichiers
- Recherche par projet, utilisateur ou balise, même si les données sont archivées
- Recherche actionnable : copiez, déplacez, archivez en une seule étape
Réduisez les coûts sans compromis
- Réservez le stockage coûteux aux tâches actives
- Maximisez le retour sur investissement en utilisant du matériel standard
- Évitez les surprises liées au cloud grâce à des contrôles intégrés tenant compte des coûts
Favorisez une collaboration mondiale
- Les équipes distantes travaillent à l'unisson grâce à un catalogue unifié
- L'accès par stub garantit que les fichiers sont toujours accessibles
- Les fichiers sont rappelés à la demande, exactement quand et où ils sont nécessaires
Intégrez n'importe quel workflow
- Fonctionne avec vos applications, vos workflows et votre infrastructure existants
- S'intègre aux planificateurs de tâches et aux pipelines
- Pas de dépendance vis-à-vis des fournisseurs : les données restent sous votre contrôle
Architecture
Architecture de référence DataCore Nexus (Pixstor et Ngenea) pour les environnements HPC/IA