Lorsque vous travaillez avec des ensembles de données massifs répartis sur plusieurs sites et systèmes de stockage, les ralentissements ne sont pas seulement gênants, ils sont également coûteux. Les silos de données, les goulets d'étranglement des performances et les transferts manuels peuvent perturber des tâches critiques telles que les simulations HPC, l'entraînement de l'IA et le rendu des médias en haute résolution. Plus les environnements évoluent, plus les risques augmentent : délais non respectés, explosion des coûts et blocage de l'innovation.
DataCore Nexus élimine ces obstacles. Il combine la vitesse brute du système de fichiers parallèle hautes performances Pixstor avec l'automatisation intelligente et la mobilité globale des données du moteur d'orchestration Ngenea. Résultat : une plateforme unifiée qui accélère les workflows exigeants, automatise le déplacement des données et vous permet de contrôler vos données, quelle que soit l'échelle ou la complexité.
- Stockage de fichiers parallèle ultrarapide conçu pour un accès à haut débit et à faible latence
- Regroupez les silos de stockage dans une plateforme unifiée software-defined.
- Accélérez les workflows de calcul, scientifiques, d'IA et de recherche gourmands en données.
- Automatisez le déplacement des données sur les stockages NVMe, cloud, objet, bande, etc.
- Permettez une collaboration mondiale et un accès à distance transparent
- Protégez et répliquez efficacement les données sans surcharge
- Évoluez sans compromis : sur site, dans le cloud ou de manière hybride
Cas d’usage
Améliorez l'efficacité du calcul hautes performances et de la recherche grâce à des I/O évolutives et à des déplacements de données intelligents.
Accélérez les workflows IA/ML avec un accès à haut débit et un flux de données intelligent.
Rationalisez les pipelines de médias, de l'acquisition à la diffusion mondiale, en passant par l'archivage
Favorisez la collaboration à l'échelle mondiale grâce à un accès cohérent, des workflows distants et des rappels intelligents sur l'ensemble des sites.
Prenez en charge les workflows hybrides et cloud grâce au tiering automatisé, au caching et au placement de données basé sur des stratégies.
Simplifiez la gestion du cycle de vie en automatisant le déplacement des données en fonction des objectifs d'utilisation, de coût et de conservation.
Fonctionnalités
Optimisé par Pixstor et Ngenea, Nexus associe les performances d'un système de fichiers parallèle à une orchestration intelligente des données. Il offre un accès cohérent et à faible latence tout en automatisant la façon dont les données sont placées, protégées et accessibles dans tous les environnements.
Nexus est conçu pour les environnements où la vitesse d'accès aux données est absolument déterminante. Avec des performances en ligne à l'échelle du pétaoctet, il garantit que le bon fonctionnement des workloads critiques, quelle que soit la taille ou la complexité de l'ensemble de données (par exemple, HPC, IA, pipelines de médias).
- Système de fichiers parallèle conforme à POSIX pour une simultanéité extrême
- Performances prévisibles à faible latence pour les workflows à haut débit
- Évolue en toute transparence pour gérer des milliards de fichiers et des workloads mixtes
- Optimisation des performances sur les niveaux de stockage NVMe, SSD et disque dur
- Offre des performances en lecture allant jusqu'à 180 Go/s dans un format 4U
Accédez à vos données, à votre façon. Nexus fournit un catalogue global unique qui couvre tous les types d'emplacement et de stockage, avec une prise en charge native de l'accès simultané aux fichiers par plusieurs protocoles.
- Vue unifiée de tous les types de stockage NVMe, SSD, disque dur, objet et bande
- Prise en charge multi-protocole : accès NFS, SMB, S3, POSIX, API RESTful
- Supports NVMe-oF and GPU Direct for ultra-fast, low-latency data paths from storage to compute and GPU nodes
- Segmentation logique par filesets pour le contrôle d'accès
- Isolation du catalogue pour la séparation des projets et des tenants
- Conservation transparente du chemin d'accès lors du déplacement des données
Nexus offre des fonctionnalités de snapshot et de clonage légères et évolutives qui permettent une récupération, une restauration et une mise en préproduction rapides, sans perturber les workflows actifs ni nécessiter d'outils supplémentaires.
- Snapshots copy-on-write (copie à l'écriture) avec une surcharge minimale
- Clones inscriptibles pour les tests, la mise en préproduction ou l'utilisation temporaire
- Snapshots montables pour un accès instantané ou la reprise après sinistre (DR)
- Prise en charge des versions pour la récupération de l'historique
Trouvez rapidement ce dont vous avez besoin. Nexus comprend des services de métadonnées intégrés pour le marquage, l'indexation et la recherche dans des ensembles de données en ligne, archivés ou distants, le tout sans nécessiter de réhydratation préalable des données.
- Recherche de fichiers en texte intégral et par attributs
- Indexation en fonction du contenu (EXIF, balises AI, propriétaire, taille, etc.)
- Marquage personnalisé des métadonnées via des attributs étendus (xattrs)
- Recherche sur tous les niveaux de stockage, y compris le cloud et les bandes magnétiques
- Accessible via web UI or programmable API
Automatisez le déplacement des données entre les différentes couches de performances et de capacité grâce à des stratégies personnalisables. Nexus garantit que les données sont toujours sur le niveau de stockage approprié : économique ou rapide, si nécessaire.
- Tiering par ancienneté, utilisation, emplacement, balises, etc., en fonction de stratégies
- Migration transparente entre les types de stockage NVMe, SSD, disque dur, objet, bande
- Conserve les chemins d'accès, les métadonnées et les autorisations des fichiers lors de leur déplacement.
- Prend en charge l'hydratation (le rappel) à la demande ou selon un calendrier
- S'intègre aux planificateurs de tâches pour une mise en préproduction adaptée aux besoins informatiques
Nexus est construit avec une forte sécurité multi-tenant, offrant un contrôle granulaire sur l'accès des utilisateurs, l'isolation des données et la conformité, même dans des environnements partagés à grande échelle.
- Contrôle d'accès basé sur les rôles (RBAC) pour les utilisateurs et les groupes
- Intégration de LDAP, Active Directory, OAuth2 et OKTA
- Segmentation sécurisée au niveau des projets et des tenants
- Immuabilité des snapshots et mise en œuvre de la conservation à des fins de conformité
- Chiffrement lors du transfert (TLS/SSH) et au repos en option
Protégez vos données sur tous les emplacements grâce à une réplication intelligente et efficace. Nexus utilise la différenciation des snapshots pour une synchronisation rapide et prend en charge une récupération flexible sans dupliquer des ensembles de données intégralement.
- Réplication d'un site à l'autre avec un minimum de déplacement de données
- Synchronisation basée sur des snapshots pour des mises à jour incrémentielles rapides
- Ensembles DR montables avec accès complet aux fichiers
- Prise en charge de la récupération et de la restauration ponctuelles
- Restauration en libre-service via des protocoles de fichiers standard
Gagnez en contrôle et en visibilité grâce à des outils intégrés de surveillance, d'automatisation et de gouvernance du cycle de vie. Nexus s'adapte à votre environnement et s'intègre parfaitement aux outils d'orchestration.
- Mesures en temps réel des performances et de l'utilisation
- Alertes Slack/e-mail, accès à l'API et au SDK Python
- Automatisation basée sur les fichiers (par exemple, l'ingestion déclenche un workflow)
- Configuration du système et mise en œuvre des stratégies pilotées par SaltStack
- S'intègre aux planificateurs de tâches (tels que Slurm) et aux cadres d'automatisation
File Usage Analytics
Observability & Monitoring
Gestion des données basée sur des stratégies
Avantages
Accelerate Time-to-Results
- Slash job start delays with instant access to datasets
- Pre-stage data intelligently for compute workflows
- Eliminate storage-related bottlenecks in critical pipelines
Work Smarter with Automation
- Set and forget lifecycle policies based on real usage
- Automatically move data between fast and deep storage
- Reduce manual file management and guesswork
Find What You Need, Fast
- No more hunting across systems: unified view of all files
- Search by project, user, or tags even if data is archived
- Actionable search: copy, move, archive in one step
Lower Costs Without Compromise
- Keep expensive storage focused on active work
- Maximize ROI by using commodity hardware
- Évitez les surprises liées au cloud grâce à des contrôles intégrés tenant compte des coûts
Favorisez une collaboration mondiale
- Les équipes distantes travaillent à l'unisson grâce à un catalogue unifié
- L'accès par stub garantit que les fichiers sont toujours accessibles
- Les fichiers sont rappelés à la demande, exactement quand et où ils sont nécessaires
Plug Into Any Workflow
- Works with your existing apps, workflows, and infrastructure
- Integrates with job schedulers and pipelines
- No vendor lock-in: data stays in your control
Architecture
Architecture de référence DataCore Nexus (Pixstor et Ngenea) pour les environnements HPC/IA