Lorsque des ensembles de données massifs, une infrastructure fragmentée et des workloads à haut débit se conjuguent, les systèmes de stockage classiques sont soumis à une énorme pression. Notamment, dans le cas d'environnements à forte densité de données, dans des domaines tels que l'IA, le HPC, les médias et la recherche, la gestion des flux de données entre différents niveaux, sites et clouds génère un goulet d'étranglement majeur.
Ngenea résout ce problème en mettant une automatisation intelligente entre vos applications et les couches de stockage. Il unifie votre stockage hétérogène sous un catalogue global, offre un tiering transparent et orchestre les actions du cycle de vie sans perturber les workflows ni compromettre les performances. Utilisé avec DataCore Pixstor, Ngenea améliore ses capacités grâce à une mobilité intelligente des données, en étendant le système de fichiers hautes performances dans une structure de données dynamique, pilotée par des stratégies.
- Étend le stockage existant grâce à l'orchestration, sans avoir à remplacer quoi que ce soit
- Prend en charge les cibles de stockage fichier, objet et cloud : NAS, S3, bande, etc.
- Crée un catalogue global avec un stubbing des fichiers pour un accès transparent aux données
- Automatise le placement, le rappel, la migration et l'archivage des données
- S'intègre aux planificateurs de tâches et aux workflows hybrides
- Permet la synchronisation et le rappel d'un site à l'autre
- Fournit une indexation complète des métadonnées et un contrôle piloté par API
- Se déploie sur site, dans le cloud ou dans des environnements hybrides
Cas d’usage
Environnements HPC hybrides nécessitant un déplacement transparent des données entre les niveaux de calcul, de stockage et d'archivage.
Pipelines d'entraînement de modèles IA nécessitant une ingestion rapide, une mise en préproduction et un point de contrôle d'archivage.
Workflows des médias nécessitant un déplacement transparent entre les niveaux production, rendu, archivage et cloud.
Collaboration mondiale avec accès à distance aux données via une vue unifiée et un rappel intelligent
Cloud bursting et DR avec caching intelligent, pré-extraction et déplacement de données économique
Équipes multi-sites avec accès distribué aux données et gouvernance du cycle de vie
Fonctionnalités
Ngenea fait abstraction de l'ensemble du stockage pour en faire une représentation logique unique, qui élimine les silos, tout en permettant un tiering et un rappel automatiques en fonction de stratégies entre les niveaux et les emplacements.
- Catalogue basé sur des stubs avec rappel transparent sur consultation
- Déplacement de données basé sur des stratégies en fonction de l'ancienneté, du chemin d'accès, des balises, de l'accès et de l'utilisation
- Tiering entre les stockages NVMe, SSD, HDD, objet, bande, cloud, NAS
- Hydratation des fichiers à la demande ou pré-extraction via les hooks du planificateur de tâches
- Conserve les métadonnées, les autorisations et les chemins d'accès d'origine
- Fonctionne avec le stockage existant grâce à un stubbing inversé
- Aucune reconfiguration des applications ou des utilisateurs n'est nécessaire
Automatisez le déplacement des données entre les couches de performances et de capacité en fonction de l'utilisation réelle, des stratégies et des workflows, sans affecter l'accès ni rompre les chemins d'accès.
- Tiering basé sur des règles par ancienneté, taille, propriétaire, emplacement, balises ou activité
- Déplacement transparent des données entre les types de stockage NVMe, SSD, disque dur, objet, bande et cloud.
- Conservation des chemins d'accès, des autorisations et des métadonnées des fichiers
- Rappel (hydratation) des fichiers à la demande ou basé sur des stratégies, selon les besoins
- Intégration aux gestionnaires de workflow et aux planificateurs de tâches
- Stubbing inversé permettant l'accès aux données existantes, ce qui réduit la migration
- Alignement du tiering sur les objectifs de performances, de coût et de conservation
- Contrôle granulaire pour les scénarios de mise en préproduction, d'archivage ou de bursting
- Outils d'analyse de la capacité fournissant des informations sur les schémas d'utilisation afin de planifier les décisions de tiering plus efficacement
Ngenea suit et indexe les métadonnées sur l'ensemble du stockage connecté, offrant une visibilité complète et des possibilités d'action quel que soit l'emplacement physique.
- Index central des noms de fichiers, des chemins d'accès, des balises, des horodatages
- Prise en charge des métadonnées de contenu et de métadonnées personnalisées pour l'accessibilité des données
- Accès à l'interface graphique et à l'API pour rechercher, filtrer et extraire des résultats
- Prévisualisation des proxys disponibles pour les données archivées ou froides
- Intégré à Pixstor Search et aux pipelines externes
- Exportation des résultats de recherche vers des workflows d'action
Ngenea accélère les déplacements et la réplication entre les environnements, sans la complexité liée aux transferts manuels ou à une infrastructure dédiée.
- Synchronisation efficace avec un surcoût minime
- Options de synchronisation bidirectionnelle et déshydratée (stub uniquement)
- Prend en charge les types de synchronisation POSIX↔POSIX, POSIX↔S3, S3↔S3
- Transferts tenant compte de la bande passante et contrôle par chemin d'accès
- Rappel inversé facilitant la DR : n'extrait que ce qui est nécessaire
- Peut migrer facilement des milliards de fichiers
Ngenea s'intègre à vos workflows informatiques pour automatiser les actions de préparation, de mise en préproduction et de post-traitement des données.
- API REST et Python pour les déclencheurs pré/post-tâche
- Prend en charge les toolchains Slurm, Portable Batch System (PBS) et CI/CD
- Déclencheurs basés sur des fichiers et des événements pour une automatisation complète
- Mettez les données en préproduction sur un stockage scratch avant une tâche et archivez-les après.
- Modèle de chariot d'action pour le déplacement ou le nettoyage programmé
Ngenea garantit un accès sécurisé et soumis à des règles sur tous les niveaux et les sites, sans affecter la productivité des utilisateurs.
- Contrôle d'accès basé sur les rôles (RBAC) à tous les niveaux
- Prend en charge l'authentification AD, LDAP, OAuth2
- Enregistrement d'audit pour les événements de rappel, de déplacement et d'accès
- Mise en œuvre de la conservation via des stratégies de snapshot et de tiering
- Chiffrement lors du transfert (TLS/SSH) et au repos en option
- Règles spécifiques au site, limites de rappel et disponibilité des DR
Des tableaux de bord au contrôle programmatique, Ngenea offre une visibilité totale sur l'emplacement de vos données, leur utilisation et leur coût.
- Tableau de bord central pour l'état des stratégies, la file d'attente des rappels et l'utilisation.
- Enregistrement des événements et du système via Logstash, Elasticsearch
- Alertes par e-mail pour les seuils clés et les événements du système
- Hooks d'automatisation pour le cycle de vie et les actions stratégiques
- API REST pour l'intégration et l'orchestration
- Déclencheurs personnalisés pour l'ingestion, la synchronisation, la migration et la reprise après sinistre
Ngenea étend l'orchestration à n'importe quelle destination, qu'il s'agisse d'un Cloud hyperscale, d'une archive profonde ou d'un site d'ingestion Edge.
- S'intègre à AWS, Azure, GCP et aux stockages objet privés
- S'intègre à DataCore Swarm pour l'archivage S3 sur site
- Prend en charge le stockage sur bande via BlackPearl et le stockage NAS via NFS/S3
- Rappel et indexation transparents basés sur des stubs sur toutes les cibles
- Caching et archivage cloud contrôlés par des stratégies
- Tiering basé sur des stratégies en fonction du coût, de l'utilisation ou des workflows
- Prend en charge les environnements hybrides et multi-cloud
Collaboration mondiale
Gestion des données basée sur des stratégies
Catalogue unifié entre les sites et les emplacements
Avantages
Automatisez les tâches complexes
- Planifiez et déclenchez des flux de données à l'aide de règles et de stratégies : sans aucune intervention manuelle.
- Orchestrate data from ingest to archive without user disruption
- Reduce operational overhead across locations
Optimize Data Placement & Cost
- Ensure hot data stays on fast storage; archive cold data automatically
- Enforce cost-aware policies to avoid unexpected cloud spend
- Leverage existing storage systems and expand with free choice of hardware: no vendor lock-in required
Favorisez une collaboration mondiale
- Les équipes distantes travaillent à l'unisson grâce à un catalogue unifié
- L'accès par stub garantit que les fichiers sont toujours accessibles
- Data is recalled on-demand or pre-staged as needed
- Role-based access ensures users see only what they need
Accelerate Workloads
- Data is where it needs to be even before compute jobs start
- Pre-stage, cache, and hydrate without delays
- Simplify workflows from core to edge to cloud
Protect & Recover with Precision
- Stub-based DR with low footprint
- Policy-driven sync and recall across storage tiers and sites
- Fast recovery without full dataset replication
Future-Proof Your Storage Strategy
- Easily integrate new hardware, storage, or sites
- Tier to cloud or tape without disrupting workflows
- Scale operations and locations without reinventing access
Architecture
Architecture de référence de DataCore Ngenea et Pixstor pour les environnements HPC/IA
Déploiement
Ngenea and Pixstor can be deployed on-premises, in the cloud, or as a hybrid solution, giving you the flexibility to support any workflow or infrastructure strategy.
Licence
Ngenea is licensed per server. A single server license enables data movement across any number of storage targets—including scratch, home, archive, and cloud—with no capacity limits and no performance-based fees. This eliminates hidden costs, avoids capacity-based charges as the namespace expands, and allows hardware to be retired or repurposed without incurring additional licensing costs. Ngenea is available exclusively with Pixstor.