Quando enormi set di dati, infrastrutture frammentate e workload ad alta velocità di trasmissione dati si scontrano, mettono a dura prova i sistemi di storage tradizionali. E questo è particolarmente vero per gli ambienti con un'elevata quantità di dati, come l'AI, l'HPC, i media e la ricerca, dove la gestione del flusso di dati tra tier, siti e cloud diventa un enorme collo di bottiglia.
Ngenea risolve questo problema inserendo automazione intelligente tra le applicazioni e i livelli di storage. Unifica lo storage eterogeneo in un namespace globale, consente un tiering trasparente e orchestra le azioni del ciclo di vita senza interrompere i flussi di lavoro o compromettere le prestazioni. Se utilizzato insieme a DataCore Pixstor, Ngenea migliora le sue capacità con la mobilità intelligente dei dati, estendendo il file system ad alte prestazioni in un data fabric dinamico e basato su policy.
- Estende lo storage esistente con l'orchestrazione; niente soluzioni usa e getta
- Come target, supporta file, object e cloud: NAS, S3, nastro e altro ancora
- Crea un namespace globale con stubbing dei file per un accesso ai dati trasparente
- Automatizza posizionamento, richiamo, migrazione e archiviazione dei dati
- Si integra con gli scheduler di processo e i flussi di lavoro ibridi
- Consente la sincronizzazione e il recupero dei dati tra sedi diverse
- Fornisce l'indicizzazione completa dei metadati e il controllo basato su API
- Deployment on-premise, nel cloud o in ambienti ibridi
Casi d'uso
Ambienti HPC ibridi che richiedono uno spostamento trasparente dei dati tra tier di calcolo, scratch e archivio
Pipeline di addestramento di modelli AI che richiedono ingestione rapida dei dati, pre-staging e archiviazione dei checkpoint
Flussi di lavoro multimediali che richiedono uno spostamento continuo dei dati tra i tier di produzione, rendering, archiviazione e cloud
Collaborazione globale con accesso remoto ai dati tramite una vista unificata e richiamo intelligente delle informazioni
Cloud bursting e DR con caching intelligente, prefetch e trasferimento dei dati a costi ottimizzati
Team multi-sede con accesso distribuito ai dati e governance completa del ciclo di vita
Funzionalità
Ngenea astrae tutto lo storage in un'unica vista logica, eliminando i silos e consentendo il tiering e il richiamo automatizzati e basati su policy tra tier e posizioni diverse.
- Namespace basato su stub con richiamo trasparente all'accesso
- Spostamento dei dati basato su policy in base a età, percorso, tag, accesso, utilizzo
- Tiering tra NVMe, SSD, HDD, object, nastro, cloud, NAS
- Idratazione dei file on-demand o prefetch tramite integrazione con scheduler di processo
- Mantiene i metadati, le autorizzazioni e i percorsi originali
- Funziona con storage legacy tramite stubbing inverso
- Non è necessaria alcuna riconfigurazione di app o utenti
Automatizza lo spostamento dei dati tra livelli di prestazioni e capienza in base all'utilizzo reale, alle policy e ai flussi di lavoro senza influire sull'accesso o interrompere i percorsi.
- Tiering basato su regole per età, dimensioni, proprietario, posizione, tag o attività
- Spostamento trasparente dei dati tra NVMe, SSD, HDD, object, nastro e cloud
- Mantiene percorsi dei file, autorizzazioni e metadati
- Richiamo (idratazione) dei file on-demand o basato su policy in base alle esigenze
- Si integra con i gestori di flussi di lavoro e gli scheduler dei processi
- Lo stubbing inverso consente l'accesso ai dati legacy, riducendo la migrazione
- Allinea il tiering agli obiettivi di prestazioni, costi e conservazione dei dati
- Controllo granulare per scenari di staging, archiviazione o bursting
- Gli strumenti di analisi della capienza forniscono informazioni dettagliate sui modelli di utilizzo per pianificare le decisioni di tiering in modo più efficace
Ngenea tiene traccia dei metadati e li indicizza su tutto lo storage connesso, fornendo visibilità e fruibilità complete indipendentemente dalla posizione fisica.
- Indice centrale di nomi di file, percorsi, tag, marche temporali
- Supporta metadati standard e personalizzati, migliorando la ricercabilità e la visibilità dei dati
- Accesso GUI e API per cercare, filtrare e recuperare i risultati
- Proxy di anteprima disponibili per dati archiviati o "freddi"
- Integrato con Pixstor Search e pipeline esterne
- Esporta i risultati della ricerca in flussi di lavoro operativi
Ngenea accelera spostamento e replica tra ambienti diversi senza la complessità dei trasferimenti manuali o di un'infrastruttura dedicata.
- Sincronizzazione efficiente con impatti minimi
- Opzioni di sincronizzazione bidirezionale e disidratata (solo stub)
- Supporta tipologie di sincronizzazione POSIX↔POSIX, POSIX↔S3 ed S3↔S3
- Trasferimenti ottimizzati in base alla larghezza di banda e controllo per singolo percorso
- Reverse recall ottimizzato per il DR: recupera solo ciò che serve
- Può migrare miliardi di file con facilità
Ngenea si integra con i flussi di lavoro computazionali per automatizzare le azioni di preparazione, staging e post-elaborazione dei dati.
- API REST e Python per trigger pre/post job
- Supporta le toolchain Slurm, Portable Batch System (PBS) e CI/CD
- Trigger basati su file ed eventi per un'automazione completa
- Carica i dati nell’area di scratch prima dell’esecuzione di un processo e li archivia al termine
- Modello di action cart per la movimentazione o la pulizia pianificata
Ngenea garantisce un accesso sicuro e vincolato alle policy in tutti i tier e le posizioni, senza influire sulla produttività degli utenti.
- Controllo degli accessi basato su ruoli (RBAC) a tutti i livelli
- Supporta l'autenticazione AD, LDAP, OAuth2
- Registrazione di audit per gli eventi di richiamo, spostamento e accesso ai dati
- Applicazione delle politiche di conservazione tramite snapshot e policy di tiering
- Crittografia in transito (TLS/SSH) e, opzionalmente, at rest
- Regole specifiche del sito, limiti di richiamo e disponibilità del DR
Ngenea garantisce visibilità completa sui dati – dalla dashboard al controllo programmatico – mostrando dove si trovano, come vengono utilizzati e quali costi generano.
- Dashboard centralizzata per lo stato delle policy, la coda di recall e l’utilizzo
- Raccolta e registrazione di eventi e log di sistema tramite Logstash ed Elasticsearch
- Avvisi via e-mail per soglie critiche ed eventi di sistema
- Automazioni predefinite per le azioni legate al ciclo di vita e alle policy
- REST API per l'integrazione e l'orchestrazione
- Trigger personalizzati per ingestione, sincronizzazione, migrazione e DR
Ngenea estende l’orchestrazione a qualsiasi destinazione — dal cloud hyperscale all’archiviazione a lungo termine, fino ai siti di ingestione distribuiti all’edge.
- Si integra con AWS, Azure, GCP e object store privati
- Si integra con DataCore Swarm per l'archiviazione S3 on-premise
- Supporta il nastro tramite BlackPearl e il NAS tramite NFS/S3
- Richiamo trasparente basato su stub e indicizzazione su tutti i target
- Caching e archiviazione in cloud controllati da policy
- Tiering basato su policy in funzione di costi, utilizzo o flussi di lavoro
- Supporta ambienti ibridi e multi-cloud
Collaborazione globale
Gestione dei dati basata su policy
Namespace unificato tra siti & posizioni diverse
Benefici
Automatizza le cose complesse
- Pianifica e attiva i flussi di lavoro sui dati tramite regole e policy, senza intervento manuale
- Orchestra i dati dall’ingestione all’archiviazione senza interrompere l’attività degli utenti
- Riduce il sovraccarico operativo tra le diverse sedi
Ottimizza posizionamento e costi dei dati
- Garantisce che i dati "caldi" rimangano su uno storage veloce; archivia automaticamente i dati "freddi"
- Applica policy basate sui costi per evitare spese cloud impreviste
- Sfrutta i sistemi di storage esistenti ed espandi liberamente l’infrastruttura con l’hardware che preferisci: nessun lock-in imposto dai vendor
Abilita la collaborazione globale
- I team remoti lavorano come un’unica squadra attraverso un namespace unificato
- L’accesso tramite stub garantisce che i file siano sempre individuabili
- I dati vengono richiamati su richiesta o precaricati in base alle necessità
- L'accesso basato sui ruoli garantisce che gli utenti vedano solo ciò di cui hanno bisogno
Accelera i workload
- I dati sono dove devono essere anche prima dell'inizio dei processi di calcolo
- Precarica, memorizza in cache e idrata i dati senza ritardi
- Semplifica i flussi di lavoro dal core all'edge, fino al cloud
Protegge & ripristina con precisione
- DR basato su stub con footprint ridotto
- Sincronizzazione e richiamo basati su policy tra tier di storage e siti diversi
- Ripristino rapido senza replica completa del set di dati
Rende la strategia di storage a prova di futuro
- Integrazione semplificata di nuovo hardware, storage o siti
- Esegue il tiering su cloud o nastro senza interrompere i flussi di lavoro
- Scala operatività e sedi senza dover reinventare i meccanismi di accesso
Architettura
Architettura di riferimento DataCore Nexus (Pixstor & Ngenea) per ambienti HPC/AI
Deployment
Pixstor and Ngenea are available as a fully integrated turnkey appliance called Nexus. Each Nexus appliance includes the required Pixstor components, such as storage nodes, gateway nodes, and management nodes, along with Ngenea orchestration services, all delivered in a simplified appliance model. This compact, converged architecture provides a scalable and flexible foundation for high-performance workflows and data management.
Licensing
Licensing is based on two key factors: the number of Nexus appliances deployed and the total usable Pixstor capacity in the solution. Ngenea functionality can be added to the appliance as required. Data moved by Ngenea between external storage tiers (such as object storage, cloud, tape, etc.) is not counted toward licensing and does not incur additional cost. This model provides predictable scaling without performance-tier surcharges or hidden infrastructure licensing costs, while allowing flexible expansion of storage, orchestration, and data management capabilities as requirements grow.