Quando enormi set di dati, infrastrutture frammentate e workload ad alta velocità di trasmissione dati si scontrano, mettono a dura prova i sistemi di storage tradizionali. E questo è particolarmente vero per gli ambienti con un'elevata quantità di dati, come l'AI, l'HPC, i media e la ricerca, dove la gestione del flusso di dati tra tier, siti e cloud diventa un enorme collo di bottiglia.
Ngenea risolve questo problema inserendo un'automazione intelligente tra le applicazioni e i livelli di storage. Unifica lo storage eterogeneo sotto un namespace globale, consente un tiering trasparente e orchestra le azioni relative al ciclo di vita senza interrompere i flussi di lavoro né compromettere le prestazioni. Se utilizzato insieme a DataCore Pixstor, Ngenea ne potenzia le funzionalità grazie alla mobilità intelligente dei dati, estendendo il file system ad alte prestazioni in un data fabric dinamico e basato su policy.
- Estende lo storage esistente con l'orchestrazione; niente soluzioni usa e getta
- Supporta cloud di file, oggetti e cloud : NAS, S3, nastro e altro ancora
- Crea un namespace globale con stubbing dei file per un accesso ai dati trasparente
- Automatizza posizionamento, richiamo, migrazione e archiviazione dei dati
- Si integra con gli scheduler di processo e i flussi di lavoro ibridi
- Consente la sincronizzazione e il recupero dei dati tra sedi diverse
- Fornisce l'indicizzazione completa dei metadati e il controllo basato su API
- Deployment on-premise, nel cloud o in ambienti ibridi
Casi d'uso
Ambienti HPC ibridi che richiedono uno spostamento trasparente dei dati tra tier di calcolo, scratch e archivio
Pipeline di addestramento di modelli AI che richiedono ingestione rapida dei dati, pre-staging e archiviazione dei checkpoint
Flussi di lavoro multimediali che richiedono uno spostamento continuo dei dati tra i tier di produzione, rendering, archiviazione e cloud
Collaborazione globale con accesso remoto ai dati tramite una vista unificata e richiamo intelligente delle informazioni
Cloud bursting e DR con caching intelligente, prefetch e trasferimento dei dati a costi ottimizzati
Team multi-sede con accesso distribuito ai dati e governance completa del ciclo di vita
Funzionalità
Ngenea astrae tutto lo storage in un'unica vista logica, eliminando i silos e consentendo il tiering e il richiamo automatizzati e basati su policy tra tier e posizioni diverse.
- Namespace basato su stub con richiamo trasparente all'accesso
- Spostamento dei dati basato su policy in base a età, percorso, tag, accesso, utilizzo
- Tiering tra NVMe, SSD, HDD, object, nastro, cloud, NAS
- Idratazione dei file on-demand o prefetch tramite integrazione con scheduler di processo
- Mantiene i metadati, le autorizzazioni e i percorsi originali
- Funziona con storage legacy tramite stubbing inverso
- Non è necessaria alcuna riconfigurazione di app o utenti
Automatizza lo spostamento dei dati tra livelli di prestazioni e capienza in base all'utilizzo reale, alle policy e ai flussi di lavoro senza influire sull'accesso o interrompere i percorsi.
- Tiering basato su regole per età, dimensioni, proprietario, posizione, tag o attività
- Spostamento trasparente dei dati tra NVMe, SSD, HDD, object, nastro e cloud
- Mantiene percorsi dei file, autorizzazioni e metadati
- Richiamo (idratazione) dei file on-demand o basato su policy in base alle esigenze
- Si integra con i gestori di flussi di lavoro e gli scheduler dei processi
- Lo stubbing inverso consente l'accesso ai dati legacy, riducendo la migrazione
- Allinea il tiering agli obiettivi di prestazioni, costi e conservazione dei dati
- Controllo granulare per scenari di staging, archiviazione o bursting
- Gli strumenti di analisi della capienza forniscono informazioni dettagliate sui modelli di utilizzo per pianificare le decisioni di tiering in modo più efficace
Ngenea tiene traccia dei metadati e li indicizza su tutto lo storage connesso, fornendo visibilità e fruibilità complete indipendentemente dalla posizione fisica.
- Indice centrale di nomi di file, percorsi, tag, marche temporali
- Supporta metadati standard e personalizzati, migliorando la ricercabilità e la visibilità dei dati
- Accesso GUI e API per cercare, filtrare e recuperare i risultati
- Proxy di anteprima disponibili per dati archiviati o "freddi"
- Integrato con Pixstor Search e pipeline esterne
- Esporta i risultati della ricerca in flussi di lavoro operativi
Ngenea accelera spostamento e replica tra ambienti diversi senza la complessità dei trasferimenti manuali o di un'infrastruttura dedicata.
- Sincronizzazione efficiente con impatti minimi
- Opzioni di sincronizzazione bidirezionale e disidratata (solo stub)
- Supporta i tipi di sincronizzazione POSIX↔POSIX, POSIX↔S3 e S3↔S3
- Trasferimenti ottimizzati in base alla larghezza di banda e controllo per singolo percorso
- Reverse recall ottimizzato per il DR: recupera solo ciò che serve
- Può migrare miliardi di file con facilità
Ngenea si integra con i flussi di lavoro computazionali per automatizzare le azioni di preparazione, staging e post-elaborazione dei dati.
- API REST e Python per trigger pre/post job
- Supporta le toolchain Slurm, Portable Batch System (PBS) e CI/CD
- Trigger basati su file ed eventi per un'automazione completa
- Carica i dati nell’area di scratch prima dell’esecuzione di un processo e li archivia al termine
- Modello di action cart per la movimentazione o la pulizia pianificata
Ngenea garantisce un accesso sicuro e vincolato alle policy in tutti i tier e le posizioni, senza influire sulla produttività degli utenti.
- Controllo degli accessi basato su ruoli (RBAC) a tutti i livelli
- Supporta l'autenticazione tramite AD, LDAP e OAuth2
- Registrazione di audit per gli eventi di richiamo, spostamento e accesso ai dati
- Applicazione delle politiche di conservazione tramite snapshot e policy di tiering
- Crittografia in transito (TLS/SSH) e, opzionalmente, at rest
- Regole specifiche del sito, limiti di richiamo e disponibilità del DR
Ngenea garantisce visibilità completa sui dati – dalla dashboard al controllo programmatico – mostrando dove si trovano, come vengono utilizzati e quali costi generano.
- Dashboard centralizzata per lo stato delle policy, la coda di recall e l’utilizzo
- Raccolta e registrazione di eventi e log di sistema tramite Logstash ed Elasticsearch
- Avvisi via e-mail per soglie critiche ed eventi di sistema
- Automazioni predefinite per le azioni legate al ciclo di vita e alle policy
- REST API per l'integrazione e l'orchestrazione
- Trigger personalizzati per ingestione, sincronizzazione, migrazione e DR
Ngenea estende l’orchestrazione a qualsiasi destinazione — dal cloud hyperscale all’archiviazione a lungo termine, fino ai siti di ingestione distribuiti all’edge.
- Si integra con AWS, Azure, GCP e object store privati
- Si integra con DataCore Swarm per l'archiviazione S3 on-premise
- Supporta i nastri tramite BlackPearl e i NAS tramite NFS
- Richiamo trasparente basato su stub e indicizzazione su tutti i target
- Caching e archiviazione in cloud controllati da policy
- Tiering basato su policy in funzione di costi, utilizzo o flussi di lavoro
- Supporta ambienti ibridi e multi-cloud
Collaborazione globale
Gestione dei dati basata su policy
Spazio dei nomi unificato tra siti e sedi
Benefici
Automatizza le cose complesse
- Pianifica e attiva i flussi di lavoro sui dati tramite regole e policy, senza intervento manuale
- Orchestra i dati dall’ingestione all’archiviazione senza interrompere l’attività degli utenti
- Riduce il sovraccarico operativo tra le diverse sedi
Ottimizzazione del posizionamento dei dati e dei costi
- Garantisce che i dati "caldi" rimangano su uno storage veloce; archivia automaticamente i dati "freddi"
- Applica policy basate sui costi per evitare spese cloud impreviste
- Sfrutta i sistemi di storage esistenti ed espandi liberamente l’infrastruttura con l’hardware che preferisci: nessun lock-in imposto dai vendor
Abilita la collaborazione globale
- I team remoti lavorano come un’unica squadra attraverso un namespace unificato
- L’accesso tramite stub garantisce che i file siano sempre individuabili
- I dati vengono richiamati su richiesta o precaricati in base alle necessità
- L'accesso basato sui ruoli garantisce che gli utenti vedano solo ciò di cui hanno bisogno
Accelera i workload
- I dati sono dove devono essere anche prima dell'inizio dei processi di calcolo
- Precarica, memorizza in cache e idrata i dati senza ritardi
- Semplifica i flussi di lavoro dal core all'edge, fino al cloud
Protezione e ripristino con precisione
- DR basato su stub con footprint ridotto
- Sincronizzazione e richiamo basati su policy tra tier di storage e siti diversi
- Ripristino rapido senza replica completa del set di dati
Rende la strategia di storage a prova di futuro
- Integrazione semplificata di nuovo hardware, storage o siti
- Esegue il tiering su cloud o nastro senza interrompere i flussi di lavoro
- Scala operatività e sedi senza dover reinventare i meccanismi di accesso
Architettura
Architettura di riferimento di DataCore Nexus (Pixstor e Ngenea) per ambienti HPC/AI
Deployment
Pixstor e Ngenea sono disponibili sotto forma di appliance chiavi in mano completamente integrata denominata Nexus. Ogni appliance Nexus include i componenti Pixstor necessari, quali nodi di archiviazione, nodi gateway e nodi di gestione, insieme ai servizi di orchestrazione Ngenea, il tutto fornito in un modello di appliance semplificato. Questa architettura compatta e convergente offre una base scalabile e flessibile per flussi di lavoro ad alte prestazioni e la gestione dei dati.
Licensing
La licenza si basa su due fattori chiave: il numero di appliance Nexus implementate e la capacità totale utilizzabile di Pixstor nella soluzione. Le funzionalità di Ngenea possono essere aggiunte all’appliance in base alle esigenze. I dati trasferiti da Ngenea tra livelli di storage esterni (come lo storage a oggetti, cloud, i nastri, ecc.) non vengono conteggiati ai fini della licenza e non comportano costi aggiuntivi. Questo modello offre una scalabilità prevedibile senza sovrattasse legate ai livelli di prestazioni né costi nascosti per le licenze dell’infrastruttura, consentendo al contempo un’espansione flessibile delle capacità di storage, orchestrazione e gestione dei dati man mano che le esigenze crescono.