File system parallelo ad alta velocità
Gestione dei dati basata su policy
Namespace globale unificato
Consolida i silos di storage
Scalabilità trasparente
Nessun lock-in dei vendor né tasse sui dati
L'innovazione ad alta intensità di dati richiede molto di più della semplice potenza di calcolo. Che si tratti di eseguire complesse simulazioni, addestrare modelli di deep learning o elaborare dati ad alta risoluzione, le prestazioni dipendono dalla velocità e dall'efficienza con cui i dati possono essere spostati.
Gli ambienti HPC e AI sono progettati per la velocità, ma le architetture di storage tradizionali spesso diventano un collo di bottiglia. Mentre le CPU e le GPU continuano a diventare sempre più veloci, le infrastrutture di dati legacy si basano su tier frammentati e gestiti manualmente che semplicemente non possono tenere lo stesso passo della capacità di calcolo. Il risultato? Rallentamenti della pipeline, risorse sottoutilizzate e perdite di tempo.
Lo storage temporaneo (scratch) si riempie rapidamente di file non gestiti. I dati sono sparsi in silos diversi, difficili da trovare e costosi da mantenere su storage veloce.
Senza automazione, i team si ritrovano a rincorrere i file, richiamare manualmente i set di dati e intervenire di continuo per mantenere le prestazioni sotto controllo.
- Le GPU sono inattive in attesa del caricamento dei dati?
- Lo storage scratch continua a riempirsi di file che non vengono mai spostati?
- Spostamento e richiamo dei dati tra i vari livelli di storage vengono gestiti manualmente?
- Il team fatica a gestire set di dati distribuiti tra più sistemi o sedi?
- I costi continuano ad aumentare perché i dati "freddi" rimangono su storage ad alte prestazioni?
- Si utilizza il cloud bursting o la sua integrazione è ancora troppo complicata?
Elimina i colli di bottiglia con lo “scratch” Tier-0 ad alta velocità
Nei flussi di lavoro HPC e AI, lo storage temporaneo di livello 0 è il luogo in cui i dati circolano più velocemente – o almeno, così dovrebbe essere. Tuttavia, troppo spesso diventa un collo di bottiglia per le prestazioni, appesantito dall’accumulo di file, dai limiti di capacità o I/O .
DataCore Nexus offre un file system parallelo software-defined ad alte prestazioni, progettato appositamente per gli ambienti HPC e AI più esigenti. Progettato per stare al passo con i ritmi dell'elaborazione moderna, garantisce una latenza estremamente bassa e un throughput costante anche su larga scala e con una capacità del 99%.
Con prestazioni di lettura fino a 180 GB/s in un formato compatto da 4U, Nexus garantisce un approvvigionamento continuo di dati a GPU e CPU, elimina i blocchi dei processi e assicura che lo spazio di lavoro sia sempre pronto per le operazioni successive.
Nexus sfrutta l'infrastruttura basata su NVMe e supporta l'accesso POSIX, NVMe-oF, NFS e SMB per offrire I/O a latenza ultra bassa in tutta la pipeline di elaborazione. È progettato per ambienti di scala petabyte e funziona senza lock-in proprietari né costi aggiuntivi legati ai formati, offrendo prestazioni senza compromessi.
Automatizza il ciclo di vita dei dati con l'orchestrazione basata su policy
Negli ambienti ad alte prestazioni, i dati non rimangono in un unico posto. Scorrono: dallo spazio di archiviazione Tier-0 alle directory utente, dai set di dati attivi all’archivio di lungo periodo, dai sistemi on-premise al cloud. Ma gestire manualmente questo ciclo di vita rallenta l’intero processo.
Nexus automatizza questo processo con un'orchestrazione intelligente e basata su policy. I file si spostano tra i tier in base all’utilizzo in tempo reale, alle esigenze del progetto o ai trigger dei flussi di lavoro senza interventi manuali, senza script personalizzati, senza sorprese.
Hai bisogno di eseguire automaticamente l'offload dei dati obsoleti dallo scratch? Di precaricare i file di input per un processo pianificato? Di richiamare in modo trasparente i set di dati archiviati nel momento in cui vi si accede? Nexus lo rende possibile, in modo che i dati siano sempre nel posto giusto, al momento giusto, senza interrompere i flussi di lavoro.
Il risultato: un’infrastruttura più snella, uno spazio scratch più ordinato, meno complessità operativa e più tempo dedicato a ricerca, sviluppo e risultati.
Semplifica la collaborazione con un namespace globale unificato
Quando i set di dati sono distribuiti tra sistemi, sedi o tipologie di storage diverse, la collaborazione rallenta drasticamente. Ricercatori, ingegneri e analisti perdono tempo a inseguire i file, ad attendere i trasferimenti o a duplicare i dati tra i team, il tutto con il rischio di conflitti di versione e risultati incoerenti.
Nexus rimuove queste barriere con un namespace globale unificato che riunisce tutti i dati non strutturati, indipendentemente da dove sono memorizzati: on-premise, nel cloud o in ambienti ibridi. Utenti e applicazioni accedono a una vista unica e coerente dei dati necessari, con controlli di accesso sicuri che rispettano la struttura organizzativa dell’azienda.
Che si stia supportando un progetto di ricerca globale, flussi di lavoro di training AI distribuiti o operazioni HPC multi-sito, Nexus garantisce che i dati siano sempre individuabili, accessibili e coerenti, ovunque ci si trovi, senza replica, riformattazione o complessità.
Scalabilità intelligente, senza complicazioni
Con l'aumento dei workload HPC e AI, lo storage deve scalare sia in termini di prestazioni che di flessibilità. DataCore Nexus si espande per supportare petabyte e miliardi di file senza interrompere i flussi di lavoro o rallentare l'elaborazione.
Inoltre, si integra perfettamente con l’object storage, i nastri e cloud, consentendoti di gestire l’intero ecosistema di dati – su tutti i livelli e in tutte le sedi – come un unico ambiente integrato. E quando la domanda aumenta, Nexus supporta cloud , fornendo i dati su richiesta alle cloud senza necessità di staging manuale o duplicazione. Puoi espandere la capacità quando necessario e ridurla una volta terminato, il tutto mantenendo il controllo e la visibilità.
I vantaggi principali
- Ottimizzare l'utilizzo della GPU e della CPU mantenendo le pipeline di dati costantemente alimentate
- Accelerare i tempi di ottenimento dei risultati grazie a un avvio più rapido dei lavori, alla creazione di checkpoint e all'output
- Mantieni lo spazio libero di livello 0 pulito e veloce grazie allo scaricamento automatico dei dati
- Eliminare il trasferimento manuale dei dati grazie all'orchestrazione basata su criteri
- Consenti una collaborazione senza soluzione di continuità grazie a un accesso unificato tra sedi e team
- Scalare liberamente l'infrastruttura e lo spazio di archiviazione senza interruzioni né modifiche all'architettura
- Support flussi di lavoroSupport e cloud senza creare silos di dati