La replica e l'erasure coding per l'object storage

La forma più semplice di protezione che consente di avere ridondanza dei dati è la replica. La replica utilizza una protezione dei dati basata su copia in cui vengono create copie complete di una porzione di contenuto poi distribuite tra nodi o sotto-cluster. Poiché una volta identificato il primo bit la replica memorizza i dati in modo contiguo su disco, i contenuti vengono erogati in modo rapido ed efficiente senza la necessità di essere "reidratati".

La replica può essere semplice o complessa a seconda delle esigenze, consentendo di creare un cluster di disaster recovery (DR) fuori sede o persino di implementare una replica a N vie per favorire la collaborazione e la località dei dati. Poiché i dati vengono replicati dominio per dominio, è possibile scegliere quali dati replicare e dove. Swarm supporta sia la replica sincrona che quella asincrona.

Per avere i dati disponibili in caso di perdita, vengono create e mantenute una o più copie aggiuntive di ogni oggetto "originale". Per esempio, anche in caso di un guasto catastrofico al disco, l'intero cluster Swarm partecipa a un processo di ripristino attivo che recupera rapidamente la replica completa del cluster in un lasso di tempo relativamente breve. Velocizzando il ripristino, Swarm abbrevia la finestra temporale in cui un altro errore del disco potrebbe influire sul cluster. Se si sceglie di avere una terza replica per ogni oggetto, le due esistenti si occupano di crearla in modo rapido ed efficace.

L'erasure coding fornisce una protezione dei dati di livello enterprise con una minore occupazione dello spazio di storage ed è ideale per file di dimensioni moderate e archivi di contenuti di grandi dimensioni. Utilizzando l'erasure coding in Swarm, ogni file viene suddiviso in più segmenti di dati per i quali vengono calcolati segmenti di parità. Ciò si traduce in un numero totale di segmenti che utilizzano meno capienza e risorse operative rispetto a una copia aggiuntiva.

I file vengono suddivisi in più segmenti di dati (K) e in ulteriori segmenti di parità (P) in base al contenuto dei primi. Ciò si traduce in (M) segmenti totali (K + P = M) distribuiti a M diversi nodi o sotto-cluster Swarm.

A livello di oggetto, l'erasure coding è simile a RAID. In caso di guasto a un qualsiasi numero di unità, tutti i nodi di Swarm funzionano parallelamente per risolvere la situazione il più rapidamente possibile, quindi - ancora una volta - i dati sono completamente protetti. È possibile avere segmenti di dati su più unità e lo stesso può avvenire per i segmenti di parità. Il cluster può essere configurato per soddisfare qualsiasi requisito di uptime.

Swarm analizza anche lo stato di salute delle unità per verificare se ci sono problemi e garantire che i dati siano copiati e protetti in modo proattivo. Questo processo è in grado di rilevare potenziali problemi prima che un'unità si guasti.