Wat is DirectFlash en hoe werkt het?

DirectFlash® is Pure's baanbrekende Flashmanagementoplossing die bestaat uit onze Purity-software en DirectFlash-modules, beide componenten die onafhankelijk en zonder onderbreking kunnen worden geüpgraded.

Dit is hoe het werkt, waarom het anders is, en waarom u het nodig hebt.

Overzicht Flash Storage

Flash-geheugen, ook bekend als flash storage, in 1980 uitgevonden door Toshiba, is een soort niet-vluchtig geheugen (dat wil zeggen dat het geen continue stroomtoevoer nodig heeft) dat elektronisch kan worden gewist en geherprogrammeerd.

Er zijn twee hoofdtypes van flash-geheugen, NOR en NAND, die op circuitniveau verschillen, afhankelijk van het type logische poort dat wordt gebruikt. Momenteel vertegenwoordigt NAND-flash meer dan 95% van de flash-geheugenmarkt en wordt het gebruikt in bijna alle niet-embedded flash-apparaten.

Binnen de NAND-categorie zijn er verschillende soorten geheugen, ingedeeld op basis van het aantal bits dat per geheugencel wordt opgeslagen:

• SLC: Een (single) bit per cel
• MLC: Twee (of meerdere) bits per cel
• TLC: Drie bits per cel
• QLC: Vier (quad) bits per cel

DirectFlash is de holistische benadering van Pure Storage om all-flashsystemen te bouwen. We maken gebruik van "ruwe" flash om onze DirectFlash-modules te bouwen, in plaats van te vertrouwen op de aankoop van commodity solid-state-schijven (SSD's). Hierdoor krijgen wij onze flash op een ander punt in de toeleveringsketen dan andere leveranciers van solid-state-arrays. Maar de voordelen van DirectFlash zijn veel meer dan alleen een betere rendabiliteit van de toeleveringsketen.

Hoe DirectFlash anders Is

Andere all-flash of hybride arrays die gewone, kant-en-klare SSD's gebruiken, communiceren in wezen op dezelfde manier met hun flash-schijven als een oude harde schijf: alsof het één aaneengesloten set identieke blokken is.

Harde schijven hadden sporen en sectoren, en door al die sectoren achter elkaar te leggen kreeg je één lange lijst met blokken. SSD's bootsen deze zelfde geometrie na door complexe systemen te integreren tussen het systeem en de flash, een zogenaamde flash translation layer (FTL).

DirectFlash hanteert een andere benadering die rechtstreeks met het flash-geheugen communiceert, waardoor de mogelijkheden van flash worden gemaximaliseerd en betere prestaties, energiegebruik en efficiëntie worden geboden.

Specifiek biedt DirectFlash:

• Mediabeheer op systeemniveau, in tegenstelling tot op schijfniveau, wat betekent dat de schijven samenwerken met het systeem zelf, waardoor het systeem:
  • Slimmere beslissingen neemt over het plaatsen van data op basis van een bredere context.
  • De activiteit van het systeem begrijpt vanaf het blok-, bestand- of objectniveau tot aan een individuele flashcel.    
  • De efficiëntie maximaliseert door data op een voor de media geoptimaliseerde manier te rangschikken, write amplificatie te vermijden en het uithoudingsvermogen te verhogen.
  • Dubbel werk vermijdt door functies als afvalverzameling, sparing en wear-leveling te centraliseren.
• Vermindering van de totale mediakosten door het elimineren van dubbele werkzaamheden en processen die in een traditioneel systeem op elke schijf plaatsvinden. Systemen op petabyte-schaal die gebruik maken van SSD's kunnen terabytes aan DRAM bevatten in de schijven zelf - het systeemgeheugen niet eens meegerekend - om hun individuele FTL-mappings en metadata bij te houden. Elke schijf bevat ook zijn eigen overgeprovisioneerde vrije ruimte die nodig is voor het mediabeheer door de FTL. Elk van deze componenten is een extra kostenpost die, naarmate de schijf groter wordt, een steeds groter deel van de totale mediakosten uitmaakt. De kosten per bit DRAM zijn de laatste jaren niet verbeterd, dus een efficiënt gebruik van DRAM wordt steeds belangrijker.
• Grotere modulebetrouwbaarheid door veel minder (3-4x) fouten in vergelijking met SSD's, voornamelijk door de eenvoudigere firmware.

Hoe Solid-state-schijven werken

Een SSD is samengesteld uit NAND-flashchips, ook bekend als NAND-flash dies, waarbij elke die is opgedeeld in kleinere elementen, blokken genaamd, die bestaan uit pagina's.

Flash-blokken ondersteunen echter geen willekeurige overschrijvingen. Zodra een pagina met data is geschreven, moet het hele blok worden gewist voordat nieuwe data kan worden geschreven. Tegelijkertijd is elke SSD gebouwd om een achterwaarts compatibele schijfsectorinterface te ondersteunen.

Deze tegenstelling wordt opgelost door iets in de firmware dat bekend staat als een "flash translation layer," of FTL, die een virtuele schijfsectorinterface implementeert waarmee u data naar verschillende flash-pagina's kunt schrijven, ongeacht voor welk logisch blok de data bedoeld was. De FTL houdt al deze mapping-metadata bij in zijn eigen geheugen en metadata-opslag.

Maar omdat u nu nieuwe versies van data naar verschillende flash-pagina's schrijft, hoopt u uiteindelijk data op in die blokken die als "afval" kunnen worden beschouwd, omdat de data ofwel overschreven ofwel logisch verwijderd is.

Om deze fysieke capaciteit terug te winnen, neemt een "afvalverzamelproces" in de firmware van de schijf de nog geldige data en verplaatst ze naar een nieuwe locatie, zodat het volledige blok met de "begraven" data kan worden gewist. Om deze afvalverzamelaar te laten werken, heeft elke schijf extra flash-geheugen nodig, wat bekend staat als "overgeprovisioneerde ruimte", en elke afvalverzameling verbruikt een van het eindige aantal flash-programmeer-wiscycli. De hoeveelheid fysieke schrijfbewegingen naar de schijf die elke logische schrijfbeweging verbruikt, staat bekend als "'write amplificatie".

Overprovisioning en write amplificatie leiden tot voortijdige slijtage en een kortere levensduur van de SSD. Er is ook sprake van een performance impact als gevolg van dit ontwerp, omdat elke keer dat een van deze flash dies afval verzamelt, leest of schrijft deze die niet beschikbaar is. Daarom schommelen de prestaties van de SSD onvoorspelbaar naargelang de afvalverzamelaar meer of minder actief wordt.

Wat dit nog uitdagender maakt, is dat SSD's geen manier hebben om deze afvalverzamelactiviteit mee te delen aan het systeem dat er toegang toe heeft. De SSD moet in plaats daarvan de illusie in stand houden dat het net een harde schijf is. Naarmate het aantal bits per cel in NAND-flash toeneemt, worden deze prestatieverschillen alleen maar erger, aangezien programmeer-wiscycli steeds langer duren, wat leidt tot langere perioden waarin data niet toegankelijk zijn.

Hoe DirectFlash werkt

DirectFlash benadert het beheer van flash-media op een andere manier. In plaats van elke SSD te machtigen om zijn eigen wear-leveling, afvalverzameling en overprovisioning uit te voeren, voert het Purity-besturingssysteem deze functies softwarematig uit op array-niveau. Dit betekent dat elke DirectFlash-module eenvoudiger is dan een traditionele solid state-schijf, aangezien deze alleen toegang tot de media zelf hoeft te bieden en low-level data- en signaleringstaken hoeft af te handelen.

Dit levert tal van voordelen op:

• In plaats van elke SSD die in een vacuüm beslissingen neemt over dataplaatsing en mediabeheer, is Purity op de hoogte van alle lopende en geplande systeemtaken, zoals de huidige IO-activiteit, datareductie-operaties, uitstaande afvalverzamelingscycli en de algemene array-workload en -gezondheid. Hierdoor kan Purity veel slimmere plaatsings- en planningsbeslissingen nemen dan een enkele schijf alleen zou kunnen doen.
• Door slimmere beslissingen over de plaatsing van data te nemen, kunnen data met een vergelijkbare verwachte levensduur op dezelfde blokken worden geplaatst, zodat het aantal gevallen waarin sommige data in blokken zijn "begraven", terwijl andere pagina's nog steeds geldig zijn, tot een minimum wordt beperkt. Purity weet of bepaalde pagina's allemaal deel uitmaken van hetzelfde bestand of object of afkomstig zijn van hetzelfde hostsysteem, en door die pagina's te groeperen in soortgelijke blokken wanneer dat bestand of object wordt verwijderd, kan het hele blok in één keer worden vrijgemaakt, zonder andere live data te herschrijven en write amplificatie te veroorzaken.
• Doordat DirectFlash-modules geen afvalverzameling uitvoeren en geen write amplificatie veroorzaken, presteren ze beter en gaan ze langer mee dan hun standaard tegenhangers. Minder schrijfbewerkingen betekent minder slijtage en dus een langere levensduur van de schijf. Minder schrijfbewerkingen betekent ook dat er meer IO-cycli beschikbaar zijn om "echte" client-IO te bedienen. En omdat Purity de actuele IO-activiteit kent en zicht heeft op het hele systeem, wordt het nooit verrast door een van deze programma-wiscycli die de toegang tot data blokkeert. In het ergste geval kan Purity die data gewoon reconstrueren uit de pariteit in plaats van te wachten tot een programma-wiscyclus is afgelopen. Dit vermindert de worst-case latency van onze systemen aanzienlijk, zelfs bij gebruik van QLC-flash.
• Omdat we al deze mediabeheertaken in software uitvoeren, kunnen we deze software in de loop der tijd verbeteren. Alle Pure Storage®-systemen die op het internet zijn aangesloten, verzamelen en analyseren veilig telemetriegegevens, en aangezien we diepgaand inzicht hebben in de gezondheid en activiteit van het onderliggende flash-geheugen, aggregeren en analyseren we deze data om de werking van onze software in de echte wereld te verbeteren. Dit betekent dat de betrouwbaarheid en de prestaties van onze systemen na verloop van tijd kunnen worden verbeterd door regelmatige software-updates.
• En tot slot hebben onze DirectFlash-modules geen complexe controllers en grote hoeveelheden RAM nodig om al dit werk zelf te doen omdat we al deze activiteiten op array-niveau in software uitvoeren. Onze modules zijn eenvoudiger en dus betrouwbaarder, en bovendien efficiënter. Dankzij de vooruitgang in de NAND-flashproductietechnologie kunnen we ook de grootte van onze schijven vergroten, zonder de complexiteit of de kosten van de schijven te verhogen.

Dit betekent voor klanten systemen met meer prestaties, meer consistentie, en meer betrouwbaarheid en een langere levensduur dan andere all-flash of hybride systemen die rond SSD's zijn ontworpen.

Pure is opgericht vanuit de overtuiging dat de toekomst van het datacenter in flash ligt, en we hebben onze DirectFlash-technologie ontwikkeld om deze visie werkelijkheid te laten worden. Wij geloven dat de beste manier om all-flash-systemen te bouwen is om het systeem vanaf de grond op te bouwen voor all-flash. Dat betekent dat de delen van het systeem die ontworpen zijn rond legacy-interfaces en -paradigma's worden geëlimineerd en dat de technologie echt kan schitteren.