DirectFlash : description et principes de fonctionnement

DirectFlash® est une solution de gestion du stockage flash révolutionnaire développée par Pure, qui intègre à la fois notre logiciel Purity et nos modules DirectFlash, et qui offre la possibilité de mettre à niveau l’ensemble de ses composants de manière indépendante et sans la moindre interruption.

Dans cet article, nous allons voir comment fonctionne cette solution et ce qui la distingue des offres concurrentes au point d’en faire une technologie incontournable.

Qu’est-ce que le stockage flash ?

La mémoire flash (également appelée « stockage flash ») a été inventée en 1980 par Toshiba. Il s’agit d’un type de mémoire non volatile (qui n’a pas besoin d’être alimentée en continu) qu’il est possible d’effacer et de reprogrammer électroniquement.

On distingue deux principaux types de mémoires flash, NOR et NAND, dont la différence se situe au niveau du circuit en fonction de la porte logique utilisée. La technologie flash NAND représente aujourd’hui plus de 95 % du marché des mémoires flash ; elle est utilisée dans la majorité des appareils flash non intégrés.

Cette catégorie englobe différents types de mémoires, lesquels sont classés en fonction du nombre de bits stockés par cellule de mémoire :

• SLC : un seul bit par cellule
• MLC : deux bits par cellule
• TLC : trois bits par cellule
• QLC : quatre bits par cellule

DirectFlash désigne l’approche globale adoptée par Pure Storage pour le développement de systèmes 100 % flash. Plutôt que d’acheter des disques de stockage flash (SSD) dans le commerce, nous utilisons le stockage « brut » pour la conception de nos modules DirectFlash. Cette approche nous permet de nous procurer du stockage flash à un niveau de la chaîne d’approvisionnement différent de celui habituellement utilisé par les autres fournisseurs de baies de stockage flash. Mais la technologie DirectFlash n’offre pas simplement des avantages économiques assurés par une meilleure chaîne d’approvisionnement.

En quoi DirectFlash se distingue des solutions concurrentes

Toutes les autres baies 100 % flash ou hybrides qui s’appuient sur des SSD standard disponibles dans le commerce communiquent avec leurs disques flash sensiblement de la même manière qu’avec un disque dur traditionnel : en les considérant comme un ensemble contigu de blocs identiques.

Les disques durs comportent des pistes et des secteurs qui, s’ils sont mis bout à bout, finissent par donner une longue liste de blocs. Les SSD s’inspirent de cette géométrie, mais en intégrant des systèmes complexes entre le système et le stockage flash, qui forment ce que l’on appelle une couche de traduction flash (FTL, Flash Translation Layer).

DirectFlash repose sur une approche différente, qui consiste à communiquer directement avec la mémoire flash de manière à optimiser les capacités du stockage flash, les performances, la consommation d’énergie et l’efficacité globale.

DirectFlash présente de nombreux atouts :

• Administration des supports au niveau du système, et non au niveau du disque. Les disques fonctionnent de concert avec le système proprement dit, ce qui permet au système :
  • de placer les données de manière intelligente en fonction du contexte global ;
  • de comprendre l’activité du système au niveau du bloc, du fichier ou de l’objet, et cela jusqu’à une cellule flash spécifique ;    
  • de gagner en efficacité en optimisant la disposition des données en fonction du support, pour éviter l’amplification en écriture et allonger l’endurance ;
  • d’éviter les tâches redondantes en centralisant certaines fonctions comme la collecte de déchets, la gestion des réserves et le contrôle de l’usure.
• Réduction du coût global des supports, en supprimant les efforts et processus redondants habituellement observés au niveau de chaque disque d’un système traditionnel. Les systèmes qui utilisent des SSD et qui prennent en charge plusieurs pétaoctets de données peuvent contenir des téraoctets de DRAM dans les disques eux-mêmes (sans même tenir compte de la mémoire système) pour gérer leurs mappages FTL et leurs métadonnées. Chaque disque contient également son propre espace de réserve suralloué pour permettre à la FTL de gérer les supports. Chacun de ces composants représente un certain coût qui, à mesure que la taille du disque augmente, pèse de plus en plus lourdement sur le coût global du support. Le coût par bit de la DRAM ne s’est pas amélioré ces dernières années, c’est pourquoi il devient essentiel d’utiliser efficacement ce type de mémoire.
• Amélioration de la fiabilité des modules grâce à un taux de défaillance sensiblement inférieur à celui des SSD (3 à 4 fois moins), essentiellement garanti par une exécution simplifiée du firmware.

Principes de fonctionnement des disques de stockage flash

Un SSD se compose de puces flash NAND, également appelées matrices de mémoire flash NAND, dans lesquelles chaque matrice est divisée en petits éléments appelés « blocs », qui sont eux-mêmes constitués de pages.

Les blocs de mémoire flash ne prennent toutefois pas en charge les écrasements aléatoires. Une fois que des données sont écrites sur une page, l’ensemble du bloc doit être effacé pour pouvoir y réécrire de nouvelles données. Dans le même temps, chaque SSD est conçu pour prendre en charge une interface de secteurs de disques rétrocompatible.

Pour résoudre cette contradiction, une « couche de traduction flash » (FTL) est intégrée au niveau du firmware pour implémenter une interface de secteurs de disques virtuelle, qui permet d’écrire des données sur différentes pages de mémoire flash, quel que soit le bloc logique auquel étaient destinées les données. La FTL assure le suivi de toutes ces métadonnées de mappage dans sa propre mémoire et dans son propre espace de stockage de métadonnées.

Mais comme de nouvelles versions des données sont écrites sur des pages de mémoire flash différentes, de nombreuses données finissent par s’accumuler dans les blocs. Ces données peuvent être assimilées à des « déchets », car elles n’ont été ni écrasées, ni supprimées logiquement.

Pour récupérer cette capacité physique, on utilise un processus de « collecte de déchets » au niveau du firmware de disque. Ce processus consiste à prendre les données valides et à les déplacer vers un nouvel emplacement, de manière à pouvoir effacer l’intégralité du bloc qui contient les données « tombstone » (c’est-à-dire les données résiduelles). Pour que ce collecteur de déchets puisse fonctionner, chaque disque a besoin d’une mémoire flash supplémentaire, appelée « espace d’overprovisioning », et chaque événement de collecte de déchets consomme un nombre fini de cycles de programmation/d’effacement flash. On appelle « amplification en écriture » la quantité d’écritures physiques sur le disque que consomme chaque écriture logique.

L’overprovisioning et l’amplification en écriture entraînent une usure prématurée du SSD et réduisent sa durée de vie. Une telle conception nuit également aux performances car chaque fois qu’une matrice de mémoire flash lance un processus de collecte de déchets, aucune donnée de cette matrice n’est disponible en lecture ou en écriture. Les performances du SSD fluctuent donc de manière imprévisible selon que le collecteur de déchets est plus ou moins actif.

Pire encore, les SSD n’ont aucun moyen de communiquer cette activité de collecte de déchets au système qui y accède. Ils n’ont guère d’autre choix que de maintenir l’illusion de se comporter à la manière d’un disque dur. Et ces variations de performances ne font que s’accentuer à mesure que le nombre de bits par cellule augmente dans la mémoire flash NAND, puisque les cycles de programmation/d’effacement s’allongent, entraînant de plus longues périodes d’inaccessibilité des données.

Principes de fonctionnement de la technologie DirectFlash

DirectFlash adopte une approche différente de la gestion des supports de stockage flash. Plutôt que de confier à chaque SSD la charge d’effectuer ses propres opérations de contrôle de l’usure, de collecte de déchets et d’overprovisioning, le système d’exploitation Purity effectue ces fonctions dans un logiciel installé au niveau de la baie. Chaque module DirectFlash offre donc davantage de simplicité qu’un disque flash traditionnel car il lui suffit de fournir un accès au support lui-même et de gérer les données et tâches de signalisation de niveau secondaire.

Les avantages d’une telle approche sont nombreux :

• Plutôt que de laisser chaque SSD décider du placement des données et de l’administration des supports en vase clos, Purity dispose d’une visibilité sur toutes les tâches système en cours et planifiées, par exemple l’activité d’E/S actuelle, les opérations de réduction de données, les cycles de collecte de déchets en attente, ou encore le niveau global de charge de travail et d’intégrité de la baie. Purity est ainsi en mesure de prendre des décisions de placement et de planification de façon bien plus intelligente que ne pourrait le faire un disque individuel.
• Ces meilleures décisions en matière de placement des données permettent de colocaliser sur les mêmes blocs les données ayant une durée de vie estimée similaire, afin de limiter le volume de données tombstone dans des blocs qui contiennent encore des pages valides. Purity est capable de déterminer si certaines pages font partie du même fichier ou du même objet, ou si elles proviennent du même système hôte. En regroupant ces pages dans des blocs similaires, l’intégralité du bloc peut être libérée dès que le fichier ou l’objet en question est supprimé, sans avoir à réécrire d’autres données actives ni entraîner d’amplification en écriture.
• En évitant la collecte de déchets et l’amplification en écriture, les modules DirectFlash assurent des performances et une longévité sensiblement supérieures aux solutions concurrentes disponibles dans le commerce. Le fait de réduire les opérations d’écriture permet de limiter l’usure et donc d’allonger la durée de vie des disques. Cela permet également d’augmenter le nombre de cycles d’E/S disponibles pour traiter les E/S client « réelles ». De plus, étant donné que Purity connaît l’activité d’E/S actuelle et dispose d’une visibilité sur l’ensemble du système, aucun cycle de programmation/d’effacement ne peut bloquer l’accès aux données de manière inattendue. Dans le pire des cas, Purity peut simplement reconstruire les données par parité, sans avoir à atteindre la fin du cycle, ce qui réduit sensiblement la latence de nos systèmes dans les conditions les plus défavorables, y compris avec une mémoire flash QLC.
• Et comme toutes ces tâches d’administration des supports sont exécutées par un logiciel, elles peuvent être optimisées au fil du temps grâce à des améliorations logicielles. Tous les systèmes Pure Storage® connectés à Internet utilisent une fonction « phone-home » pour sécuriser les données de télémétrie. Par ailleurs, nos connaissances approfondies de l’intégrité et de l’activité de la mémoire flash sous-jacente nous permettent d’agréger et d’analyser ces données afin d’améliorer le fonctionnement de notre logiciel en situation réelle. Autrement dit, la fiabilité et les performances de nos systèmes s’améliorent au fil de nos mises à jour logicielles.
• Pour finir, étant donné que toutes ces activités interviennent au niveau de la baie dans le logiciel, nos modules DirectFlash sont capables de les gérer facilement sans avoir à s’appuyer sur des contrôleurs complexes et sur de grandes quantités de RAM. Au-delà de leur efficacité accrue, nos modules sont donc plus simples et plus fiables. Les avancées technologiques exploitées dans la fabrication des mémoires flash NAND nous permettent également de faire évoluer la taille de nos disques rapidement, sans les rendre plus complexes ou onéreux.

Du point de vue du client, cet avantage se traduit par des systèmes plus performants et cohérents, qui offrent une fiabilité et une longévité incomparables à celles des autres systèmes 100 % flash ou hybrides conçus autour de la technologie SSD.

Toute la philosophie de Pure repose sur la conviction que la technologie 100 % flash est l’avenir du datacenter, et c’est dans cette logique que nous avons développé notre technologie DirectFlash. Nous sommes convaincus que le meilleur moyen de concevoir des systèmes 100 % flash consiste à développer intégralement le système autour de cette technologie, ce qui suppose de renoncer aux composants conçus autour d’interfaces et de modèles traditionnels pour révéler pleinement le potentiel de cette technologie innovante.