Amazon FSx para Lustre es un sistema de archivos de alto rendimiento y completamente administrado para cargas de trabajo con uso intensivo de procesamiento que proporciona procesamiento rápido, escalabilidad y rentabilidad.
“FSx” se refiere al “sistema de archivos completamente administrado” y Amazon actualmente ofrece servicios FSx para varios sistemas de archivos ampliamente utilizados, incluido el sistema de archivos Lustre de código abierto.
¿Qué es el sistema de archivos Lustre?
Con un nombre acuñado de la combinación de “Linux” y “cluster”, Lustre es un sistema de archivos paralelo y distribuido. Se utiliza más comúnmente para la computación en clústeres a gran escala. De hecho, Lustre ha sido el sistema de archivos elegido por al menos cinco de las 10 supercomputadoras más rápidas del mundo, incluida la Frontera de supercomputadoras número uno, a noviembre de 2022.
Lustre ha sido una opción popular de supercomputadoras, centros de datos masivos, simuladores y otras organizaciones informáticas de alto rendimiento debido a su escalabilidad extrema y capacidad para operar varios clústeres con decenas de miles de nodos, docenas de petabytes de almacenamiento en cientos de servidores y un rendimiento promedio de más de un terabyte por segundo (TB/s).
¿Cómo se utiliza FSx para Lustre?
Debido a que es un servicio completamente administrado, Amazon FSx para Lustre simplifica el funcionamiento y la administración del sistema Lustre de su organización. El servicio lo ayuda a evitar la necesidad de configurar y administrar Lustre usted mismo, no es una molestia obtener el sistema de archivos de alto rendimiento que necesita en solo minutos. Y con varias opciones de implementación, puede elegir el modelo más rentable para sus necesidades.
¿Cuáles son las diferencias entre EFS ,EBS y FSx?
Además de FSx, AWS ofrece una variedad de opciones de almacenamiento de datos, incluido Elastic File System (EFS) y Elastic Block Store (EBS). A veces puede ser un poco confuso para las organizaciones comprender las diferencias entre estas ofertas y qué opciones pueden satisfacer mejor las necesidades únicas de una empresa.
La respuesta corta es que AWS ofrece opciones para diferentes tipos de almacenamiento, que son almacenamiento de archivos, bloques y objetos. Cada uno de estos tipos de almacenamiento es simplemente una forma diferente de almacenar datos. Antes de comparar EFS y EBS con FSx, veamos más de cerca EFS y EBS individualmente.
Elastic File System (EFS)
EFS es un sistema de almacenamiento de archivos, lo que significa que los datos se guardan en jerarquías (al igual que el directorio, la carpeta y el almacenamiento del sistema de archivos de la mayoría de las PC). EFS, altamente escalable y completamente administrado, se puede conectar a instancias EC2 con sistemas operativos Mac o Linux, así como a recursos informáticos en centros de datos en las instalaciones. El almacenamiento puede expandirse a petabytes de capacidad y ofrecer baja latencia en miles de instancias. Gracias a su baja latencia y escalabilidad, muchas organizaciones utilizan EFS para mover las aplicaciones y cargas de trabajo en las instalaciones directamente a la nube.
Las ventajas de EFS incluyen almacenamiento de archivos centralizado que es asequible, escalable y de fácil acceso. Su almacenamiento compartido es compatible con la nube y fácil de integrar sin tener que profundizar en la recodificación.
Las desventajas de EFS incluyen el hecho de que no funciona con Windows, y el almacenamiento de archivos simplemente no puede ofrecer el alto rendimiento del almacenamiento en bloque con respecto a las operaciones de entrada/salida por segundo (IOPS ). El almacenamiento de archivos también puede ser difícil de administrar una vez que los volúmenes de datos se vuelven lo suficientemente grandes, y los usuarios deben conocer la ruta a un archivo específico para poder encontrarlo.
Elastic Block Store (EBS)
Esta es la opción de almacenamiento en bloque de AWS. El almacenamiento en bloque es conocido por ser rápido y estable, principalmente porque no incluye metadatos y porque los bloques pueden almacenarse en las ubicaciones más eficientes, independientemente del sistema operativo, o incluso distribuirse entre varios servidores. El almacenamiento EBS está conectado a instancias de Amazon Elastic Compute Cloud (EC2), especialmente aquellas que son principalmente transacciones y necesitan escalarse fácilmente. Por ejemplo, algunas organizaciones usan EBS para almacenar bases de datos NoSQL no estructuradas o bases de datos relacionales que son autogestionadas.
Las ventajas de EBS incluyen su velocidad, flexibilidad y confiabilidad. Eso lo hace ideal para casos de uso de transacciones pesadas que requieren baja latencia. Y debido a que puede actualizar el almacenamiento en bloque sobrescribiendo bloques individuales (y no un objeto completo, como en el almacenamiento de objetos), las actualizaciones y los cambios son rápidos y eficientes.
Las desventajas de EBS incluyen la falta de metadatos, lo que hace que sea rápido almacenar pero más lento buscar. Y el almacenamiento EBS se puede conectar a solo un servidor a la vez (aunque en algunas situaciones existe una capacidad de conexión múltiple EBS).
FSx para Lustre frente a EFS y EBS
Amazon FSx para Lustre ofrece un rendimiento ultraalto. Es un sistema de almacenamiento de archivos, similar a EFS, pero una gran diferencia es que FSx puede operar en Windows. El rendimiento de FSx supera el rendimiento de EFS y EBS cuando se trata de cargas de trabajo de trabajo pesado como AI y aprendizaje automático, proyectos de análisis de datos masivos, procesamiento de video y efectos digitales, análisis financiero y más.
FSx ofrece un TCO más bajo que EFS y EBS y ofrece a las organizaciones opciones de procesamiento de datos flexibles para el almacenamiento a corto y largo plazo. FSx también puede determinar la velocidad con la que el servidor de archivos que aloja el sistema puede servir datos de archivos y ofrecer niveles más altos de rendimiento que EFS y EBS, niveles más altos de IOPS y más memoria para el almacenamiento en caché.
Cómo funciona Amazon FSx para Lustre
Con Amazon FSx para Lustre, las organizaciones pueden acceder fácilmente a sus sistemas de archivos Lustre. Estos sistemas pueden escalar según sea necesario en varios servidores y discos de almacenamiento. Debido a esa escalabilidad, FSx puede eliminar muchos de los cuellos de botella tradicionales que los usuarios encuentran en otros sistemas de archivos.
Un sistema de archivos Amazon FSx para Lustre está compuesto por un servidor de archivos centralizado y varios discos de almacenamiento conectados que contienen los datos. Los clientes se comunican con el servidor de archivos, lo que puede optimizar el rendimiento de los datos a los que se accede con mayor frecuencia mediante una caché rápida en memoria. Parte de lo que hace que sea tan rápido es que cuando un cliente desea acceder a la información almacenada en la memoria caché o en el SSD, el servidor no necesita leerla desde el disco. Por lo tanto, la latencia es menor y el rendimiento es mayor.
FSx también ofrece dos opciones de almacenamiento basadas en la opción de usar una unidad de estado sólido (SSD) o una unidad de disco duro (HDD ). La mejor opción depende de las necesidades de la organización:
- El almacenamiento SSD es ideal para cargas de trabajo sensibles a la latencia o aquellas cargas de trabajo que requieren el mayor rendimiento o IOPS.
- El almacenamiento en HDD es ideal para cargas de trabajo que requieren un alto rendimiento, pero no dependen en gran medida de una latencia ultrabaja.
Para configurar Amazon FSx para Lustre:
- Con la consola de administración de AWS, cree su sistema de archivos. También puede usar una interfaz de la línea de comandos (CLI) o un kit de desarrollo de software (SDK). Aquí es donde también puede designar qué opción de implementación prefiere: rayado o persistente (consulte a continuación).
Si usa almacenamiento Amazon S3, vinculará su sistema de archivos recién creado a su cubo S3 para que pueda procesar y acceder a cualquier conjunto de datos almacenado en S3.
Use cualquier cliente Linux, incluidos EC2, EKS o clientes en las instalaciones, para acceder a su sistema de archivos.
Ahora puede ejecutar sus aplicaciones, desde aprendizaje automático hasta computación de alto rendimiento, renderización de medios y más, con almacenamiento de archivos compartidos que ofrece el alto rendimiento que necesita.
Diferencias entre el rayón y el modo persistente en FSx para Lustre
Las organizaciones pueden elegir entre dos opciones de implementación cuando usan Amazon FSx para Lustre: raspado y persistente. La opción que elija depende del tiempo que necesite almacenar datos.
Los sistemas de archivos de rasguños están diseñados para utilizarse para un procesamiento de datos a más corto plazo y un almacenamiento de datos temporal. El sistema no replica los datos de rayones, lo que significa que se pueden perder si un servidor de archivos funciona mal. La ventaja de los sistemas de archivos de raspado es que proporcionan un excelente rendimiento, una gran ráfaga que puede ser igual a seis veces la línea de base estándar de 200 MBps por TiB (equivalente a un poco más de TB) de capacidad de almacenamiento.
Los mejores casos de uso para sistemas de archivos de rayones incluyen almacenamiento rentable para cargas de trabajo que son pesadas en el procesamiento y solo se necesitan durante un período corto.
Los sistemas de archivos persistentes están diseñados para usarse para cargas de trabajo que deben almacenarse durante un período más prolongado. Este tipo de almacenamiento, si está altamente disponible y almacenado, se replica automáticamente en la zona de disponibilidad de AWS donde se encuentra el sistema de archivos. La ventaja aquí es que si un servidor falla, los datos almacenados se reemplazan en solo minutos.
Los casos de uso comunes para los sistemas de archivos persistentes incluyen almacenamiento persistente para contenedores, data lakes almacenados en S3, computación de alto rendimiento que necesita almacenamiento a largo plazo, cargas de trabajo centradas en el rendimiento que necesitan ejecutarse indefinidamente y cargas de trabajo sensibles a las interrupciones en la disponibilidad.
Beneficios de Amazon FSx para Lustre
Los beneficios de usar Amazon FSx para Lustre incluyen:
- Alto rendimiento flexible: Obtiene un rendimiento rápido que también es escalable, consistente y predecible.
- Alta disponibilidad y durabilidad: Las opciones de implementación le permiten garantizar el nivel adecuado de disponibilidad y durabilidad de datos.
- Facilidad de uso: El servicio completamente administrado hace que sea fácil activar un sistema de archivos en minutos sin necesidad de preocuparse por las copias de seguridad, las actualizaciones o el consumo.
- Rentabilidad: FSx ofrece muchas opciones de almacenamiento y opciones que le permiten encontrar el equilibrio adecuado entre costo y rendimiento; además, no hay cargos de configuración ni cargos mínimos y usted es responsable de pagar solo por los recursos que utiliza.
- Seguridad y cumplimiento: El cifrado de los datos en tránsito y en reposo es automático, y también puede controlar el acceso a la red según lo desee.
- Integración simple con los servicios de AWS: Puede usar FSx con todos los demás servicios de AWS sin complicaciones.
Almacenamiento persistente de alto rendimiento para sistemas de archivos
Si bien FSx y EFS son opciones de almacenamiento persistente viables para sistemas de archivos basados en Amazon Elastic Kubernetes Service, Portworx de Pure ofrece ventajas clave sobre ambos. Portworx le permite ejecutar cualquier servicio de datos nativo en la nube, en cualquier nube, utilizando cualquier plataforma Kubernetes, con alta disponibilidad incorporada, protección de datos, seguridad de datos y movilidad en la nube híbrida. Gracias a todo lo anterior, Portwox ofrece ventajas significativas en:
- Rendimiento
- Costo
- Recuperación ante desastres
Experimente la sencillez y el rendimiento que conlleva el uso del almacenamiento de datos persistente nativo en la nube para sus cargas de trabajo de Kubernetes. Obtenga más información sobre Portworx aquí .
