Amazon FSx para Lustre es un sistema de archivos totalmente administrado y de alto rendimiento para cargas de trabajo intensivas en computación que proporciona un procesamiento rápido, escalabilidad y rentabilidad.
“FSx” se refiere al “sistema de archivos totalmente administrado” y Amazon actualmente ofrece servicios FSx para varios sistemas de archivos ampliamente utilizados, incluido el sistema de archivos Lustre de código abierto.
¿Qué es el sistema de archivos Lustre?
Con un nombre acuñado de la combinación de “Linux” y “cluster”, Lustre es un sistema de archivos paralelo y distribuido. Se utiliza más comúnmente para la computación en clúster a una escala muy grande. De hecho, Lustre ha sido el sistema de archivos preferido por al menos cinco de los 10 superordenadores más rápidos del mundo, incluida la Frontera de superordenador número uno, en noviembre de 2022.
Lustre ha sido una opción popular de superordenadores, centros de datos masivos, simuladores y otras organizaciones informáticas de alto rendimiento debido a su escalabilidad extrema y a su capacidad para operar muchos clústeres con decenas de miles de nodos, docenas de petabytes de almacenamiento en cientos de servidores y un rendimiento medio de más de un terabyte por segundo (TB/s).
¿Cómo se utiliza FSx para Lustre?
Como se trata de un servicio totalmente administrado, Amazon FSx para Lustre simplifica el funcionamiento y la gestión del sistema Lustre de su organización. El servicio le ayuda a evitar la necesidad de configurar y gestionar Lustre usted mismo —no es ningún problema conseguir el sistema de archivos de alto rendimiento que necesita en tan solo unos minutos—. Y con múltiples opciones de implementación, puede elegir el modelo que sea más rentable para sus necesidades.
¿Cuáles son las diferencias entre EFS , EBS y FSx?
Además de FSx, AWS ofrece una serie de opciones de almacenamiento de datos, incluidos Elastic File System (EFS) y Elastic Block Store (EBS). A veces puede ser un poco confuso para las organizaciones entender las diferencias entre estas ofertas y qué opciones pueden satisfacer mejor las necesidades únicas de una empresa.
La respuesta corta es que AWS proporciona opciones para diferentes tipos de almacenamiento, que son el almacenamiento de archivos, bloques y objetos. Cada uno de estos tipos de almacenamiento es simplemente una manera diferente de almacenar los datos. Antes de comparar EFS y EBS con FSx, echemos un vistazo más de cerca individualmente a EFS y EBS.
Elastic File System (EFS)
EFS es un sistema de almacenamiento de archivos, lo que significa que los datos se guardan en jerarquías (al igual que el almacenamiento de directorios, carpetas y sistemas de archivos de la mayoría de los PC). Muy escalable y totalmente gestionada, EFS puede conectarse a instancias EC2 con sistemas operativos Mac o Linux, así como a recursos de computación en centros de datos locales. El almacenamiento puede ampliarse a petabytes de capacidad y ofrecer una baja latencia en miles de instancias. Gracias a su baja latencia y escalabilidad, muchas organizaciones utilizan EFS para mover las aplicaciones y cargas de trabajo locales directamente a la nube.
Los profesionales de EFS incluyen un almacenamiento de archivos centralizado, asequible, escalable y de fácil acceso. Su almacenamiento compartido es compatible con la nube y fácil de integrar sin tener que profundizar en la recodificación.
Las desventajas de EFS incluyen el hecho de que no funciona con Windows y el almacenamiento de archivos simplemente no puede ofrecer el alto rendimiento del almacenamiento de bloques en relación con las operaciones de entrada/salida por segundo (IOPS). El almacenamiento de archivos también puede ser difícil de gestionar una vez que los volúmenes de datos son lo suficientemente grandes y los usuarios tienen que conocer la ruta a un archivo específico para poder encontrarlo.
Elastic Block Store (EBS)
Esta es la opción de almacenamiento de bloques de AWS. El almacenamiento de bloques es conocido por ser rápido y estable, sobre todo porque no incluye metadatos y porque los bloques pueden almacenarse en las ubicaciones más eficientes, independientemente del sistema operativo, o incluso distribuirse entre múltiples servidores. El almacenamiento EBS está conectado a instancias de Amazon Elastic Compute Cloud (EC2), especialmente aquellas que son principalmente transacciones y necesitan escalarse fácilmente. Por ejemplo, algunas organizaciones utilizan EBS para almacenar bases de datos NoSQL no estructuradas o bases de datos relacionales autogestionadas.
Los profesionales de EBS incluyen su velocidad, flexibilidad y fiabilidad. Esto hace que sea ideal para casos de uso con un alto volumen de transacciones que requieren una baja latencia. Y como puede actualizar el almacenamiento de bloques sobrescribiendo bloques individuales (y no un objeto completo, como en el almacenamiento de objetos), las actualizaciones y los cambios son rápidos y eficientes.
Las desventajas de EBS incluyen la falta de metadatos, lo que hace que sea rápido de almacenar, pero más lento de buscar. Y el almacenamiento EBS se puede conectar a un solo servidor a la vez (aunque en algunas situaciones hay una capacidad de conexión múltiple EBS).
FSx para Lustre frente a EFS y EBS
Amazon FSx para Lustre ofrece un rendimiento ultraalto. Es un sistema de almacenamiento de archivos, similar al EFS , pero una gran diferencia es que FSx puede funcionar en Windows. El rendimiento de FSx supera el rendimiento de EFS y EBS cuando se trata de cargas de trabajo pesadas, como la IA y el aprendizaje automático, proyectos de análisis de datos masivos, procesamiento de vídeo y efectos digitales, análisis financieros y más.
FSx ofrece un TCO más bajo que EFS y EBS y proporciona a las organizaciones opciones de procesamiento de datos flexibles para el almacenamiento a corto y a largo plazo. FSx también puede determinar la rapidez con la que el servidor de archivos que aloja el sistema puede proporcionar datos de archivos y ofrecer unos niveles de rendimiento más altos que EFS y EBS — unos niveles más altos de IOPS y más memoria para el almacenamiento en caché.
Cómo funciona Amazon FSx para Lustre
Con Amazon FSx para Lustre, las organizaciones pueden acceder fácilmente a sus sistemas de archivos Lustre. Estos sistemas pueden escalarse según sea necesario en múltiples servidores y discos de almacenamiento. Gracias a esa escalabilidad, FSx puede eliminar muchos de los cuellos de botella tradicionales que los usuarios encuentran en otros sistemas de archivos.
Un sistema de archivos Amazon FSx para Lustre está compuesto por un servidor de archivos centralizado y varios discos de almacenamiento conectados que contienen los datos. Los clientes se comunican con el servidor de archivos, que puede optimizar el rendimiento de los datos a los que se accede con más regularidad usando una caché rápida en memoria. Parte de lo que hace que sea tan rápido es que cuando un cliente quiere acceder a la información almacenada en la caché en memoria o en la SSD, el servidor no tiene que leerla desde el disco. Por lo tanto, la latencia es menor y el rendimiento es mayor.
FSx también ofrece dos opciones de almacenamiento basadas en la opción de usar una unidad de estado sólido (SSD) o una unidad de disco duro (HDD). La mejor opción depende de las necesidades de una organización:
- El almacenamiento SSD es ideal para las cargas de trabajo sensibles a la latencia o aquellas cargas de trabajo que requieren el mayor rendimiento o IOPS.
- El almacenamiento HDD es ideal para las cargas de trabajo que requieren un alto rendimiento, pero que no dependen en gran medida de una latencia ultrabaja.
Para configurar Amazon FSx para Lustre:
- Con la Consola de administración de AWS, cree su sistema de archivos. También puede usar una interfaz de línea de comandos (CLI) o un kit de desarrollo de software (SDK). Aquí es donde también puede designar qué opción de implementación prefiere: rayar o persistente (ver más abajo).
Si utiliza el almacenamiento de Amazon S3, vinculará su sistema de archivos recién creado a su cubo S3 para que pueda procesar y acceder a cualquier conjunto de datos almacenado en S3.
Utilice cualquier cliente Linux —incluidos EC2, EKS o clientes locales— para acceder a su sistema de archivos.
Ahora puede ejecutar sus aplicaciones, desde el aprendizaje automático hasta la computación de alto rendimiento, la representación de medios y mucho más, con un almacenamiento de archivos compartido que le ofrece el alto rendimiento que necesita.
Diferencias entre el modo de rayado y persistente en FSx para Lustre
Las organizaciones pueden elegir entre dos opciones de implementación cuando usan Amazon FSx para Lustre: rayar y persistente. La opción que debe elegir depende del tiempo que necesite almacenar los datos.
Los sistemas de archivos arañazos están pensados para usarse para un procesamiento de datos a más corto plazo y un almacenamiento de datos temporal. El sistema no replica los datos de los arañazos, lo que significa que pueden perderse si un servidor de archivos no funciona correctamente. La ventaja de los sistemas de archivos de rasguño es que proporcionan un rendimiento excelente —una gran ráfaga que puede ser hasta seis veces la línea de base estándar de 200 MBps por TiB (equivalente a algo más de TB) de capacidad de almacenamiento.
Los mejores casos de uso de los sistemas de archivos de rasguño incluyen el almacenamiento rentable para las cargas de trabajo que son pesadas en el procesamiento y que solo se necesitan durante un breve periodo de tiempo.
Los sistemas de archivos persistentes están pensados para usarse en cargas de trabajo que tienen que almacenarse durante un periodo de tiempo más largo. Este tipo de almacenamiento, si está muy disponible y almacenado, se replica automáticamente en la zona de disponibilidad de AWS donde se encuentra el sistema de archivos. La ventaja aquí es que si un servidor falla, los datos almacenados se sustituyen en solo minutos.
Los casos de uso habituales de los sistemas de archivos persistentes incluyen el almacenamiento persistente de contenedores, los lagos de datos almacenados en S3, la computación de alto rendimiento que necesita almacenamiento a largo plazo, las cargas de trabajo centradas en el rendimiento que tienen que ejecutarse de manera indefinida y las cargas de trabajo sensibles a las disrupciones en la disponibilidad.
Ventajas de Amazon FSx para Lustre
Las ventajas de usar Amazon FSx para Lustre incluyen:
- Alto rendimiento flexible: Obtendrá un rendimiento rápido que también es escalable, constante y previsible.
- Alta disponibilidad y durabilidad: Las opciones de implementación le permiten garantizar el nivel adecuado de disponibilidad y durabilidad de los datos.
- Facilidad de uso: El servicio totalmente administrado hace que sea fácil activar un sistema de archivos en minutos, sin necesidad de preocuparse por las copias de seguridad, las actualizaciones o el consumo.
- Rentabilidad: FSx ofrece numerosas opciones y opciones de almacenamiento que le permiten encontrar el equilibrio adecuado entre coste y rendimiento; además, no hay cargos de configuración ni mínimos y es responsable de pagar solo por los recursos que utiliza.
- Seguridad y cumplimiento normativo: El cifrado de los datos en tránsito y en reposo es automático y también puede controlar el acceso a la red según lo desee.
- Integración sencilla con los servicios de AWS: Puede usar FSx con todos sus otros servicios de AWS sin complicaciones.
Almacenamiento persistente de alto rendimiento para sistemas de archivos
Si bien FSx y EFS son opciones de almacenamiento persistente viables para los sistemas de archivos basados en Amazon Elastic Kubernetes Service, Portworx de Pure ofrece ventajas clave sobre ambos. Portworx le permite ejecutar cualquier servicio de datos nativo de la nube, en cualquier nube, usando cualquier plataforma de Kubernetes, con una alta disponibilidad, protección de datos, seguridad de datos y movilidad de nube híbrida integradas. Gracias a todo lo anterior, Portwox ofrece importantes ventajas en:
- Rendimiento
- Coste
- La recuperación de desastres
Experimente la simplicidad y el rendimiento que conlleva el uso del almacenamiento de datos persistente nativo de la nube para sus cargas de trabajo de Kubernetes. Obtenga más información sobre Portworx aquí .
