퓨어 지식 (Pure Knowledge)
Amazon FSx for Lustre란?

Amazon FSx for Lustre란?

Amazon FSx for Lustre는 빠른 처리, 확장성 및 비용 효율성을 제공하는 컴퓨팅 집약적인 워크로드를 위한 완전 관리형 고성능 파일 시스템입니다.

“FSx”는 “완전히 관리되는 파일 시스템”을 의미하며, Amazon은 현재 오픈소스 Lustre 파일 시스템을 포함하여 널리 사용되는 여러 파일 시스템에 대한 FSx 서비스를 제공합니다.

Lustre 파일 시스템이란?

루스트레는 “Linux”와 “cluster”의 조합에서 이름을 따왔습니다. Lustre는 병렬로 분산되는 파일 시스템입니다. 이는 대규모 클러스터 컴퓨팅에 가장 일반적으로 사용됩니다. 실제로, Lustre는 2022년 11월 현재 세계 10대 슈퍼컴퓨터 중 5대 이상에서 가장 빠른 슈퍼컴퓨터인 Frontier의 파일 시스템입니다.

Lustre는 수만 개의 노드로 많은 클러스터를 운영할 수 있고, 수백 개의 서버에 수십 페타바이트의 스토리지를 제공하며, 평균 처리량이 초당 1테라바이트(TB/s)를 초과하기 때문에 슈퍼컴퓨터, 대규모 데이터센터, 시뮬레이터 및 기타 고성능 컴퓨팅 조직이 가장 많이 선택했습니다.

FSx for Lustre는 어떻게 사용되나요?

완전히 관리되는 서비스이기 때문에 Amazon FSx for Lustre는 조직의 Lustre 시스템 운영 및 관리를 간소화합니다. 이 서비스를 통해 직접 Lustre를 설정, 구성 및 관리할 필요가 없습니다. 단 몇 분 만에 필요한 고성능 파일 시스템을 확보할 필요가 없습니다. 또한 다양한 구축 옵션을 통해 필요에 가장 비용 효율적인 모델을 선택할 수 있습니다.

EFS , EBS , FSx의 차이점은 무엇인가요?

AWS는 FSx 외에도 Elastic File System (EFS) 및 Elastic Block Store (EBS) 등 다양한 데이터 스토리지 옵션을 제공합니다. 조직이 이러한 제품의 차이점과 기업의 고유한 요구에 가장 적합한 옵션을 이해하는 것이 다소 혼란스러울 수 있습니다.

정답은 AWS가 파일, 블록 및 오브젝트 스토리지 등 다양한 유형의 스토리지에 대한 옵션을 제공한다는 것입니다. 이러한 스토리지 유형은 각각 다른 데이터 저장 방식입니다. EFS 및 EBS를 FSx와 비교하기 전에 EFS 및 EBS를 개별적으로 자세히 살펴보겠습니다.

Elastic File System (EFS)

EFS는 파일 스토리지 시스템으로, 데이터가 계층 구조(대부분의 PC의 디렉토리, 폴더 및 파일 시스템 스토리지와 유사)에 저장됩니다. 확장성이 뛰어나고 완벽하게 관리되는 EFS는 Mac 또는 Linux 운영 체제를 사용하는 EC2 인스턴스와 온프레미스 데이터센터의 컴퓨팅 리소스에 연결할 수 있습니다. 스토리지는 페타바이트 용량으로 확장할 수 있으며 수천 개의 인스턴스에 낮은 지연 시간을 제공합니다. 낮은 레이턴시와 확장성 덕분에 많은 조직들이 EFS를 사용하여 온프레미스 애플리케이션과 워크로드를 클라우드로 직접 이동시킵니다.

EFS의 장점에는 경제적이고 확장 가능하며 쉽게 액세스할 수 있는 중앙 집중식 파일 스토리지가 포함됩니다. 공유 스토리지는 클라우드와 호환되며, 재코딩에 깊이 들어가지 않고도 쉽게 통합할 수 있습니다.

EFS의 단점은 Windows에서 작동하지 않으며, 파일 스토리지는 초당 입출력 작업(IOPS)과 관련하여 블록 스토리지의 고성능을 제공할 수 없다는 점입니다. 또한 데이터 볼륨이 충분히 커지면 파일 스토리지를 관리하기가 어려울 수 있으며, 사용자는 특정 파일의 경로를 알아야 이를 찾을 수 있습니다.

Elastic Block Store (EBS)

AWS AWS 의 블록 스토리지 옵션입니다. 블록 스토리지는 빠르고 안정적인 것으로 알려져 있습니다. 주로 메타데이터가 포함되어 있지 않으며, 블록은 운영 체제에 관계없이 가장 효율적인 위치에 저장되거나 심지어 여러 서버에 분산될 수 있기 때문입니다. EBS 스토리지는 Amazon Elastic Compute Cloud(EC2)의 인스턴스, 특히 대부분 트랜잭션이고 쉽게 확장해야 하는 인스턴스에 연결됩니다. 예를 들어, 일부 조직은 EBS를 사용하여 비정형 NoSQL 데이터베이스 또는 자체 관리형 관계형 데이터베이스를 저장합니다.

EBS의 장점에는 속도, 유연성 및 안정성이 포함됩니다. 따라서 낮은 지연 시간이 필요한 트랜잭션이 많은 사용 사례에 이상적입니다. 또한, 개별 블록(객체 스토리지에서와 같이 전체 오브젝트가 아님)을 덮어써 블록 스토리지를 업데이트할 수 있기 때문에 업데이트와 변경이 빠르고 효율적입니다.

EBS의 단점은 메타데이터의 부족으로 저장은 빠르지만 검색은 느려집니다. 또한 EBS 스토리지는 한 번에 하나의 서버에만 연결할 수 있습니다(일부 상황에서는 EBS 멀티 첨부 기능이 있음).

EFS 및 EFS EBS

Amazon FSx for Lustre는 초고성능을 제공합니다. EFS와 유사한 파일 스토리지 시스템이지만, FSx가 Windows에서 작동할 수 있다는 점에서 큰 차이점이 있습니다. FSx 성능은 AI 및 머신러닝, 대규모 데이터 분석 프로젝트, 비디오 처리 및 디지털 효과, 재무 분석 등과 같은 대용량 워크로드에서 EFS 및 EBS 성능을 능가합니다.

FSx는 EFS 및 EBS보다 낮은 TCO를 제공하며 조직에게 단기 및 장기 스토리지를 위한 유연한 데이터 처리 옵션을 제공합니다. 또한 FSx는 시스템을 호스팅하는 파일 서버가 파일 데이터를 얼마나 빠르게 제공하고 EFS 및 EBS보다 높은 수준의 처리량을 제공하는지 확인할 수 있습니다. 이는 더 높은 수준의 IOPS와 캐싱을 위한 더 많은 메모리를 제공합니다.

Amazon FSx for Lustre의 작동 방식

Lustre용 Amazon FSx를 사용하면, 기업들은 Lustre 파일 시스템에 쉽게 액세스할 수 있습니다. 이러한 시스템은 여러 서버와 스토리지 디스크에서 필요에 따라 확장할 수 있습니다. 이러한 확장성 때문에 FSx는 사용자가 다른 파일 시스템에서 발견하는 기존의 병목 현상을 대부분 제거할 수 있습니다.

Amazon FSx for Lustre 파일 시스템은 중앙 집중식 파일 서버와 데이터를 저장하는 여러 개의 연결된 스토리지 디스크로 구성됩니다. 클라이언트는 파일 서버와 통신하여 빠른 인메모리 캐시를 사용하여 가장 정기적으로 액세스하는 데이터의 성능을 최적화할 수 있습니다. 이렇게 빠르게 만드는 것 중 하나는 클라이언트가 인메모리 캐시 또는 SSD에 저장된 정보에 액세스하고자 할 때 서버가 디스크에서 읽을 필요가 없다는 것입니다. 따라서 지연 시간이 더 낮고 처리량이 더 높습니다.

또한 FSx는 솔리드 스테이트 드라이브(SSD) 또는 하드 디스크 드라이브(HDD)를 사용하는 옵션에 따라 두 가지 스토리지 옵션을 제공합니다. 조직의 필요에 따라 가장 적합한 옵션은 무엇입니까?

SSD 스토리지는 지연 시간에 민감한 워크로드나 최고 처리량 또는 IOPS가 필요한 워크로드에 이상적입니다.
HDD 스토리지는 높은 처리량을 필요로 하지만 초저지연에 크게 의존하지 않는 워크로드에 이상적입니다.

Lustre용 Amazon FSx를 설정하려면:

AWS 관리 콘솔을 사용하여 파일 시스템을 생성합니다. command line interface(CLI) 또는 소프트웨어 개발 키트(SDK)를 사용할 수도 있습니다. 스크래치 또는 영구 중 원하는 배포 옵션을 지정할 수도 있습니다(아래 참조).
Amazon S3 스토리지를 사용하는 경우 새로 생성된 파일 시스템을 S3 버킷에 연결하여 S3에 저장된 모든 데이터 세트를 처리하고 액세스할 수 있습니다.
EC2, EKS 또는 온-프레미스 클라이언트를 포함한 Linux 클라이언트를 사용하여 파일 시스템에 액세스하세요.
이제 머신러닝부터 고성능 컴퓨팅, 미디어 렌더링 등 필요한 고성능을 제공하는 공유 파일 스토리지를 통해 애플리케이션을 실행할 수 있습니다.

Lustre의 FSx에서 스크래치 모드와 영구 모드의 차이점

조직은 Amazon FSx for Lustre를 사용할 때 스크래치와 영구성이라는 두 가지 구축 옵션을 선택할 수 있습니다. 어떤 것을 선택해야 하는지는 데이터를 얼마나 오래 저장해야 하는지에 따라 달라집니다.

스크래치 파일 시스템은 단기 데이터 처리 및 임시 데이터 스토리지에 사용됩니다. 시스템은 스크래치 데이터를 복제하지 않습니다. 즉, 파일 서버가 오작동하면 데이터가 손실될 수 있습니다. 스크래치 파일 시스템의 장점은 탁월한 처리량을 제공한다는 것입니다. 이는 TiB당 200MBps(TB보다 약간 높은 용량에 해당)의 표준 기준의 최대 6배에 달하는 큰 버스트입니다.

스크래치 파일 시스템의 가장 좋은 사용 사례에는 처리 작업이 많고 단기간만 필요한 워크로드를 위한 비용 효율적인 스토리지가 포함됩니다.

영구 파일 시스템은 장기간 저장해야 하는 워크로드에 사용됩니다. 이러한 스토리지 유형은 가용성이 높고 저장되면 파일 시스템이 위치한 AWS 가용성 영역에서 자동으로 복제됩니다. 여기서 장점은 서버에 장애가 발생하면 저장된 데이터가 단 몇 분 만에 교체된다는 것입니다.

영구 파일 시스템의 일반적인 사용 사례에는 컨테이너용 영구 스토리지, S3에 저장된 데이터 레이크, 장기 스토리지가 필요한 고성능 컴퓨팅, 무기한 실행이 필요한 처리량 중심 워크로드, 가용성 중단에 민감한 워크로드가 포함됩니다.

Amazon FSx for Lustre의 장점

Amazon FSx for Lustre의 장점은 다음과 같습니다.

유연한 고성능: 확장성, 일관성 및 예측이 가능한 빠른 성능을 제공합니다.
고가용성 및 내구성: 구축 옵션을 통해 적절한 수준의 가용성과 데이터 내구성을 보장할 수 있습니다.
사용 편의성: 완벽하게 관리되는 서비스를 통해 백업, 업데이트 또는 소비에 대한 걱정 없이 몇 분 안에 파일 시스템을 간단하게 구동할 수 있습니다.
비용 효율성: FSx는 비용과 성능 간에 적절한 균형을 찾을 수 있는 다양한 스토리지 옵션과 옵션을 제공합니다. 또한, 설치 비용이나 최소 수수료가 없으며, 사용하는 리소스에 대해서만 비용을 지불할 책임이 있습니다.
보안 및 규정 준수: 전송 중 및 저장 중인 데이터에 대한 암호화는 자동으로 이루어지며, 원하는 대로 네트워크 액세스를 제어할 수도 있습니다.
AWS 서비스와의 간단한 통합: FSx는 다른 모든 AWS 서비스와 함께 간편하게 사용할 수 있습니다.

파일 시스템을 위한 고성능 영구 스토리지

FSx와 EFS는 Amazon Elastic Kubernetes Service 기반의 파일 시스템을 위한 실행 가능한 영구 스토리지 옵션이지만, 퓨어스토리지의 Portworx스는 이 두 가지에 비해 주요 이점을 제공합니다. Portworx 고가용성, 데이터 보호, 데이터 보안 및 하이브리드 클라우드 모빌리티가 내장된 Kubernetes 플랫폼을 사용하여 모든 클라우드에서 모든 클라우드 네이티브 데이터 서비스를 실행할 수 있도록 지원합니다. 위의 모든 기능 덕분에 포트웍스는 다음과 같은 이점을 제공합니다.