ETL은 무엇이고, 어떻게 작동할까요?
기존의 하드웨어에서 새로운 인프라로 이동하는 일회성 데이터 마이그레이션이 현대 기업의 IT 인프라에서 데이터를 이동하는 유일한 방법은 아닙니다.
추출, 변환 및 로드(ETL)는 애플리케이션에서 사용할 빅데이터의 일상적인 처리를 위해 자동화된 ETL 파이프라인을 구축하는 빅데이터 분석 프로세스입니다. 작동 방식은 다음과 같습니다:
- 추출: 먼저, 하나 또는 여러 데이터베이스로 구성된 소스에서 데이터를 추출합니다.
- 변환: 데이터는 대상 데이터베이스에서 읽을 수 있는 구조화된 쿼리 언어(SQL)로 컴파일 및 변환됩니다.
- 로드: 변환이 완료된 데이터는 새로운 소스에 로드되어 대상 시스템 내의 데이터를 대체하거나 통합됩니다.
ETL은 기업이 일상적인 운영과 애플리케이션 워크로드를 지원하기 위해, 한 위치에서 다른 위치로 대용량 데이터를 신속하게 이동하는 방법의 한 예시입니다. 기업이 고객을 위해 민첩성과 고가용성을 유지하려면, 환경 전반에서 원활한 데이터 이동을 지원하는 온프레미스 및 클라우드 솔루션에 투자하는 것이 중요합니다.
데이터 마이그레이션의 보편적인 도전과제
데이터의 안전성은 처음 추출이 된 순간부터 대상 소스에 최종적으로 배포되기까지 보장되어야 합니다. 부적절한 추출 혹은 전송은 시스템 데이터의 손상을 초래할 수 있습니다. 마찬가지로, IT 인프라에서 발생하는 장애나 정전 또는 사이버 공격과 같은 재해도 데이터베이스에 영향을 줄 수 있습니다. 데이터 마이그레이션을 수행하기 전에, 재해복구 계획을 수립하는 것이 중요합니다.
두 소스 간의 호환성은 또 다른 문제를 야기합니다. 원본 소스의 SQL이 대상 소스와 다를 수 있습니다. 이는 특히 두 애플리케이션이 서로 다른 두 시스템을 통해 실행되는 애플리케이션 마이그레이션에서 일반적입니다. 마이그레이션 프로세스를 완료하기 이전에, 데이터를 호환 가능한 언어로 변환해야 합니다.
데이터 마이그레이션을 진행하는 과정에서 조직의 웹사이트에 다운타임이 발생할 수도 있습니다. 다운타임은 데이터센터에 온라인으로 액세스할 수 없는 경우를 말합니다. 데이터 마이그레이션 수행 시, 새 데이터를 대상 소스에 업로드할 때 업로드가 진행되는 동안 시스템에 액세스하지 못하는 경우가 생기는데, 액세스 손실은 보통 고객과 비즈니스의 손실을 의미합니다.
데이터 마이그레이션의 장애물 제거
데이터 마이그레이션을 수행하기 전에 준비를 제대로 하는 것이 중요합니다. 성공을 위해서는 소스 데이터베이스와 마이그레이션 기술에 익숙해져야 합니다. 데이터가 제대로 전송될지 재차 확인하는 것은 이전 소스와 새 소스 간의 원활한 전환에 도움이 됩니다. 고객과 비즈니스 파트너에게 연락해 발생할 수 있는 다운타임에 대비하도록 하는 것도 중요합니다.
데이터 마이그레이션이 진행되는 도중 다운타임을 방지하며 웹사이트를 지속해서 가동하기 위해 사용할 수 있는 여러 가지 방법이 있습니다. 예를 들어, 다운타임이 없는 배포는 마이그레이션이 완전히 배포될 때까지 기존 데이터베이스에 액세스할 수 있도록 합니다. 스키마 마이그레이션(다운타임을 피하기 위해 업그레이드가 증분 방식으로 업로드됨)이나, 하이브리드 클라우드(두 개의 서로 다른 엔티티에서 액세스를 허용하는 클라우드 스토리지)와 같은 기술도 데이터 마이그레이션이 진행되는 도중 고객에게 지속적인 접근을 제공할 수 있습니다.
데이터가 전송되고 정보가 배포된 후에는 마이그레이션이 제대로 완료되었는지 확인하는 것이 필수적입니다. 이는 원본 소스를 변경하거나 지우기 전에 데이터베이스가 가동되고 있는지 확인하는 것을 의미합니다. 전송 중에 문제가 발생했거나 정보가 손상된 경우, 진행을 멈추고 돌아가 문제를 수정해야 합니다.
손쉬운 데이터 마이그레이션 지원하는 퓨어스토리지
퓨어스토리지는 최신 컨트롤러, 외부 호스트 및 인터널 어레이 연결, SSD 및 기타 구성요소에 대한 무중단 업그레이드로 데이터 마이그레이션 프로세스를 간소화합니다. 퓨어스토리지는 다운타임을 최소화하는 하이브리드 클라우드를 제공하여 데이터 변환과 보호에 도움을 줍니다. 퓨어스토리지는 준비에서 검증까지 모든 단계에서 기업과 기업의 데이터를 지원합니다.
