Há problemas relacionados ao manuseio, movimentação, armazenamento ou processamento de grandes volumes de qualquer coisa e, em domínios totalmente não relacionados, esses problemas podem parecer muito semelhantes. Considere o serviço postal: É preciso uma rede complexa de aviões, navios, semi-caminhões, máquinas, veículos de entrega e pessoas para obter cartas e pacotes onde eles pertencem. E em cada etapa do caminho, há grandes riscos relacionados à eficiência, custo, atraso e erro.
Por exemplo, imagine usar um semicaminhão para entregar correspondência porta a porta e quanto espaço seria desperdiçado no caminhão. Ou imagine uma frota de pequenos veículos elétricos de entrega de correspondências que levam correspondência do Alasca para a Flórida em vez de usar um avião.
Esses são exemplos simplistas, mas ajudam a explicar por que o gerenciamento de armazenamento hierárquico (HSM, hierarchical storage management). As organizações com grandes dimensões de dados enfrentam problemas constantes de eficiência, e muito esforço é necessário para planejar como armazenar, mover e processar todas essas informações. O gerenciamento de armazenamento hierárquico (HSM, Hierarchical Storage Management) é o método histórico para garantir que as organizações não usem semicaminhões como veículos de entrega para seus dados digitais.
Neste artigo, exploraremos a HSM, os problemas que ela visa resolver e algumas das alternativas modernas a ela.
O que é gerenciamento de armazenamento hierárquico?
O gerenciamento de armazenamento hierárquico, ou HSM, é um processo para gerenciar dados digitais que visa usar a mídia de armazenamento da maneira mais econômica possível enquanto minimiza as ineficiências no uso dos dados.
Dois fatos principais são a base da HSM: Primeiro, diferentes métodos de armazenamento de mídia digital têm características diferentes. Segundo, nem todos os dados são tratados igualmente. Para começar, a diferença mais óbvia entre diferentes mídias de armazenamento digital é o custo. A mídia de armazenamento mais rápida, mais disponível e mais versátil costuma ser a mais cara. E, para o segundo ponto, alguns dados são usados diariamente, enquanto outros são usados com muito menos frequência.
Os resultados financeiros de muitas empresas dependem do acesso rápido aos seus dados mais essenciais. Mas seria extremamente ineficiente pagar tanto para armazenar e acessar os dados que eles usam uma fração do tempo no mesmo nível de velocidade e disponibilidade.
Diferentes organizações implementam a HSM de maneira diferente. Não há um único manual de regras para fazer a HSM. Mas sempre que uma organização divide seu armazenamento de dados em pelo menos duas camadas, o HSM é o processo de definir as regras para o que é armazenado onde e como ele é movido.
Benefícios do gerenciamento de armazenamento hierárquico
As organizações podem ver vários benefícios com a implementação do gerenciamento de armazenamento hierárquico. A economia de custos é o benefício mais óbvio da HSM: Ao migrar dados menos urgentes para mídias de armazenamento mais baratas, as empresas podem sacrificar a disponibilidade por custos. O desempenho também é geralmente melhorado pelos princípios de HSM. Quando os aplicativos que precisam acessar dados não precisam perder tempo examinando dados antigos, desatualizados ou irrelevantes, eles podem fornecer melhores resultados com mais rapidez.
Embora a HSM possa parecer complicada, boas regras de onde diferentes categorias de dados pertencem e a aplicação automática delas levam a um gerenciamento simplificado de dados. A HSM também otimiza a utilização do armazenamento porque migra automaticamente os dados para a camada de armazenamento apropriada com base nas regras estabelecidas pelos profissionais de TI.
Como funciona o gerenciamento de armazenamento hierárquico?
A HSM pode consistir em muitas camadas de meio de armazenamento, mas o núcleo é que, em uma extremidade, há uma camada de alto desempenho e, na outra, uma camada mais lenta e mais barata. Historicamente, a camada de alto desempenho é composta de memória de classe de armazenamento, unidades flash de unidades de estado sólidoState Drives) de nível corporativo e HDDs de alto desempenho. Na extremidade inferior estão dispositivos como discos ópticos e até mesmo armazenamento em fita.
A implementação real de políticas de HSM é bastante complicada, mas a HSM funciona essencialmente identificando a frequência com que um arquivo é acessado e, com o passar do tempo, o sistema move automaticamente arquivos usados com pouca frequência para um armazenamento mais lento e mais barato. As equipes de TI escrevem regras para os parâmetros que definem quando os dados são movidos, quais dados estão isentos dessas regras e outros esclarecimentos. Mas o HSM geralmente é um processo automatizado que otimiza os custos de acesso e armazenamento de dados.
Quais são as camadas de HSM?
A chave para entender o HSM e o uso de mídia de armazenamento como unidades de fita é que houve um momento em que as diferenças entre custo, desempenho e velocidade eram extremas. Embora essas lacunas tenham diminuído e estejam continuamente diminuindo, houve um momento em que a diferença de custo entre discos ópticos e unidades de estado sólido foi substancial o suficiente para justificar métodos complicados de classificação de dados para que você nunca desperdiçasse dinheiro.
A camada de mais alto desempenho e menor volume de HSM é normalmente chamada de camada 0. São dados essenciais que não podem arcar com atrasos ou interrupções no serviço. A Camada 1 é frequentemente chamada de “dados quentes”, dados que são usados continuamente para operações comerciais diárias e cuja urgência pode ser equilibrada com os custos de armazenamento. A camada 2 é composta por “dados quentes”, onde as considerações de custo recebem prioridade substancial e onde os dados que não são acessados frequentemente são colocados. Por último, a Camada 3 geralmente se refere a “dados frios” ou dados que raramente são acessados ou atualizados, se for o caso.
Alternativas totalmente flash para camadas de HSM
Em um mundo perfeito, uma empresa poderia ter armazenamento rápido e altamente disponível em todas as camadas, com demarcações sutis entre elas. Há décadas, o sonho é o armazenamento de dados flash no nível corporativo. Mas até recentemente, simplesmente não era viável. No entanto, nas últimas décadas, o custo do armazenamento totalmente flash no nível corporativo não é apenas possível, mas está sendo feito regularmente por empresas grandes como a Meta.
A Pure Storage é uma excelente defensora do armazenamento corporativo totalmente flash e, já em 2012, desenvolveu soluções de armazenamento flash que poderiam atender às necessidades de camada 0 de uma rede corporativa. Quando o FlashArray//C ( ) foi lançado, a Pure Storage poderia garantir latência uniforme de um milissegundo para cargas de trabalho e dados essenciais para os negócios das redes corporativas, com disponibilidade de 99,9999% e upgrades não disruptivos.
Isso foi inovador por si só e, em seguida, o FlashArray//X o FlashArray//XL. . Mesmo com esses avanços, a sabedoria popular ainda acreditava que as Camadas 2 e 3 nunca fariam o caminho para a memória flash devido ao custo.
Mas, em 2023, a Pure Storage lançou o FlashArray//E o FlashBlade//E desafiando o disco e as fitas mecânicos de ponta. Desenvolvido para retenção de longo prazo, o FlashArray//E oferece 1PB-4PB de capacidade de armazenamento de dados em bloco e arquivos unificados e brutos. O FlashBlade//E pode economizar muito dinheiro para empresas ao armazenar cargas de trabalho não estruturadas e de objetos.
A Pure Storage está dando o exemplo de alternativas totalmente flash para camadas de HSM em organizações de qualquer tamanho. Embora não estejamos eliminando o HSM por si só, estamos remodelando radicalmente as linhas que separam as camadas do HSM.
Conclusão
O gerenciamento de armazenamento hierárquico surgiu como uma resposta necessária às grandes diferenças de custo que existiam entre as formas mais rápidas, caras e lentas e acessíveis de armazenamento de dados. As limitações tecnológicas levaram a um campo de carreira dedicado a categorizar, mover e otimizar automaticamente as soluções de armazenamento de dados.
O HSM ainda é um processo importante de economia de custos, mas soluções de escala corporativa totalmente flash, como as oferecidas pela Pure Storage, estão rapidamente eliminando as delineações rígidas entre elas, enquanto fornecem grandes volumes de dados rápidos por frações do custo que costumavam exigir.
