Quais fatores viabilizam a HPC?
Há quatro fatores principais que favorecem o uso da HPC:
Capacidade de processamento
Em poucas palavras, a largura de banda necessária para processar grandes volumes de dados não pode ser disponibilizada por um único processador. Em vez disso, em um modelo de HPC, vários centros de processamento funcionam em paralelo para entregar resultados. Vamos usar o seguinte modelo para retomar:
- O conjunto de computadores individuais ligados em rede é chamado de cluster;
- Cada unidade de processamento individual em um cluster é chamada de nó;
- Cada processador em um nó tem vários núcleos.
O exemplo é um cluster com 16 nós, cada um com quatro núcleos: trata-se um cluster muito pequeno, representando um total de 64 núcleos operando em paralelo.
A maioria dos casos de uso de HPC envolve milhares de núcleos funcionando em paralelo para realizar processos específicos em menos tempo. Os provedores de infraestrutura como serviço (IaaS, Infrastructure-as-a-Service) permitem que os usuários usem grandes quantidades de nós quando necessário e reduzam a intensidade da carga de trabalho depois da conclusão da tarefa. Os usuários pagam apenas pela capacidade de processamento necessária, sem os custos de despesas de capital (CAPEX, Capital Expenditure) associados à instalação de uma infraestrutura. Com a IaaS, normalmente os usuários também podem atribuir layouts de nós a aplicativos específicos, se necessário.
Sistema operacional
Sistemas operacionais agem como uma interface entre o hardware e o software usados na HPC. Os dois sistemas operacionais principais usados em ambientes de HPC são o Linux e o Windows. O Linux é normalmente usado para HPC. Já o Windows é usado apenas quando aplicativos específicos do Windows são necessários.
Rede
Na HPC, a rede conecta o hardware de computação, o armazenamento necessário e o usuário. O hardware de computação é conectado por meio de redes que conseguem lidar com uma grande largura de banda de dados. As redes também devem ter baixa latência para possibilitar transferências de dados rápidas. As transmissões de dados e o gerenciamento de clusters são administrados por gerenciadores de clusters, serviços de gerenciamento ou agendadores.
O gerenciador de cluster executa a carga de trabalho entre os recursos computacionais distribuídos, como CPUs, FPGAs, GPUs e unidades de disco. Todos os recursos precisam estar conectados à mesma rede para que o gerenciador de clusters possa administrar recursos. Ao usar os serviços de um provedor de IaaS, todos os recursos necessários para gerenciar a infraestrutura serão aplicados automaticamente pelo provedor.
Armazenamento
Por fim, os dados a serem processados pela HPC precisam ser armazenados em um grande repositório. Como os dados podem vir em diferentes formatos (estruturados, semiestruturados e não estruturados), podem ser necessários diferentes tipos de bancos de dados para armazená-los.
Os dados em seus formatos brutos são armazenados em um data lake. Pode ser difícil processar esses dados, pois eles ainda não têm um propósito associado. Os data warehouses armazenam os dados depois do processamento, assim que são limpos para atenderem ao seu propósito específico.
Armazenamento: o elo perdido da HPC
Em muitos casos de uso de HPC, o armazenamento — uma peça essencial da arquitetura — costuma ser negligenciado. A HPC é usada quando uma grande quantidade de dados precisa ser processada em paralelo, mas seu desempenho depende da capacidade de todos os componentes na arquitetura estarem à altura da tarefa.
Soluções de armazenamento legadas e tradicionais podem não conseguir lidar com as necessidades da HPC, criando gargalos e dificultando o desempenho. O armazenamento de dados precisa acompanhar a velocidade de processamento de todo o conjunto, e é por isso que muitas arquiteturas de HPC usam armazenamento unificado rápido de arquivos e objetos (UFFO, Unified Fast File and Object).
O Evergreen//One™ oferece armazenamento UFFO rápido e confiável com a conveniência do modelo de pagamento conforme o uso. Ele pode ser usado em modelos no local e na nuvem híbrida e é ideal para ambientes de HPC, que exigem a capacidade de dimensionar operações sem abrir mão do desempenho.
Comece a usar o Evergreen//One hoje mesmo. Os três primeiros meses do serviço são gratuitos para novos clientes.
