Décadas antes de haver hiperescaladores e construtores de nuvens começaram a criar suas próprias variantes de computação, armazenamento e networking para seus sistemas distribuídos maciços, os principais centros de HPC do mundo promoveram tecnologias inovadoras que, de outra forma, poderiam ter morrido na videira e nunca foram propagadas nomercado em geral.
Lawrence Livermore National Laboratory, one of the HPC centers run by the US Department of Energy, is among the most important of such centers in the United States and in the world, and if you put a nuclear weapon to our head, we would concede that it is probably the most important. So when Lawrence Livermore invests in a technology or adopts one that has already been commercialized (or its adoption is an indication that it can be commercialized for those in-between cases), then it is important to listen.
E assim é com o investimento de US $ 18 milhões que Lawrence Livermore está transformando nas redes da Cornelis, a empresa de rede Omni-Path que foi feita da Intel em setembro de 2020.Graças às muitas aquisições que a Intel fez na década passada, a Cornelis está herdando os direitos de muita tecnologia inovadora de redes e trabalhará com Lawrence Livermore para não apenas criar o Switch Infiniband mais rápido, mas para reunir elementos dessas aquisiçõesPara mesclar uma melhor implementação do Infiniband das melhores idéias disponíveis.
O recente projeto de rede de Aquila no Google e seu protocolo GNET, que escrevemos há algumas semanas, valida muitas das abordagens que Cornelis está adotando com o omni-Path e, pensamos, é fortemente influenciado pela idéia de mesclar um infiniband-como software definido em redes com os formatos de dados de sub-pacote de grão fino adotados por Cray na interconexão "Aries" usada em seus supercomputadores XC há uma década e que foi substituída por um sistema de comutação Ethernet totalmente novo "Rosetta" que também picado dadosem pedaços menores que um pacote para fazer melhor roteamento adaptativo e controle de congestionamento do que seria possível.
O portfólio da Cornelis Networks tem muita propriedade intelectual, e Phil Murphy, um dos co-fundadores da empresa, pretende trazer tudo para suportar em futuras interconexões Omni-Path Express em 400 GB/s e 800 GB/Sec.
Enquanto conversamos quando a Cornelis Networks comprou a tecnologia Omni-Path da Intel, Murphy tem raízes profundas em sistemas e redes, mas o que pode não ter sido óbvio é que a empresa tem direitos a toda a propriedade intelectual relacionada às tecnologias Silverstorm (Fundado por Murphy em 1999 na mesma época em que a Mellanox Technologies foi fundada) interruptores InfiniBand que são um dos fundamentos do negócio de Infiniband do QLogic Truscale.(O outro é PathScale, também adquirido pela QLogic Way em 2006, que fez dos adaptadores de host Infiniband.) E a maneira como o acordo entre a Intel e a Cornelis Networks é estruturado, o último também tem direitos para o Cray “Gemini” e “Aries” Supercomputer Interconects, bem como a interconexão Omni-Path de primeira e segunda geração criada pela Intel como híbridode Truscale e Áries.
A série Omni-Path 100 (em execução a 100 GB/s) teve um toque da tecnologia de Aries, mas o Omni-Path 200 deveria ter um pouco mais e também teve algumas diferenças que introduziram incompatibilidades que, francamente, a Cornelis Networks vai sairpor trás, pois cria uma implementação mais aberta de Infiniband baseado na biblioteca libfabric das interfaces OpenFabrics Grupo de trabalho.Divulgamos profundamente como a Cornelis Networks está mudando a arquitetura omni-path em julho de 2021 e significa soltar a construção de pacotes de verbos infiniband, bem como as mensagens alternativas de escala de desempenho, ou PSM, abordagem criada por Pathscale e adotada em truscale como umaalternativa a (mas não uma substituição de) verbos infinibandos.
Como explicamos em julho passado, esta OFI Stack foi capaz de entregar 10 milhões de mensagens por segundo por CPU Core conversando sobre a rede Express Omni-Path, em comparação com 3 milhões a 4 milhões por núcleo para a implementação do Mellanox de Infiniband (esse é um fator de fator de2.5x a 3.Melhoria 3x) e uma viagem de ida e volta central sobre a rede está chegando a 800 nanossegundos, cerca de 20 % mais rápidos do que usar o driver PSM na engrenagem Omni-Path 100 da Intel.
De qualquer forma, essa pilha OFI está sendo executada na interconexão de 100 GB/sni-path existente e está disponível como uma atualização para os 500 clientes omni-path que a Intel foi capaz de obter nos mercados HPC e AI.
One of the largest such Omni-Path customers is, of course, Lawrence Livermore, and Matt Leininger, senior principal HPC strategist at the lab, tells The Next Platform that machines under the auspices of the DOE’s National Nuclear Security Administration – which includes Los Alamos National Laboratory and Sandia National Laboratories as well as Lawrence Livermore, the so-called TriLabs in DOE lingo – have used earlier InfiniBand technologies from QLogic as well as Intel Omni-Path interconnects in systems.Hoje, diz Leininger, os Trilabs têm grupos que variam em tamanho de 100 nós a 3.000 nós, que "servem como os cavalos de trabalho diários" como ele disse, para um total de cerca de 20.000 nós coletivamente ligados pela Omni-Path.(Nem tudo como um sistema, lembre -se.) Que é uma pegada muito grande.
Os principais laboratórios da HPC têm seus trabalhos diários de execução de simulações e modelos, mas seus outros propósitos são promover a inovação, impulsionar a tecnologia e garantir que haja vários fornecedores e múltiplas arquiteturas para escolher no reino da supercomputação, porque você nunca sabe quemou o que pode não conseguir e nem todas as tecnologias são boas em todas as coisas.É por isso que a Tri-Labs tem sido um grande defensor do QLOGIC Infiniband e Intel Omni-Path, embora, por exemplo, a atual máquina de classe de capacidade em Lawrence Livermore seja "Sierra" com uma interconexão de 100 GB/SegundaAno, a substituição “El Capitan”, construída pela Hewlett Packard Enterprise, usará 200 GB/s “Rosetta” Ethernet da sua unidade Cray.
O governo dos EUA gosta de ter três opções e concorrência para reduzir o preço dos supercomputadores, e é por isso que Lawrence Livermore está investindo US $ 18 milhões em pesquisa e desenvolvimento para as tecnologias Omni-Path Express da próxima geração da Cornelis Networks.E começa a trabalhar para co-designar a futura interconexão Omni-Path, juntamente com os aplicativos atuais em execução nos clusters de capacidade em Tri-Labs.E enquanto ninguém está dizendo isso, nós o faremos: se o omni-path expressar 400 GB/s e 800 GB/s puderem provar em termos de escala, baixa latência e alta largura de banda, não há razão para acreditarO acompanhamento não pode ser usado em um sistema de 10 exaflops em Tri-Labs em algum lugar na estrada.
"Precisamos de muitos recursos avançados além de apenas uma baixa latência e alta largura de banda", explica Leininger.“Coisas como roteamento avançado, controle de congestionamento, recursos de segurança, modelagem de tráfego - todas as coisas que se tornam cada vez mais importantes à medida que você pressiona para máquinas maiores e em topologias como o Dragonfly, por exemplo.Tudo isso está sobre a mesa, e como Cornelis implementa isso, depende deles.Eles têm algum IP próprio e podem usar IP que têm da Intel.Mas como eles decidiram montar as coisas para implementar algo que atenda aos nossos requisitos depende deles.”
Um dos grandes objetivos, explica Leininger, é impulsionar a concorrência por networking, que é um pedaço considerável do custo de um cluster de supercomputador-em torno de 15 % a 20 % do custo é o que normalmente ouvimos em sistemas de HPC de ponta, e isso é em uma época em que a memória e as GPUs são muito, muito caras em comparação com a memória e as CPUs nos anos passados.
"Nosso comprometido é realmente conduzir o mercado de HPC dos EUA a ser competitivo com essas redes de alto desempenho", diz Leininger.“Nós queremos várias soluções.As redes que estão lá fora são boas, mas estamos preocupados com algumas das consolidação que estão obviamente acontecendo no mercado nos últimos anos.E com as duas redes que você mencionou - HPE Slingshot e Nvidia Infiniband - um deles está ligado a um integrador de sistema e o outro está ligado a um fornecedor de componentes.Não consigo obter mais ninguém além de HPE.E o que a Nvidia fará com o tempo com seu apoio por coisas que não são a Nvidia?Nós não sabemos.Por isso, estamos preocupados em perder nossa capacidade de desenvolver as melhores soluções de raça, onde eu posso ir e escolher qualquer CPUs, GPUs ou redes ou integrador de sistema que eu queira e misture uma solução.Ao colocar esse financiamento para Cornelis, podemos atender a alguns desses objetivos.Eles podem usar várias CPUs e GPUs, e vários integradores de sistemas podem usá -las.Eles são independentes e nos leva de volta aos trilhos para ter uma boa rede que dará concorrência para os outros dois e nos permitirá continuar desenvolvendo as melhores soluções de raça.”
Com a atual máquina de sistemas de tecnologia de commodities, chamada CTS-2, que foi concedida com um contrato de US $ 40 milhões ao integrador do sistema Dell por US $ 40 milhões no ano passado, é baseado no futuro processador Xeon SP da Intel "Sapphire Rapids".Fizemos uma prévia na encruzilhada em fevereiro, que custa US $ 105 milhões, que está sendo instalada em Los Alamos, que se baseia no design do sistema "Shasta" Cray XE da HPE, e que, como El Capitan, em Lawrence Livermore, usará a interconexão de linear de Flors.Hpe.O cluster CTS-2 terá um par de adaptadores expresso Omni-Path-um para cada soquete-por nó e, de acordo com Leininger, terá a capacidade de se mudar para a próxima geração Omni-Path Express 400 Interconect se isso fizer isso.Espera-se que a máquina subsequente do CTS-3 esteja sendo executada no final de 2025 até o início de 2026 (calendário fiscal do governo dos EUA, que termina em setembro do ano, com compras a partir de dois anos antes do final de 2023 ao início de 2024 anos fiscais.
Esse CTS-3 atualiza bem-e intencionalmente-para o roteiro Omni-Path Express, que, de acordo com Murphy, possui os comutadores e os cartões de interface de 400 GB/s que lançam no calendário 2023 e os dispositivos de 800 GB/s lançados no finalCalendário 2025 ao calendário precoce 2026.Esse momento, como você pode ver no gráfico acima, também é bom para o Kicker ATS-6 para El Capitan em Lawrence Livermore, cujo ciclo de compras começa no início do ano fiscal de 2025 e será implantado no início do ano fiscal de 2029 (que significa tardio de 2029 paraCalendário do início de 2030).
A Cornelis Networks levantou US $ 500.000 em uma rodada de empreendimento e outros US $ 20 milhões em uma rodada de financiamento da Série A em setembro de 2020, liderada por downventures com participação da Intel Capital, Alumni Ventures, Adit Ventures e Global Brain.Os US $ 18 milhões provenientes de Lawrence Livermore não envolve o governo dos EUA que tomam um estado nas redes de Cornelis, mas é considerado como receita contra despesas como Cray costumava fazer com o dinheiro que recebeu da Agência de Projetos de Pesquisa Avançada de Defesa dos EUA para desenvolver váriosde suas gerações anteriores de supercomputador antes de Shasta.
