Des décennies auparavant, il y avait des hyperscaleurs et des constructeurs de cloud commençaient à créer leurs propres variantes de calcul, de stockage et de réseautage pour leurs systèmes distribués massifs, les principaux centres HPC du monde ont favorisé les technologies innovantes qui auraient autrement été décédées sur la vigne et n'ont jamais été propagées dans lesMarché en général.
Lawrence Livermore National Laboratory, one of the HPC centers run by the US Department of Energy, is among the most important of such centers in the United States and in the world, and if you put a nuclear weapon to our head, we would concede that it is probably the most important. So when Lawrence Livermore invests in a technology or adopts one that has already been commercialized (or its adoption is an indication that it can be commercialized for those in-between cases), then it is important to listen.
Et c'est donc avec l'investissement de 18 millions de dollars que Lawrence Livermore fait des réseaux de Cornelis, la société de réseautage Omni-Path qui a été retirée d'Intel en septembre 2020.Grâce aux nombreuses acquisitions qu'Intel a faites au cours de la dernière décennie, Cornelis hérite des droits de beaucoup de technologies de réseautage innovantes et travaillera avec Lawrence Livermore pour non seulement créer des Asics Infiniband Switch plus rapides, mais pour apporter des éléments de ces acquisitions ensemblepour fusionner une meilleure implémentation d'Infiniband à partir des meilleures idées disponibles.
Le récent projet de réseautage d'Aquila chez Google, et son protocole GNET, dont nous avons écrit il y a quelques semaines, valide bon nombre des approches que Cornelis adopte avec omni-path et, nous pensons, est fortement influencée par l'idée de fusionner un infiniband-Les logiciels de type logiciel avec les formats de données de sous-packet à grain fin adaptés à Cray dans l'interconnexion «Bélier» utilisée dans ses supercalculateurs XC il y a dix ans et qui a été remplacé par un tout nouveau système de commutation Ethernet «Rosetta» qui a également coupé des donnéesen morceaux plus petits qu'un paquet pour faire un meilleur routage adaptatif et le contrôle de la congestion que cela pourrait autrement être possible.
Le portefeuille de Cornelis Networks contient beaucoup de propriété intellectuelle, et Phil Murphy, l'un des co-fondateurs de la société, a l'intention de tout porter dans les futures interconnexions Omni-Path Express fonctionnant à 400 Go / sec et 800 Go/seconde.
Comme nous l'avons parlé lorsque Cornelis Networks a acheté la technologie Omni-Path à Intel, Murphy a des racines profondes dans les systèmes et les réseaux, mais ce qui n'aurait pas été évident, c'est que l'entreprise a des droits sur toute la propriété intellectuelle liée aux technologies SilverStorm (Fondée par Murphy en 1999 à peu près au même moment où Mellanox Technologies a été fondée) Infiniband commutateurs qui sont l'une des fondations de l'entreprise Infiniband truscale QLogic.(L'autre est PathScale, également acquis par QLogic Way en 2006, qui a fait des adaptateurs d'accueil Infiniband.) Et la façon dont l'accord entre Intel et Cornelis Networks est structuré, ce dernier a également des droits sur les interconnexions Cray «Gemini» et «Bélier» ainsi que l'interconnexion omni-path de première et deuxième génération créée par Intel en tant qu'hybridede Truscale et Bélier.
La série Omni-Path 100 (fonctionnant à 100 Go / sec) avait une touche de technologie Bélier, mais Omni-Path 200 était censé obtenir plus et avait également des différences qui ont introduit des incompatibilités qui, franchement, Cornelis Networks va quitterontDerrière, car il crée une implémentation plus ouverte d'Infiniband basée sur la bibliothèque Libfabric du groupe de travail Interfaces OpenFabrics Interfaces.Nous avons fait une plongée profonde sur la façon dont Cornelis Networks modifie l'architecture omni-path en juillet 2021 et cela signifie abandonner la construction de paquets de verbes Infiniband ainsi que la messagerie alternative à l'échelle de performance, ou PSM, approche créée par pathscale et adoptée en truscale comme uneAlternative à (mais pas un remplacement de) verbes infinibands.
Comme nous l'avons expliqué en juillet dernier, cette pile OFI a été en mesure de livrer 10 millions de messages par seconde par CPU Core parlant du réseau Omni-Path Express, contre 3 à 4 millions par noyau pour la mise en œuvre de Mellanox d'Infiniband (c'est un facteur de2.5x à 3.3x amélioration) et un centre aller-retour au noyau sur le réseau se déroule à 800 nanosecondes, environ 20% plus rapidement que l'utilisation du pilote PSM sur l'équipement Omni-Path 100 d'Intel.
Dans tous les cas, cette pile OFI fonctionne sur l'interconnexion omni-path existante de 100 Go / sec existante, et est disponible en tant que mise à niveau vers les 500 clients omni-path qu'Intel a pu obtenir sur les marchés HPC et AI.
One of the largest such Omni-Path customers is, of course, Lawrence Livermore, and Matt Leininger, senior principal HPC strategist at the lab, tells The Next Platform that machines under the auspices of the DOE’s National Nuclear Security Administration – which includes Los Alamos National Laboratory and Sandia National Laboratories as well as Lawrence Livermore, the so-called TriLabs in DOE lingo – have used earlier InfiniBand technologies from QLogic as well as Intel Omni-Path interconnects in systems.Aujourd'hui, dit Leininger, les Trilabs ont des grappes qui varient en taille de 100 nœuds à 3 000 nœuds, qui «servent de traits quotidiens» comme il l'a dit, pour un total d'environ 20 000 nœuds collectivement liés par omni path.(Pas tous comme un système, faites attention.) C'est une assez grande empreinte.
Les principaux laboratoires HPC ont leurs travaux de jour de simulations et de modèles d'exécution, mais leurs autres objectifs sont de favoriser l'innovation, de stimuler la technologie dur et de vous assurer qu'il existe plusieurs fournisseurs et plusieurs architectures à choisir dans le domaine du supercalcul parce que vous ne savez jamais qui ne sait jamais quiou ce qui pourrait ne pas le faire et toutes les technologies ne sont pas bonnes dans toutes choses.C'est pourquoi Tri-Labs a été un grand partisan de QLogic Infiniband et Intel Omni-Path même si, par exemple, la machine de classe de capacité actuelle à Lawrence Livermore est «Sierra» avec une interconnexion infiniband de 100 Go / Sec de Mellanox et Next »année La machine de remplacement «El Capitan» construite par Hewlett Packard Enterprise utilisera 200 Go / Sec «Rosetta» Ethernet de son unité Cray.
Le gouvernement américain aime avoir trois choix et concurrence pour faire baisser le prix des superordinateurs, et c'est pourquoi Lawrence Livermore investit 18 millions de dollars dans la recherche et le développement pour les technologies Omni-Path Express de nouvelle génération de Cornelis Networks.Et cela fonctionne sur la co-conception de l'interconnexion future omni-chemin aux côtés des applications actuelles fonctionnant sur les grappes de capacité à Tri-Labs.Et bien que personne ne dise cela, nous le ferons: si Omni-Path Express 400 Go / Sec et 800 Go / Sec peut faire ses preuves en termes d'échelle, de faible latence et de bande passante élevée, il n'y a aucune raison de croire que ce dernier ou sonLe suivi ne peut pas être utilisé dans un système 10 exaflops à Tri-Labs quelque part sur la route.
«Nous avons besoin de beaucoup de fonctionnalités avancées au-delà d'une simple latence et d'une bande passante élevée», explique Leininger.«Des choses comme le routage avancé, le contrôle de la congestion, les fonctionnalités de sécurité, la mise en forme du trafic - toutes les choses qui deviennent de plus en plus importantes lorsque vous poussez vers des machines plus grandes et dans des topologies comme la libellule, par exemple.Tout cela est sur la table, et comment Cornelis va en mettre en œuvre.Ils ont une propriété intellectuelle et ils peuvent utiliser IP qui ont des Intel.Mais comment ils ont décidé de rassembler les choses pour mettre en œuvre quelque chose qui répond à nos exigences."
L'un des grands objectifs, explique Leininger, est de stimuler la concurrence pour le réseautage, qui est une partie importante du coût d'un cluster de supercalculateur - quelque part d'environ 15 à 20% du coût est ce que nous entendons généralement dans les systèmes HPC haut de gamme, et c'est à une époque où la mémoire et les GPU sont très, très chers par rapport à la mémoire et aux processeurs dans les années passées.
“Our committed is really to drive the US HPC marketplace to be competitive with these high performance networks," Leininger says.«Nous voulons plusieurs solutions.Les réseaux qui existent sont bons, mais nous nous préoccupons d'une partie de la consolidation qui se passe évidemment sur le marché au cours des dernières années.Et avec les deux réseaux que vous avez mentionnés - HPE Slingshot et Nvidia Infiniband - l'un d'eux est lié à un intégrateur de système et l'autre est lié à un fournisseur de composants.Je ne peux pas obtenir Slingshot de personne d'autre que HPE.Et qu'est-ce que Nvidia va faire au fil du temps avec leur soutien aux choses qui ne sont pas Nvidia?Nous ne savons pas.Nous sommes donc soucieux de perdre notre capacité à développer des solutions de race Best of Bree où je peux aller et choisir les CPU et les GPU ou les réseaux ou l'intégrateur de systèmes que je veux et mélangez une solution ensemble.En mettant ce financement vers Cornelis, nous pouvons atteindre certains de ces objectifs.Ils peuvent utiliser divers CPU et GPU, et plusieurs intégrateurs de systèmes peuvent les utiliser.Ils sont indépendants, et cela nous ramène sur la bonne voie pour avoir un bon réseau qui donnera une concurrence à ces deux autres et nous permettra de continuer à développer les solutions de race Best of Breed."
With the current Commodity Technology Systems machine, called CTS-2, which was awarded with a $40 million contract to system integrator Dell for $40 million last year, is based on Intel’s future “Sapphire Rapids" Xeon SP processors. We did a preview on Crossroads back in February, which costs $105 million, which is being installed at Los Alamos, which is based on HPE’s “Shasta" Cray XE system design, and which like El Capitan at Lawrence Livermore will use the Slingshot interconnect from HPE.Le cluster CTS-2 aura une paire d'adaptateurs express Omni-Path - un pour chaque prise - par nœud et selon Leininger aura la capacité de passer à l'interconnexion Omni-Path Express 400 de la prochaine génération si cela rend le sens technique et économique.La machine de suivi CTS-3 devrait se présenter fin 2025 au début de 2026 (calendrier budgétaire du gouvernement américain, qui se termine en septembre, avec les achats commençant environ deux ans avant cela de la fin de 2023 au début de 2024.
Que CTS-3 améliore bien - et intentionnellement - à la feuille de route Omni-Path Express, qui, selon Murphy, a les commutateurs et les cartes d'interface de 400 Go / SEC qui sortent dans le calendrier 2023 et les appareils de 800 Go / sec qui sortent en retard en retardCalendrier 2025 au début du calendrier 2026.Ce moment, comme vous pouvez le voir dans le graphique ci-dessus, est également bon pour le kicker ATS-6 à El Capitan à Lawrence Livermore, dont le cycle des achats commence au début de l'exercice 2025 et sera déployé au début de l'exercice 2029 (ce qui signifie fin 2029 àCalendrier début 2030).
Cornelis Networks a levé 500 000 $ dans un tour de capital-risque et 20 millions de dollars supplémentaires dans une série de financement de la série A en septembre 2020, dirigée par DownVentures avec participation d'Intel Capital, Alumni Ventures, Adit Ventures et Global Brain.Les 18 millions de dollars provenant de Lawrence Livermore n'impliquent pas que le gouvernement américain prenne un État dans les réseaux de Cornelis, mais est juste considéré comme des revenus contre les dépenses que Cray avait l'habitude de faire avec l'argent qu'il obtient de la US Defense Advanced Research Projects Agency pour développer plusieursde ses générations de supercalculateurs précédentes avant Shasta.
