Le savoir autour des HPC est me semble-t-il commun pour les super computers. Atos a des compétences dans le domaine et sur l' IA. Il me semble justement qu'elle est pile dans le segment stratégique pour intéresser toute société qui souhaite installer un leader européen en la matière.
Meta élabore le plus grand supercalculateur dédié à l'IA
Des années avant de
troquer tout récemment son patronyme pour Meta, Facebook a massivement investi dans des programmes de recherche autour de l'intelligence artificielle et de l'apprentissage machine. En particulier dans son AI Research Lab, créé en 2013, dont les travaux ont été accélérés ces derniers mois en matière de
traduction automatique ou encore de
chatbot. Et bien que le groupe ait annoncé
l'arrêt de son système de reconnaissance faciale sur fond de mise en conformité RGPD, cela ne signifie pas que Meta lève le pied en matière d'IA, bien au contraire.
Le géant américain a ainsi annoncé la sortie de terre d'un ambitieux supercalculateur dont les ressources seront utilisées pour entraîner et former des modèles algorithmiques utilisés dans le cadre des nombreux services et projets de Meta basés sur des systèmes auto-apprenants (vision, parole, détection de contenus illicites ou préjudiciables...). « La vision par ordinateur, par exemple, doit traiter des vidéos plus grandes et plus longues avec des taux d'échantillonnage de données plus élevés. La reconnaissance vocale doit bien fonctionner même dans des scénarios difficiles avec beaucoup de bruit de fond, comme des fêtes ou des concerts. Le traitement du langage naturel doit comprendre plus de langues, de dialectes et d'accents. Et des avancées dans d'autres domaines, notamment robotique, IA incarnée et IA multimodale aideront les gens à accomplir des tâches utiles dans le monde réel », explique Meta.
Une puissance théorique de 5 exaflops en calcul de précision mixte
Baptisé AI Research SuperCluster (RSC), ce supercalculateur affiche des performances qui s'annoncent particulièrement élevées. Meta décrit par exemple une rapidité largement accrue par rapport à ses actuels clusters de systèmes graphiques v100 Nvidia allant jusqu'à du x20 en production pour les workflows de vision assistée par ordinateur et x3 pour l'entraînement des modèles de traitement du langage naturel. « Chaque DGX communique via des liens InfiniBand à deux niveaux Nvidia Quantum 1600 Gb/s sans oversubscription. Le niveau de stockage de RSC comprend 175 Po de baies flash Pure Storage, 46 Po de stockage en cache dans les systèmes Altus Penguin Computing et 10 Po de FlashBlade Pure Storage », précise Meta. « De plus, nous avons conçu un système de mise en cache et de stockage qui peut servir 16 To/s de données entrainées, et nous prévoyons de le faire évoluer jusqu'à 1 exaoctet ».
Pure Storage, partenaire de Meta depuis 2017, a de son côté réagi à cette annonce : « Les technologies alimentant le métavers auront besoin de solutions de calcul extrêmement puissantes, capables d’analyser instantanément des quantités de données en perpétuelle expansion. Le RSC de Meta représente une véritable révolution dans le domaine des superordinateurs, qui mènera à la création de nouvelles technologies et à l’élaboration de nouvelles expériences clients grâce à l’IA ».
Il faudra attendre courant 2022 pour que ce supercalculateur atteigne sa pleine capacité. Il dispose aujourd'hui de 760 systèmes DGX A100 Nvidia totalisant 6 080 GPU dont le nombre devrait quasiment tripler pour atteindre un total de 16 000 GPU. La performance du supercalculateur de Meta pourrait frôler 5 exaflops en calcul de précision mixte : une performance théorique supérieure à celle
du plus puissant supercalculateur japonais Fugaku qui atteint dans ce mode les 2 exaflops.
Prendre à bras le corps la sécurité des données
Certainement échaudé par les différents polémiques (Cambridge Analytica, WhatsApp...) liées à l'exploitation des données personnelles de ses utilisateurs, Meta semble décidé à mettre le paquet pour sécuriser et assurer la confidentialité des informations traitées. « Le RSC a été conçu dès le départ avec la confidentialité et la sécurité à l'esprit, afin que les chercheurs de Meta puissent former en toute sécurité des modèles en utilisant des données chiffrées générées par l'utilisateur qui ne sont déchiffrées que juste avant l'entraînement », expliquent
dans un billet les chercheurs de Meta AI Kevin Lee et Shubho Sengupta.
Ces protections incluent la garantie que RSC est isolé de l'Internet public, sans connexions entrantes ou sortantes directes. Dans le même temps, l'intégralité du chemin entre les systèmes de stockage de Meta et les GPU est chiffrée, les données n'étant déchiffrées que juste avant leur utilisation, au point de terminaison GPU, en mémoire. « Avant que les données ne soient importées dans RSC, elles doivent passer par un processus d'examen de la confidentialité pour confirmer qu'elles ont été correctement anonymisées. Les données sont ensuite chiffrées avant de pouvoir être utilisées pour former des modèles d'IA et les clés de déchiffrement sont supprimées régulièrement pour garantir que les données plus anciennes ne sont toujours pas accessibles. Et puisque les données ne sont déchiffrées qu'à un point final, en mémoire, elles sont sauvegardées même dans le cas improbable d'une violation physique de l'installation », indique Meta. Reste à savoir si ces mesures suffiront pour apaiser dans le monde réel les craintes des utilisateurs et éviter les foudres des instances régulatrices et juridiques de tous horizons.
