Des puces spécialisées pour répondre aux défis du contexte long et des agents IA
Sept mois après avoir dévoilé les modèles TPU 8t (dédié à l'entraînement à grande échelle) et TPU 8i (orienté vers l'inférence et le raisonnement à faible latence), Google décline son silicium de huitième génération pour répondre à des besoins plus ciblés. Le TPU 8i Max se distingue en regroupant deux puces TPU 8i au sein d'un même package matériel. Cette architecture permet de doubler les capacités de calcul théoriques, la bande passante mémoire et la mémoire SRAM intégrée tout en conservant l'empreinte physique d'un rack existant.
Selon les chiffres dérivés des spécifications du TPU 8i de base, le TPU 8i Max affiche une puissance théorique d'environ 20,2 PFLOPS FP4, un volume de mémoire SRAM embarquée de 768 Mo et une bande passante HBM atteignant environ 17 202 Go/s (soit 17,2 To/s). À titre de comparaison, le processeur graphique Nvidia Rubin R200 développe 50 PFLOPS FP4 en inférence pour 22 To/s de bande passante HBM4 par socket, tandis que l'AMD MI455X revendique 40 PFLOPS FP4.
Pour surmonter le goulot d'étranglement de la mémoire (le « mur de la mémoire ») lorsque plusieurs dizaines d'agents logiciels travaillent simultanément sur une vaste base de code, Google accompagne ce matériel de solutions logicielles dédiées :
- TPU Sync : une couche logicielle open source pour clusters TPU qui décharge automatiquement les fenêtres de contexte clés-valeurs (KV caches) de la mémoire HBM vers la mémoire DRAM de l'hôte ou un stockage partagé, réduisant la latence de transfert de plus de 90 %.
- Agent Compute Engine : un service cloud conçu pour mettre en pause les sessions d'agents inactifs et libérer temporairement leur mémoire de travail.
Sécurité renforcée et processeurs x86 pour le TPU 8tx
De son côté, le TPU 8tx s'appuie sur le même silicium que le modèle TPU 8t, mais réoriente sa configuration vers l'inférence confidentielle et l'entraînement à petite échelle. Destinée prioritairement aux entreprises régulées et aux gouvernements manipulant des données sensibles ou des modèles propriétaires, cette déclinaison isole matériellement les calculs pour empêcher toute interception des poids du modèle ou des données durant le traitement en mémoire vive.
Sur le plan matériel, le TPU 8tx abandonne les processeurs hôtes Arm Axion utilisés par les TPU 8t et 8i au profit de processeurs AMD EPYC de 5e génération (architecture x86). Bien que Google n'ait pas publiquement détaillé la raison de ce changement, la liste des machines virtuelles confidentielles du fournisseur ne comporte à ce jour que des puces AMD et Intel, la plate-forme Private AI Compute reposant elle-même sur un environnement d'exécution sécurisé AMD.
Pertinent pour les charges de travail d'inférence distribuées, le TPU 8tx adopte la topologie réseau Boardfly à la place du réseau en tore 3D du TPU 8t. Cette configuration promet une latence jusqu'à 2 fois inférieure en limitant le nombre de sauts réseau à 7 au maximum pour un ensemble de 1 024 puces, contre 16 sauts sur une topologie en tore classique.
Un comparatif technique de la 8e génération de TPU Google
L'écosystème TPU de Google compte désormais environ 100 clients d'envergure, incluant récemment le groupe Meta. Les caractéristiques principales des quatre déclinaisons de la gamme se résument ainsi :
- TPU 8t : conçu pour la pré-formation à grande échelle ; basé sur le silicium TPU 8t ; processeur hôte Arm Axion ; réseau 3D torus ; puissance de 12,6 PFLOPS FP4 ; bande passante HBM de 6 528 Go/s pour 216 Go de capacité ; SRAM de 128 Mo.
- TPU 8i : conçu pour l'échantillonnage, le service et le raisonnement ; basé sur le silicium TPU 8i ; processeur hôte Arm Axion ; réseau Boardfly ; puissance de 10,1 PFLOPS FP4 ; bande passante HBM de 8 601 Go/s pour 288 Go de capacité ; SRAM de 384 Mo.
- TPU 8tx : conçu pour l'inférence sécurisée et la formation réduite ; basé sur le silicium TPU 8t ; processeur hôte AMD EPYC 5e Gen ; réseau Boardfly ; spécifications précises non communiquées.
- TPU 8i Max : conçu pour le travail d'agents à long contexte ; réunit deux puces TPU 8i ; processeur hôte et réseau non précisés ; puissance dérivée d'environ 20,2 PFLOPS FP4 ; bande passante HBM dérivée d'environ 17 202 Go/s ; SRAM de 768 Mo.
Pour l'heure, Google mentionne l'ensemble de ces quatre systèmes comme « disponibles prochainement » sur sa page Cloud TPU, sans avoir révélé leurs prix, leurs dates de livraison effectives ni les tailles exactes de leurs baies (pods).
Notre lecture
En déclinant son silicium en versions ciblées en seulement quelques mois, Google démontre une agilité industrielle bienvenue face à la domination de Nvidia. L'approche du TPU 8i Max est particulièrement pragmatique : plutôt que d'attendre la disponibilité de la mémoire HBM4 pour briser le mur de la bande passante, le groupe double les puces sur un même package pour accommoder les immenses fenêtres de contexte exigées par les agents IA. Reste désormais à observer les performances réelles en conditions de production et les tarifs pratiqués sur Google Cloud, des éléments déterminants dont la firme n'a pas encore fait part.