
Ironwood y la latencia: el reto de las TPU de Google en la inferencia interactiva
Las TPU de Google han ganado en coste por token, no en latencia. Ironwood multiplica por 4,5 el ancho de banda de memoria de Trillium y reabre la pelea con NVIDIA en inferencia interactiva.



