Ahora que la industria de la IA tiene GPU excepcionalmente de alto rendimiento con memoria de alto ancho de banda (HBM), uno de los cuellos de botella que enfrentan los sistemas de entrenamiento e inferencias de IA es el rendimiento de almacenamiento. Con ese fin, NVIDIA está trabajando con socios para construir SSD que pueden alcanzar el rendimiento de lectura aleatoria de 100 millones de operaciones de entrada/salida por segundo (IOPS) en cargas de trabajo de bloque pequeño, según Wallace C. Kuo, quien habló con el hardware de Tom en una entrevista exclusiva.
“En este momento, están apuntando a 100 millones de IOP, lo cual es enorme”, dijo Kuo a Hardware de Tom.
Los aceleradores de IA modernos, como el B200 de NVIDIA, cuentan con el ancho de banda de memoria HBM3E de alrededor de 8 TB/s, lo que supera significativamente las capacidades de los subsistemas de almacenamiento modernos tanto en el rendimiento general como en la latencia. Los SSD modernos PCIe 5.0 x4 en alrededor de 14.5 GB/sy entregan 2 – 3 millones de IOPs para lecturas aleatorias 4K y 512B. Aunque los bloques 4K son más adecuados para el ancho de banda, los modelos de IA generalmente realizan pequeñas recuperaciones aleatorias, lo que hace que los bloques 512B sean mejor para sus patrones sensibles a la latencia. Sin embargo, aumentar el número de operaciones de E/S por segundo por 33 veces es difícil, dadas las limitaciones de los controladores SSD y la memoria NAND.
De hecho, Kioxia ya está trabajando en un ‘AI SSD’ basado en su memoria XL-Flash diseñada para superar los 10 millones de 512k IOP. Actualmente, la compañía planea lanzar esta unidad durante la segunda mitad del próximo año, posiblemente para coincidir con el despliegue de la plataforma Vera Rubin de Nvidia. Para llegar a 100 millones de IOP, uno podría usar múltiples ‘AI SSD’.
Sin embargo, el jefe de SMI cree que lograr 100 millones de IOP en un solo impulso con NAND convencional con un costo decente y consumo de energía será extremadamente difícil, por lo que podría ser necesario un nuevo tipo de memoria.
“Creo que están buscando un cambio en los medios”, dijo Kuo. “Optane was supposed to be the ideal solution, but it is gone now. Kioxia is trying to bring XL-NAND and improve its performance. SanDisk is trying to introduce High Bandwidth Flash (HBF), but honestly, I don’t really believe in it. Right now, everyone is promoting their own technology, but the industry really needs something fundamentally new. Otherwise, it will be very hard to achieve 100 million IOPS and still be cost-effective.”
Actualmente, muchas compañías, incluidas Micron y Sandisk, están desarrollando nuevos tipos de memoria no volátil. Sin embargo, cuando estos nuevos tipos de memoria serán comercialmente viables, es algo de lo que incluso la cabeza del movimiento de silicio no está seguro.
Seguir Hardware de Tom en Google News Para obtener nuestras noticias, análisis y revisiones actualizadas en sus feeds. Asegúrese de hacer clic en el botón Forzar.
