En un entorno de negocios altamente competitivo, reducir la fuga de clientes así como mejorar su...
Demos de aplicaciones de ciencia e ingeniería de datos con un procesador AMD
Introducción
La movilidad en ciencia de datos ha sido históricamente un compromiso: potencia versus portabilidad. Lo sé por experiencia propia, porque, a diferencia de muchos colegas, sigo con una caja grande a la par de mi escritorio para poder tener acceso a CPUs y GPUs rápidas, donde la única desventaja es que el calor que generan no me ayuda en el trópico.
A solicitud de HP/AMD trabajé con una laptop para hacer unos ensayos y ver hasta dónde puedo llegar con una laptop moderna. La máquina que me enviaron fue una HP ZBook Firefly equipada con un procesador AMD Ryzen™ 7 8840HS. Hicimos tres experimentos independientes, basados en un flujo de trabajo común mío y del equipo en ixpantia, para probar de primera mano cómo una laptop con un procesador moderno se comporta. Publicamos los resultados en breves videos en LinkedIn, y aquí damos un resumen de lo que aprendimos.
Experimento 1: Productividad en movimiento
El primer desafío fue simple pero fundamental: ¿podría una laptop reemplazar efectivamente una workstation de escritorio para trabajo colaborativo? Tradicionalmente, cuando viajo debo abandonar mi entorno de trabajo habitual (una máquina con 128 GB de RAM, 28 núcleos y 2 GPUs) para adaptarme a recursos limitados. Durante años, la solución fue usar la laptop como thin client conectada a un servidor remoto. Eso funciona, pero es incómodo cuando estoy en situaciones donde la conectividad a alta velocidad no está garantizada.
Aquí el procesador AMD se comportó muy bien. Hicimos experimentos, como por ejemplo recompilar el lenguaje R para ver cuánto aporta el soporte para AVX-512. Y pusimos a trabajar los múltiples núcleos de procesamiento como típicamente trabajamos con código multihilo. El procesador demostró capacidad suficiente para manejar tareas de análisis e ingeniería de datos sin compromisos significativos.
Experimento 2: ETLs de alto rendimiento en Kubernetes local
Reimplementamos un caso de uso interno, el cálculo de distancias a playas en Costa Rica, utilizando Argo Workflows y Docker, ejecutados localmente en la laptop usando microk8s en WSL2.
La laptop manejó un clúster Kubernetes completo con cargas de trabajo complejas, manteniendo un rendimiento excelente. Esto valida que la movilidad ya no implica sacrificar la capacidad de ejecutar infraestructura sofisticada. Para equipos distribuidos, esto abre posibilidades significativas en términos de desarrollo, pruebas y prototipado.
Experimento 3: Inferencia local de modelos de lenguaje grande
Probamos ejecutar modelos de lenguaje grande localmente aprovechando la GPU AMD Radeon integrada. Evaluamos modelos desde 1.7B hasta 14B de parámetros, validando directamente el rendimiento mediante métricas de utilización de GPU.
Tuvimos algunos retos de configuración inicial. Para poder aprovechar la GPU es necesario correr los modelos en Windows, lo que logramos con LM Studio, y los llamamos como servicio local desde Linux en WSL2. Fue divertido y funcionó muy bien; observamos:
- 91–92% de utilización de GPU en inferencia local
- Control total sobre experimentos y métricas
- Costos bajo control — sin pagar por token
Utilizando LM Studio y Langfuse, pudimos levantar un entorno de experimentación de LLMs para trabajar sin restricciones de presupuesto, permitiendo seleccionar el modelo más adecuado para cada caso de uso. La capacidad de ejecutar LLMs localmente transforma la manera en que abordamos la experimentación con IA.
Conclusión
Estos tres experimentos demuestran que el procesador AMD Ryzen™ 7, integrado en la HP Zbook Fireflyl, a mí me funcionaría como equipo de viaje y ofrece buena potencia computacional. Para profesionales de datos que necesitan viajar o tienen espacio reducido, esto significa:
- Mantener la productividad sin depender de infraestructura remota
- Ejecutar pipelines de datos sofisticados en cualquier ubicación
- Experimentar con LLMs sin costos por token
Para mi día a día en el escritorio no logra reemplazar mi frankenbuild con GPU dedicada y buen enfriamiento. Pero usar este CPU durante viajes fue un placer.