Nuestra plataforma privada de IA

El desafío

Cualquiera puede recomendar IA privada. Pocos pueden mostrar la suya. Antes de ofrecer plataformas privadas de LLM a nuestros clientes, nos pusimos el mismo encargo que nos daría un cliente: correr modelos de lenguaje capaces sobre hardware propio, con verdadera disciplina de producción — no un montaje de laboratorio que se cae cuando nadie lo está mirando. Si no podíamos operar nuestra propia plataforma con ese estándar, no teníamos derecho a construirla para nadie más.

Qué construimos

Nuestra plataforma es un clúster de GPU NVIDIA DGX Spark de 4 nodos sobre Kubernetes (RKE2). Todo lo que está por encima del metal sigue la misma ingeniería que aplicamos para nuestros clientes:

• Despliegues por GitOps. Cada carga de trabajo está declarada en Git y se concilia con el clúster automáticamente mediante Argo CD. No existe el “alguien cambió algo en un servidor” — el repositorio es el registro, y la desviación se corrige sola.
• Observabilidad. Métricas, logs y dashboards de nodos, GPU y cargas de trabajo, para que las preguntas operativas se respondan con datos y no con suposiciones.
• Cargas multi-tenant. Entornos aislados por tenant permiten que los experimentos, los servicios de cara al cliente y las herramientas internas compartan el hardware sin estorbarse entre sí.

Sobre esa base hicimos el trabajo de modelos propiamente dicho: construimos, cuantizamos y hoy servimos nuestro propio linaje de modelos Mixture-of-Experts — Vinicius-35B-A3B-v1 — con vLLM, dentro de nuestra propia red y con control de acceso en el endpoint de servicio. Infraestructura, plataforma y modelo: un solo equipo, de punta a punta.

El resultado

El clúster corre cargas de producción todos los días, y además funciona como la arquitectura de referencia de lo que entregamos: la misma base de Kubernetes, la misma disciplina de GitOps, el mismo stack de observabilidad. Cuando dimensionamos una plataforma privada de IA para un cliente, estamos describiendo hardware y software que ya operamos — incluidos los modelos propios y su servicio. No vendemos IA privada desde una presentación. Nuestra propia plataforma es nuestra prueba.