Low-Cost Secure LLM Infrastructure (FinOps-Driven)
Publicado: Jue May 28, 2026 9:38 pm
Buenas tardes !!!
Infraestructura Cloud automatizada mediante código (IaC) para el despliegue de un entorno privado de Inteligencia Artificial utilizando Gemma (Google). El diseño está completamente optimizado bajo la filosofía FinOps, permitiendo ejecutar modelos de lenguaje (LLM) en instancias de recursos muy limitados y de bajo coste (o dentro de la capa gratuita) en AWS sin comprometer la seguridad.
Características Principales
Despliegue 100% Zero-Touch: Todo el entorno (redes, servidor, Docker, configuración interna y descarga de modelos) se ejecuta de forma completamente autónoma mediante un script robusto en el user_data de AWS. Cero intervención manual por SSH.
Arquitectura FinOps Optimizada: Configuración automática de 3 GB de memoria Swap persistente en disco NVMe para simular un entorno de 4 GB de RAM sobre una instancia económica t3.micro.
Seguridad Perimetral Estricta: Creación de una VPC dedicada. El puerto SSH (22) está blindado y filtrado dinámicamente mediante Security Groups, permitiendo el acceso criptográfico exclusivamente a la dirección IP pública del administrador.
Stack de IA Contenedorizado: Despliegue orquestado con Docker Compose que incluye Ollama como motor de inferencia local y Open WebUI como interfaz gráfica de usuario tipo ChatGPT de manera aislada y multiusuario.
Arquitectura del Sistema
El proyecto despliega la siguiente topología de red y servicios en AWS de manera automática:
Red: VPC (10.0.0.0/16) + Subred pública (10.0.1.0/24) + Internet Gateway + Tablas de enrutamiento asociadas.
Cómputo: Instancia EC2 (Ubuntu 24.04 LTS Noble Noble) equipada con un volumen gp3 optimizado de 30 GB (límite de la capa gratuita).
Servicios (Docker):
Ollama Container: Motor de ejecución encargado de alojar y procesar los pesos del modelo gemma:2b.
Open WebUI Container: Frontend web responsivo expuesto de forma segura en el puerto 80.
Requisitos Previos
Antes de desplegar, asegúrate de contar con las siguientes herramientas en tu entorno local:
Terraform instalado (Versión >= 1.5.0).
Credenciales con permisos de administrador en AWS (Access Key y Secret Key).
Tu dirección IP pública para el filtrado del Firewall.
Low-Cost Secure LLM Infrastructure (FinOps-Driven)
Muchas gracias.
Saludos,
Infraestructura Cloud automatizada mediante código (IaC) para el despliegue de un entorno privado de Inteligencia Artificial utilizando Gemma (Google). El diseño está completamente optimizado bajo la filosofía FinOps, permitiendo ejecutar modelos de lenguaje (LLM) en instancias de recursos muy limitados y de bajo coste (o dentro de la capa gratuita) en AWS sin comprometer la seguridad.
Características PrincipalesDespliegue 100% Zero-Touch: Todo el entorno (redes, servidor, Docker, configuración interna y descarga de modelos) se ejecuta de forma completamente autónoma mediante un script robusto en el user_data de AWS. Cero intervención manual por SSH.
Arquitectura FinOps Optimizada: Configuración automática de 3 GB de memoria Swap persistente en disco NVMe para simular un entorno de 4 GB de RAM sobre una instancia económica t3.micro.
Seguridad Perimetral Estricta: Creación de una VPC dedicada. El puerto SSH (22) está blindado y filtrado dinámicamente mediante Security Groups, permitiendo el acceso criptográfico exclusivamente a la dirección IP pública del administrador.
Stack de IA Contenedorizado: Despliegue orquestado con Docker Compose que incluye Ollama como motor de inferencia local y Open WebUI como interfaz gráfica de usuario tipo ChatGPT de manera aislada y multiusuario.
Arquitectura del SistemaEl proyecto despliega la siguiente topología de red y servicios en AWS de manera automática:
Red: VPC (10.0.0.0/16) + Subred pública (10.0.1.0/24) + Internet Gateway + Tablas de enrutamiento asociadas.
Cómputo: Instancia EC2 (Ubuntu 24.04 LTS Noble Noble) equipada con un volumen gp3 optimizado de 30 GB (límite de la capa gratuita).
Servicios (Docker):
Ollama Container: Motor de ejecución encargado de alojar y procesar los pesos del modelo gemma:2b.
Open WebUI Container: Frontend web responsivo expuesto de forma segura en el puerto 80.
Requisitos PreviosAntes de desplegar, asegúrate de contar con las siguientes herramientas en tu entorno local:
Terraform instalado (Versión >= 1.5.0).
Credenciales con permisos de administrador en AWS (Access Key y Secret Key).
Tu dirección IP pública para el filtrado del Firewall.
Low-Cost Secure LLM Infrastructure (FinOps-Driven)
Muchas gracias.
Saludos,