Arquitectura de IA Generativa: Panorama Completo

¿Qué es un AI Engineer?

Un AI Engineer es un profesional que diseña, construye y opera sistemas de inteligencia artificial en producción. A diferencia de un Data Scientist (enfocado en exploración y modelado) o un ML Engineer (enfocado en pipelines de entrenamiento), el AI Engineer se especializa en integrar modelos de IA —especialmente LLMs— en aplicaciones reales que sirven a usuarios finales.

┌─────────────────────────────────────────────────────┐
│                    AI ENGINEER                       │
│                                                      │
│   Data Science  ──►  ML Engineering  ──►  AI Eng    │
│   (exploración)      (entrenamiento)    (producto)   │
│                                                      │
│   Investigación ──► Pipeline ──► Aplicación          │
└─────────────────────────────────────────────────────┘

La Stack Moderna de IA Generativa

La stack de una aplicación de IA generativa tiene capas bien definidas:

1. Capa de Modelos (Foundation Models)

2. Capa de Orquestación

Frameworks que coordinan la interacción con LLMs:

# Ejemplo conceptual de orquestación con LCEL (LangChain Expression Language)
# El operador | (pipe) encadena pasos: la salida de uno es la entrada del siguiente
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

chain = (
    # Paso 1: Construye un diccionario con dos claves en paralelo
    # - "context": usa el retriever para buscar documentos relevantes
    # - "question": RunnablePassthrough() pasa la pregunta del usuario tal cual
    {"context": retriever, "question": RunnablePassthrough()}
    # Paso 2: Inserta context y question en el template del prompt
    | prompt_template
    # Paso 3: Envía el prompt formateado al LLM
    | ChatOpenAI(model="gpt-4o")
    # Paso 4: Parsea la respuesta del LLM al formato de salida deseado
    | output_parser
)

3. Capa de Datos y Retrieval

• Vector Databases: Pinecone, Weaviate, Qdrant, pgvector
• Modelos de Embedding: text-embedding-3-large, Cohere embed-v4
• Document Loaders: PDF, HTML, Markdown, bases de datos

4. Capa de Infraestructura

• Cloud: AWS, GCP (compute, storage, networking)
• Contenedores: Docker, Kubernetes
• CI/CD: GitHub Actions, GitLab CI, ArgoCD
• Monitoreo: LangSmith, Langfuse, Weights & Biases

5. Capa de Aplicación

• APIs REST/GraphQL
• Interfaces de usuario (chat, dashboards)
• Integraciones con sistemas existentes

Patrones Arquitectónicos Clave

Patrón 1: LLM Directo (Zero-Shot)

Usuario ──► API Gateway ──► LLM ──► Respuesta

El más simple. El usuario envía un prompt, el LLM responde. Útil para tareas generales pero con limitaciones de conocimiento.

Patrón 2: RAG (Retrieval-Augmented Generation)

Usuario ──► Query ──► Vector DB ──► Contexto + Prompt ──► LLM ──► Respuesta
                         ▲
                    Documentos
                    indexados

Combina búsqueda semántica con generación. El patrón más usado en producción para conocimiento específico del dominio.

Patrón 3: Agentes Autónomos

Usuario ──► Agente ──┬── Tool 1 (API)
                     ├── Tool 2 (DB)
                     ├── Tool 3 (Code)
                     └── Tool 4 (Search)
                          │
                     ◄── Razonamiento iterativo ──►

El agente decide qué herramientas usar y en qué orden. Potente pero más difícil de controlar y evaluar.

Patrón 4: Multi-Agent Systems

Orchestrator ──┬── Agent: Researcher
               ├── Agent: Analyst
               ├── Agent: Writer  
               └── Agent: Reviewer

Múltiples agentes especializados colaboran. frameworks como CrewAI o LangGraph implementan este patrón.

Ciclo de Vida de un Proyecto de IA Generativa

1. Discovery          → Definir problema, evaluar viabilidad
2. Prototipo          → Proof of concept con APIs
3. Evaluación         → Métricas, benchmarks, edge cases
4. Hardening          → Guardrails, seguridad, rate limiting
5. Deploy             → Containerización, CI/CD, staging
6. Monitoreo          → Calidad, latencia, costos, drift
7. Iteración          → Feedback loop, mejoras continuas

Skills Clave del AI Engineer

Diferencias: AI Engineer vs Roles Relacionados

                    Investigación ◄──────────► Producción
                         │                        │
              ML Researcher              AI Engineer
              Data Scientist             Platform Engineer
              ML Engineer                SRE / DevOps

• Data Scientist: Análisis exploratorio, notebooks, modelos estadísticos
• ML Engineer: Pipelines de entrenamiento, feature stores, model serving
• AI Engineer: Integración de modelos pre-entrenados en aplicaciones, RAG, agentes
• Platform Engineer: Infraestructura subyacente, Kubernetes, networking

¿Por Qué Este Curso?

Este curso está diseñado para profesionales que necesitan dominar el ciclo completo de ingeniería de IA generativa: desde fundamentos de deep learning hasta deploy y monitoreo en producción, pasando por RAG, agentes, cloud y producto.

No es un curso teórico. Cada lección incluye ejercicios prácticos — código Python, simulaciones de terminal, diseño de arquitecturas y dashboards de métricas — que recrean escenarios reales de producción.

Nota: Este es un curso privado para el equipo de administración. El contenido asume experiencia previa en desarrollo de software.

🧠 Preguntas de Repaso

1. ¿Cuál es la principal diferencia entre un AI Engineer y un ML Engineer?

• A) El AI Engineer entrena modelos desde cero, mientras que el ML Engineer los integra en apps
• B) El AI Engineer integra modelos pre-entrenados en aplicaciones de producción, mientras que el ML Engineer se enfoca en pipelines de entrenamiento
• C) No hay diferencia, son el mismo rol con diferente nombre
• D) El ML Engineer se enfoca en producto y el AI Engineer en investigación

Respuesta: B) — El AI Engineer se especializa en integrar modelos de IA (especialmente LLMs) en aplicaciones reales que sirven a usuarios finales, mientras que el ML Engineer se enfoca en pipelines de entrenamiento y feature stores.

2. ¿Cuál es el patrón arquitectónico más usado en producción para conocimiento específico del dominio?

• A) LLM Directo (Zero-Shot)
• B) Multi-Agent Systems
• C) RAG (Retrieval-Augmented Generation)
• D) Fine-tuning completo del modelo

Respuesta: C) — RAG combina búsqueda semántica con generación, permitiendo que el LLM acceda a conocimiento específico del dominio sin necesidad de reentrenamiento. Es el patrón más usado en producción.

3. La stack moderna de IA generativa tiene 5 capas. ¿Cuál de las siguientes NO es una de esas capas?

• A) Capa de Modelos (Foundation Models)
• B) Capa de Orquestación
• C) Capa de Entrenamiento Distribuido
• D) Capa de Datos y Retrieval

Respuesta: C) — Las 5 capas son: Modelos Foundation, Orquestación, Datos/Retrieval, Infraestructura y Aplicación. El entrenamiento distribuido no es una capa del stack de IA generativa.

4. En el ciclo de vida de un proyecto de IA generativa, ¿qué fase incluye guardrails, seguridad y rate limiting?

• A) Discovery
• B) Prototipo
• C) Hardening
• D) Monitoreo

Respuesta: C) — La fase de Hardening es donde se agregan guardrails, seguridad y rate limiting para preparar el sistema para producción, después de la evaluación y antes del deploy.