Evaluación: AI Engineering Pro

1

¿Cuál es la diferencia principal entre la capa de Foundation Models y la capa de Orchestration en una arquitectura de IA generativa?

Foundation Models proveen capacidad de generación; Orchestration conecta modelos con herramientas, datos y lógica de negocio Foundation Models son open-source y Orchestration es propietary No hay diferencia, son lo mismo empaquetado diferente Orchestration es más rápido que Foundation Models

2

¿Qué mecanismo permite a los Transformers procesar todas las posiciones de una secuencia simultáneamente, a diferencia de RNNs?

Self-Attention: cada token calcula relevancia con todos los demás usando Q, K, V en paralelo Convoluciones 1D sobre la secuencia de tokens Recurrencia bidireccional optimizada Pooling global sobre los embeddings

3

¿Qué es LoRA (Low-Rank Adaptation) y por qué es útil para fine-tuning de LLMs?

Congela pesos originales y entrena matrices de bajo rango, reduciendo parámetros entrenables de billones a millones Es un optimizador más eficiente que Adam Comprime el modelo para que ocupe menos VRAM sin modificar pesos Entrena solo las últimas capas del modelo

4

¿Cuál es el orden correcto de las etapas en un pipeline RAG estándar?

Indexación → Retrieval → Augmentation → Generation Generation → Retrieval → Augmentation → Indexación Retrieval → Indexación → Generation → Augmentation Augmentation → Generation → Retrieval → Indexación

5

¿Por qué pgvector puede ser una buena elección frente a bases vectoriales dedicadas como Pinecone?

Se integra en PostgreSQL existente, permitiendo queries SQL + vectoriales sin infraestructura adicional Es más rápido que Pinecone en todos los escenarios Soporta más dimensiones de embedding que cualquier otra opción Es la única opción que funciona con embeddings de OpenAI

6

¿Qué es HyDE (Hypothetical Document Embedding) y cuándo es útil?

Genera un documento hipotético con el LLM y usa su embedding para buscar docs reales similares, mejorando retrieval semántico Crea embeddings más pequeños para ahorrar almacenamiento Es un modelo de embedding más preciso que text-embedding-3 Genera múltiples queries del usuario para buscar en paralelo

7

¿Cuál es la diferencia entre los patrones ReAct y Plan-and-Execute para agentes de IA?

ReAct razona y actúa paso a paso (reactivo); Plan-and-Execute crea un plan completo primero y luego ejecuta ReAct usa más tokens y Plan-and-Execute es siempre más barato Plan-and-Execute no puede usar herramientas externas Son idénticos pero con diferente nombre

8

¿Qué ventaja ofrece LangGraph sobre chains lineales de LangChain para agentes complejos?

LangGraph permite ciclos, condicionales y estado mutable en un grafo, mientras que chains son secuenciales LangGraph es más rápido porque usa menos memoria LangGraph reemplaza completamente la necesidad de LLMs LangGraph solo funciona con modelos de OpenAI

9

¿Cuál es el riesgo principal de sistemas multi-agente con comunicación libre entre agentes?

Errores se acumulan entre agentes (telephone game) y el consumo de tokens se multiplica exponencialmente Los agentes compiten por recursos de CPU No se puede usar más de 3 agentes simultáneamente Los modelos rechazan interactuar con otros agentes por diseño

10

¿Por qué es importante usar VPC Endpoints para servicios como Amazon Bedrock?

El tráfico permanece en la red privada de AWS (PrivateLink), evitando internet público y mejorando seguridad y latencia Es obligatorio para usar Bedrock; sin VPC Endpoint no funciona Reduce el costo de Bedrock en un 50% Permite usar modelos de Bedrock offline sin conexión

11

¿Qué ofrece Amazon Bedrock Knowledge Bases que simplifica la implementación de RAG?

Automatiza ingesta, chunking, embedding, almacenamiento vectorial y retrieval como servicio managed Provee modelos pre-entrenados específicos para cada industria Permite entrenar modelos custom desde cero en Bedrock Es más barato que usar OpenAI directamente

12

¿Cuál es la estrategia más efectiva para reducir costos de LLM en producción sin sacrificar calidad?

Model routing inteligente (modelo barato para queries simples, potente para complejos) + semantic cache Siempre usar el modelo más barato disponible Reducir el max_tokens a valores muy bajos Hacer batch de todos los requests y procesarlos una vez al día

13

¿Por qué FastAPI es particularmente adecuado para APIs de IA comparado con frameworks síncronos como Flask?

async/await nativo permite manejar cientos de requests concurrentes durante llamadas I/O-bound a LLMs FastAPI es más rápido porque está escrito en C Flask no puede conectarse a APIs de OpenAI o Anthropic FastAPI incluye un SDK de LLM integrado

14

¿Cómo se testea correctamente el componente de LLM en tests unitarios sin hacer llamadas reales?

Mockear el cliente LLM con respuestas predefinidas; tests de evaluación con LLM real van en CI separado No se puede testear IA, solo se valida manualmente Usar siempre el modelo real para que los tests sean fidedignos Crear un LLM local pequeño para tests

15

¿Qué son "quality gates" en un pipeline CI/CD para aplicaciones de IA?

Verificaciones que bloquean deploy si métricas de calidad IA (faithfulness, relevancy) no superan umbrales mínimos Revisiones manuales de código por el equipo de QA Límites de presupuesto mensual para APIs de LLM Firewalls que protegen los endpoints de la API

16

¿Cuál es el beneficio principal de usar HorizontalPodAutoscaler (HPA) para una API de IA en Kubernetes?

Escala pods automáticamente según métricas, asegurando rendimiento en picos y ahorro en período bajo Permite usar modelos más grandes distribuyéndolos entre pods Reduce la latencia del LLM al dividir el prompt entre pods Es obligatorio para ejecutar containers en Kubernetes

17

¿Qué debe registrar un experiment tracker para cada variación de un pipeline RAG?

Configuración completa, métricas de calidad, métricas operacionales (latencia, costo) y artefactos (prompts) Solo las métricas de calidad del modelo Solo el código fuente en un commit de Git Un screenshot del resultado

18

¿Qué es "drift detection" en el contexto de monitoreo de IA en producción?

Detectar degradación gradual en calidad comparando ventanas de métricas históricas vs recientes Detectar cuando el servidor se mueve a otra región de AWS Monitorear cambios en el código fuente del modelo Verificar que los embeddings no cambien de dimensión

19

¿Cuál es la mejor forma de calcular el ROI de un producto de IA para presentar a stakeholders?

(Valor tangible generado — costo total) / costo × 100, usando datos reales de tickets evitados, horas ahorradas o revenue Comparar el costo de la API con el salario de un empleado Medir cuántos requests procesa el sistema por segundo El ROI no se puede medir en productos de IA

20

¿Cómo se traduce "hallucination rate: 3%" a lenguaje de negocio para un stakeholder no técnico?

"97% de respuestas son correctas y verificables; solo 3% puede tener imprecisiones, con detección automática" Mostrar un gráfico técnico con la distribución de hallucination scores "El modelo alucina el 3% de las veces" — usar el término técnico directamente No mencionarlo, solo hablar de las métricas positivas

0 / 20 correctas