Bitácora · plan de ruta y estado

De Data Science a AI Engineering

El plan de trabajo detrás de los artefactos: qué hay que construir, cuándo cuenta como hecho y qué material lo apoya. El portfolio enseña lo que está vivo; esta página enseña el criterio. Un sistema que sobrevive en producción pesa más que cualquier certificado.

Artefactos entregados 0 / 6

—

0/0 pasos y material de apoyo

Antes de tocar frameworks, monta tú la llamada cruda. Si solo dominas la capa de LangChain, dominas algo que puede desaparecer; si entiendes el SDK por debajo, todo lo demás es conveniencia.

Artefacto Un mini-servicio (CLI o FastAPI) que usas tú mismo: recibe input y devuelve salida estructurada llamando al LLM por SDK directo.

Definición de «hecho» Lo ejecutas desde fuera de tu editor y devuelve JSON válido de forma fiable. No cuenta como hecho si solo corre dentro de un notebook.

Ver artefacto desplegado →

Llamada directa al SDK con OpenAI y Claude (compara ambos), sin framework de por medio

Salida estructurada (JSON / schema) validada antes de devolverla

Empaquetado como CLI o FastAPI mínima que de verdad uses para algo

Material de apoyo

Working with the OpenAI APIDataCamp

Introduction to Embeddings with the OpenAI APIDataCamp

La pieza diferenciadora: las 417 páginas del transcript TEA1 convertidas en conocimiento consultable. Nadie más tiene este dataset. Conecta DS-NEXUS con AI Engineering de forma literal.

Artefacto Un RAG sobre el corpus DOBE: le preguntas por tu framework y responde citando pasajes reales de las 417 páginas.

Definición de «hecho» Una pregunta sobre el corpus devuelve una respuesta apoyada en fragmentos reales, con la fuente citada. Si no puedes ver de qué pasaje sale la respuesta, no está hecho.

Privacidad resuelta por capas. El corpus es un proceso de autodescubrimiento — así que: el repo público no contiene corpus ni vectores (.gitignore), la imagen vive en registro privado, las claves van en Secret Manager y la consulta exige token. Demo real, acceso por token.

Ver artefacto desplegado →

Chunking + embeddings de las 417 páginas

Vector DB indexando el corpus (Chroma local primero; Pinecone solo si hay que escalar)

Interfaz de consulta que responde citando las fuentes recuperadas

Material de apoyo

Vector Databases for Embeddings with PineconeDataCamp

Retrieval Augmented Generation (RAG) with LangChainDataCamp

La pieza que más distingue en el mercado, y por eso va aquí y no al final. Construir un RAG es fácil; saber si funciona y detectar cuándo una versión nueva empeora es lo que separa portfolio de prototipo.

Artefacto Un script que puntúa el RAG contra un dataset de eval y avisa cuando una versión nueva empeora respecto a la anterior.

Definición de «hecho» Cambias algo del RAG, corres el harness y obtienes un número que dice si mejoró o empeoró. La evaluación a ojo no cuenta.

Herramienta interna, no desplegable. Un harness de evaluación no se sirve como demo: se ejecuta en local y su valor es la disciplina — evaluar, comparar, y una puerta que bloquea regresiones. Aquí cazó un falso positivo real del umbral del RAG antes de que llegara a producción.

Ver artefacto →

Dataset de eval: 7 casos golden etiquetados a mano (directas, síntesis, trampas, frontera)

LLM-as-judge que puntúa fidelidad (¿la respuesta sale de la fuente?) y relevancia

Reporte que compara versiones y marca regresiones

Material de apoyo

Métricas de evaluación: faithfulness, relevance, BLEU/ROUGE como contextoPropio

La intuición viene de Rex+Chef en DS-NEXUS. Esta fase le pone tool use formal: un agente que ejecuta herramientas reales, no que solo conversa. Dominio elegido: búsqueda de empleo — el agente lee una oferta, la contrasta con el CV y redacta un borrador de candidatura.

Artefacto Un agente de búsqueda de empleo con function calling: orquesta tres herramientas reales (analizar oferta · match con el CV · redactar borrador). Desplegado en Cloud Run tras un token.

Definición de «hecho» Le das una oferta, el agente decide qué herramienta llamar, la ejecuta y usa el resultado — vivo en internet. Si las herramientas son simuladas, no está hecho.

Ver artefacto desplegado →

Agent loop escrito a mano con el SDK de OpenAI (function calling), sin framework que lo esconda

Tres herramientas orquestadas por el modelo, con reglas de estilo horneadas en la redacción

CLI + API (FastAPI), desplegado en Cloud Run con token y secretos en Secret Manager

Material de apoyo

Building AI Agents with LangChain / LangGraphDataCamp

Técnicas que se aplican el mismo día que las aprendes — pero aquí con disciplina: cada cambio de prompt se mide con el harness del Artefacto 3. Prompt engineering sin evaluación es superstición.

Artefacto El agente versiona sus prompts y devuelve siempre estructura válida; cada cambio queda justificado por su impacto medido en la métrica.

Definición de «hecho» Puedes señalar un cambio de prompt y enseñar el número de eval que lo justifica. «Parece mejor» no cuenta.

El eval-set salió de bugs reales. Los tres fallos que el agente cometió de verdad (confundir GCP con AWS, marcar un nivel de idioma que sí estaba en el CV, saturar de cifras) se convirtieron en casos de prueba — cada uno emparejado con un caso de control que vigila que arreglarlo no rompa lo que ya funcionaba.

Ver artefacto desplegado → ⚑ El anexo CI/CD →

Prompts sacados del código a un catálogo versionado, con v1 idéntica byte a byte como línea base

Báscula híbrida: asserts para lo comprobable y juez LLM para el estilo, con casos de bug y de control emparejados

Few-shot y chain-of-thought aplicados solo donde mueven la métrica; A/B contra la línea base

Structured outputs con esquema validado en todo el pipeline, fail-closed

La báscula corre sola en GitHub Actions: cada push pasa por la puerta, con el listón calibrado sobre el ruido medido

Material de apoyo

Prompt engineeringNuclio · campus máster

Prompt Engineering for BusinessDataCamp

El cierre del ciclo. Desplegar ya se había hecho dos veces — lo que diferencia un script que corre en tu portátil de un sistema que sobrevive en producción es saber qué hace cuando no miras: la observabilidad.

Artefacto Un servicio en contenedor, con monitorización y coste por petición, corriendo donde alguien lo usa de verdad — el agente de empleo, instrumentado.

Definición de «hecho» El servicio está desplegado, alcanzable, y puedes decir cuánto cuesta cada petición y cuántas fallan. Correr en local no es producción.

El DoD se respondió con consultas, no con fe. Un medidor con carril por petición (ContextVar), una bitácora JSON que Cloud Logging indexa campo a campo, y las respuestas con datos de producción: $0.0020 por petición · 0 fallos duros o blandos. Y el error 500 declara su coste — un medidor que anota $0 en los fallos sufre sesgo de supervivencia.

Ver artefacto desplegado →

Docker + API del sistema, desplegado en GCP

Monitorización básica: latencia, tasa de errores, tokens y coste por petición

Decisión razonada sobre el stack M7: MLflow y Airflow evaluados y descartados con argumento — no hay pipeline que lo justifique

Material de apoyo

MLOps ConceptsDataCamp

Opcional · solo si sobra tiempo y un caso lo justifica

Fine-tuning

Fuera de la columna vertebral a propósito: es un agujero profundo y, para la mayoría de roles de AI Engineering en 2026, de retorno bajo para portfolio. RAG + prompting + evaluación + agentes cubren el ~90 % de los casos de producción reales. Solo si aparece un caso concreto que lo pida — entonces: Fine-Tuning with Llama 3 · DataCamp

Principio rector

Esta bitácora no se completa estudiando. Se completa desplegando.