▸ IA localPaso 1 gratis
Deja de elegir modelo a ojo: compara tus modelos locales con una batería de pruebas
Con promptfoo escribes tus pruebas en un archivo (preguntas de tu trabajo y qué debería contener la respuesta) y las pasas a varios modelos de Ollama a la vez. Ves en una tabla quién acierta más, y repites la prueba cada vez que sale un modelo nuevo.
Al terminar tendrás
- promptfoo instalado.
- Un archivo de pruebas con tus preguntas.
- Una tabla que compara 2 modelos locales.
En esta misión · 5 pasos · 23 min
Lo que vas a usar
23 min €0 16 GB RAM · sin GPU macOS · Windows
Antes de empezar
- 5 preguntas reales de tu trabajo con la respuesta que esperas.
1Paso 01 de 05 · ~6 min
Instala promptfoo y dos modelos
El examinador y los examinados.
- 1
Abre la terminal. En Mac: pulsa Cmd+Espacio, escribe Terminal y pulsa Enter. En Windows: pulsa la tecla Windows, escribe PowerShell y pulsa Enter.
TerminalmacOS$brew install --cask ollama-app$open -a OllamaTerminalmacOS$brew install promptfooAsí debería verse
promptfoo se instala con npm o con Homebrew; con npm necesita Node.js 22.22 o más nuevo.
Terminal$ollama pull gemma3$ollama pull llama3.2$promptfoo --versionTruco
🎉 Si promptfoo --version muestra un número, ¡nivel 1 superado!
¿Tu Mac dice «brew: command not found»? Instala Homebrew una vez
Homebrew es el instalador de programas que usamos en todas las misiones de Mac. Pega esto en la Terminal (es el comando oficial de brew.sh). Te pedirá la contraseña del Mac: al escribirla no se ve nada, es normal.
Instala HomebrewmacOS$/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"Al terminar, copia y ejecuta las líneas que salen bajo «Next steps», cierra la Terminal y ábrela de nuevo. Comprueba con brew --version.
Comprueba que funcionapromptfoo --version muestra un número y los dos modelos están descargados.
Si algo falla (3)
- Sale «brew: command not found»
- Te falta Homebrew. Instálalo con el comando de su web oficial, brew.sh, cierra la terminal, ábrela otra vez y repite.
- En Windows dice que no reconoce el comando nuevo
- Cierra PowerShell y ábrelo otra vez: la ventana vieja no sabe que acabas de instalar algo. Si lo que no reconoce es winget, actualiza «Instalador de aplicación» desde Microsoft Store.
- Sale «could not connect to ollama» o «connection refused»
- Ollama no está abierto. Ábrelo desde Aplicaciones (Mac) o el menú Inicio (Windows), espera a ver su icono junto al reloj y repite.
¿Sigues atascado? Pregunta en la comunidad Avisar de un error en este paso
- 1
Lo que desbloqueas
4 pasos · 4 comandos · 1 errores típicos resueltos
- 2Tu archivo de pruebas~6 min
Prompt, modelos y casos.
1 comando · comprobación incluida
- 3Pasa el examen~4 min
Todas las pruebas a los dos modelos.
2 comandos · 1 error resuelto · comprobación incluida
- 4Míralo en el navegador~3 min
La tabla con las respuestas completas.
1 comando · comprobación incluida
- 5Pon tus pruebas reales~4 min
Las que importan para tu trabajo.
Pasos 2–5 con el plan Anual
Primeros logros
Ya lo tienes funcionando. Pruébalo con esto:
Pruebas de tu trabajo
Casos reales con su comprobación.
Escribe 8 casos de prueba para evaluar un asistente que [tarea de tu trabajo]. Para cada uno: la entrada y 1-2 palabras que debe contener una buena respuesta.
Lee los resultados
Qué modelo elegir.
Estos son los resultados de mis pruebas con 2 modelos locales: [pega la tabla o el resumen]. ¿Cuál elijo para mi uso y qué pruebas añadirías?
Cómo deshacerlo
Desinstala promptfoo y borra los modelos que no uses.
$brew uninstall promptfoo$ollama rm llama3.2Haciendo esta misión juntos
Sé de los primeros en terminarla. Si te atascas, pregunta: quien ya la hizo te puede ayudar.