▸ IA localPaso 1 gratis

Haz que un modelo ocupe 3 veces menos: cuantiza tu propio GGUF con llama.cpp

Descargas un modelo pequeño en calidad completa (FP16), lo cuantizas tú mismo a 8 y a 4 bits con llama-quantize y comparas tamaño, velocidad y respuestas. Entiendes por qué los modelos que descargas se llaman Q4_K_M y cuál elegir.

Al terminar tendrás

Un modelo FP16 y sus versiones Q8_0 y Q4_K_M hechas por ti.
Una tabla con tamaño y velocidad de cada una.
Criterio para elegir cuantización.

En esta misión · 5 pasos · 20 min

1Instala llama.cpp4 min
2Descarga el modelo en calidad completa4 min
3Cuantiza a 8 y a 4 bits4 min
4Compara velocidad y respuestas5 min
5Saca tu regla3 min

Lo que vas a usar

llama.cppgithub.com/ggml-org/llama.cpp

20 min €0 8 GB RAM · sin GPU macOS · Windows

Antes de empezar

Haber hecho la misión de llama.cpp desde cero ayuda.
Unos 2 GB libres en disco.

1Paso 01 de 05 · ~4 min
Instala llama.cpp
Trae la herramienta llama-quantize.
1. 1
  Abre la terminal. En Mac: pulsa Cmd+Espacio, escribe Terminal y pulsa Enter. En Windows: pulsa la tecla Windows, escribe PowerShell y pulsa Enter.
  TerminalmacOS
```
$brew install llama.cpp
```
  Así debería verse
```
llama.cpp se puede instalar ya compilado con Homebrew en Mac y con winget en Windows.
```
2. 2
  Cierra la terminal y ábrela otra vez.
  Truco
  🎉 Si la instalación termina sin errores, ¡nivel 1 superado!
¿Tu Mac dice «brew: command not found»? Instala Homebrew una vez
Homebrew es el instalador de programas que usamos en todas las misiones de Mac. Pega esto en la Terminal (es el comando oficial de brew.sh). Te pedirá la contraseña del Mac: al escribirla no se ve nada, es normal.
Instala HomebrewmacOS
```
$/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
```
Al terminar, copia y ejecuta las líneas que salen bajo «Next steps», cierra la Terminal y ábrela de nuevo. Comprueba con brew --version.
Comprueba que funcionabrew o winget dicen que llama.cpp se ha instalado.
Si algo falla (2)
Sale «brew: command not found»
Te falta Homebrew. Instálalo con el comando de su web oficial, brew.sh, cierra la terminal, ábrela otra vez y repite.
En Windows dice que no reconoce el comando nuevo
Cierra PowerShell y ábrelo otra vez: la ventana vieja no sabe que acabas de instalar algo. Si lo que no reconoce es winget, actualiza «Instalador de aplicación» desde Microsoft Store.
¿Sigues atascado? Pregunta en la comunidad Avisar de un error en este paso
Lo que desbloqueas
4 pasos · 6 comandos · 2 errores típicos resueltos
1. 2Descarga el modelo en calidad completa~4 min
  Un modelo pequeño en FP16.
  2 comandos · comprobación incluida
2. 3Cuantiza a 8 y a 4 bits~4 min
  Dos órdenes.
  3 comandos · 1 error resuelto · comprobación incluida
3. 4Compara velocidad y respuestas~5 min
  La misma pregunta a los 3.
  1 comando · 1 error resuelto · comprobación incluida
4. 5Saca tu regla~3 min
  Cuál descargar a partir de hoy.
Pasos 2–5 con el plan Anual

Primeros logros

Ya lo tienes funcionando. Pruébalo con esto:

Entiende los nombres

Q4_K_M, Q8_0, IQ3…

Prompt para tu IA

Explícame como si tuviera 15 años qué significan Q8_0, Q5_K_M, Q4_K_M y Q3_K_S en los modelos GGUF y cuál elegir con [RAM] GB de RAM.

Compara respuestas

Juez neutral.

Prompt para tu IA

Te paso 3 respuestas a la misma pregunta hechas con el mismo modelo en distintas cuantizaciones. Dime cuál es mejor y si las diferencias importan: [pega las 3]