Qué modelo local encaja con tu hardware

La decepción más común con la IA local no es que no funcione. Es que alguien descarga el modelo más grande que ha visto recomendado en algún sitio, y entonces el ordenador o se cuelga o escupe una palabra por segundo. Después la conclusión es "lo local no sirve", cuando lo único equivocado era el tamaño.

Este playbook invierte el orden. Primero mirar tu hardware, de ahí deducir la clase de tamaño, y solo dentro de esa clase elegir según la tarea. Al final tienes dos candidatos y un método para compararlos con tu propio trabajo.

1. Averigua cuánta memoria hay realmente disponible

No cuenta la memoria que lleva el equipo, sino la que el modelo recibe de verdad.

En un Mac con Apple Silicon, procesador y gráfica comparten la misma memoria, y solo una parte va al modelo. Como orientación cuenta con dos tercios a tres cuartos: de 32 GB salen unos 22 GB utilizables, de 64 GB unos 45. La proporción exacta la fija tu entorno de ejecución y ha cambiado entre versiones, así que toma la cifra como referencia y no como promesa.

Con una tarjeta gráfica dedicada cuenta solo su memoria, independientemente de cuánta RAM lleve el equipo. Tampoco ahí la tienes entera: la salida de pantalla y los controladores ocupan entre medio giga y uno. De una tarjeta de 12 GB quedan por tanto unos 11 GB. Si el modelo no cabe, una parte se descarga al procesador principal, y ahí la velocidad se hunde.

Consejo: Si solo te quedas con un número, quédate con este: memoria utilizable, no memoria instalada.

2. Calcula el tamaño de un modelo a ojo

Una regla para el cálculo aproximado, sin buscar una tabla. Con la compresión habitual Q4, un modelo necesita aproximadamente la mitad de gigabytes que miles de millones de parámetros tiene. Un modelo de 8B queda en unos 4 a 5 GB, uno de 32B en unos 18 a 20 GB. Eso estima los pesos, no la necesidad total, y el tamaño exacto de descarga aparece de todos modos en cada modelo. Usa la fórmula para preseleccionar y la cifra real para decidir.

A eso se suma sitio para el contexto, es decir para lo que escribes y lo que el modelo retiene. Para conversaciones cortas basta con un gigabyte extra, con documentos largos bastante más.

Consejo: Planifica siempre dos o tres gigabytes de margen. Un modelo que cabe justo no deja sitio para tus textos y se vuelve lento con el primer documento largo.

3. Sitúate en una de cuatro clases

A fecha de agosto de 2026, con la compresión habitual Q4:

Las cifras de abajo son memoria utilizable, o sea la VRAM de una tarjeta gráfica o la parte de Apple Silicon del paso 1, no el número de la caja.

Con 8 GB utilizables funciona un modelo de la clase de 7 a 9 mil millones. Va, pero sin reserva para textos largos. Para resúmenes y tareas cortas basta.

Con 16 GB utilizables se vuelve cómodo. La misma clase corre fluida con contexto decente, o subes a 14 mil millones.

Con 24 a 32 GB utilizables llegas a la clase de 32 mil millones. Aquí lo local empieza a ser serio en contenido.

A partir de 44 GB utilizables son posibles modelos de la clase de 70 mil millones, que con Q4 ocupan según el modelo unos 38 a 42 GB. En Apple Silicon eso convierte los 64 GB instalados en el mínimo absoluto, y va justo: con dos tercios utilizables son unos 43 GB, o sea el modelo y casi nada de contexto. Esa clase solo resulta cómoda ahí con más. Es la clase en la que dejas de notar la diferencia con la nube en cada respuesta.

Consejo: Estos límites se mueven, y se mueven a tu favor, porque los modelos son cada vez más eficientes. Un modelo de 30B de hoy gana a uno de 70B de hace año y medio.

4. Elige dentro de tu clase según la tarea

Dentro de una clase de tamaño hay familias con puntos fuertes distintos. El panorama cambia rápido, así que aquí va el patrón en vez de un ranking que en tres meses será falso.

Para trabajo general con textos y multilingüismo, la familia Qwen de Alibaba es el estándar sólido de 2026, entre otras cosas porque muchos de sus modelos están bajo Apache 2.0 y existen en muchos tamaños. La licencia rige por modelo y por versión, no para una familia entera, así que el vistazo a la ficha del modelo sigue tocando. Para programar hay variantes coder propias dentro de las familias que, al mismo tamaño, son claramente mejores que el modelo general. Para dispositivos pequeños y memoria justa, la línea Gemma de Google está construida para la frugalidad. Quien quiera modelos que muestren su razonamiento los encuentra en las variantes de reasoning, por ejemplo la línea gpt-oss de OpenAI.

Consejo: No cojas nunca un modelo general para código si existe una variante coder de la misma familia. Con el mismo consumo de memoria esa diferencia es mayor que la que hay entre dos familias.

5. Mira la licencia antes de que sea comercial

Pesos abiertos no significa automáticamente uso libre. Apache 2.0 y MIT son sencillas, con ellas también puedes trabajar comercialmente. Otras licencias traen restricciones, por ejemplo sobre el número de usuarios o la atribución.

Las condiciones de licencia también rigen en privado, allí solo se notan menos. En cuanto hay un cliente de por medio o el modelo va dentro de un producto, la formalidad se convierte en riesgo.

Consejo: La licencia está en la ficha del modelo en Hugging Face. Un vistazo, treinta segundos, te ahorra una pregunta incómoda en una reunión comercial.

6. Descarga dos candidatos, no uno

El error es decidir de antemano. Descarga dos modelos de tu clase que vengan de familias distintas. El espacio no te cuesta nada permanente, y comparar con tu propio trabajo vale más que cualquier ranking.

Consejo: No cojas dos tamaños de la misma familia. Ahí gana el grande de forma previsible. Coge dos familias distintas al mismo tamaño, esa es la pregunta que de verdad tienes.

7. Constrúyete diez casos de prueba propios

Reúne diez tareas de tu día a día en las que puedas juzgar si el resultado sirve. Reformular un correo, resumir un acta, interpretar una tabla, lo que realmente hagas.

Ponlas en un archivo y manda cada una a los dos modelos. No valores mientras lees. Recoge primero las veinte respuestas y luego repásalas.

Consejo: Incluye tareas que a los modelos en la nube les cuesten. Ahí es justo donde se ve si lo local te basta.

8. Mide la velocidad, pero la correcta

Dos cifras pesan de forma distinta. El tiempo hasta la primera palabra lo notas enseguida en una conversación. Las palabras por segundo después solo las notas si bajan de tu velocidad de lectura.

Un modelo que arranca al segundo y luego escribe con ritmo se siente mejor que uno que piensa tres segundos y luego teclea más rápido. Para procesamiento masivo en segundo plano es justo al revés, ahí solo cuenta el rendimiento total.

Consejo: Mi límite personal está en unas diez palabras por segundo, más o menos la velocidad de lectura. Por debajo el trabajo se siente pesado. No es una norma medida sino una regla práctica; los entornos de ejecución informan de tokens y no de palabras, y el alemán necesita más tokens por palabra que el inglés. Si se siente pesado, baja una clase, el resultado global mejora.

9. Decídete y escribe el motivo

Elige el modelo que te haya convencido más veces en tus diez casos. No el de mejores números en benchmarks, no el que recomendaban en un foro.

Anota en dos frases por qué. Necesitarás esa nota dentro de tres meses, cuando llegue la siguiente generación y compares de nuevo. Entonces tendrás listos tanto los casos como el criterio.

Consejo: Guarda los diez casos de prueba. Son tu benchmark personal y valen más que cualquier ranking público, porque miden tu trabajo y no el de otro.

10. Cuenta con el cambio desde el principio

El modelo que elijas hoy no será el mejor dentro de medio año. Eso no es problema mientras no lo hayas cableado a fuego.

Mantén el nombre del modelo en un solo sitio de tu configuración, no repartido por diez scripts. Entonces cambiar es una línea. Quien escribe el nombre en todas partes deja de cambiar por comodidad y acaba trabajando dos generaciones por detrás.

Consejo: El mismo principio vale para los modelos en la nube. Cómo enterarse siquiera de los lanzamientos, en vez de descubrirlos por casualidad, está en Seguir la disponibilidad de modelos.

Qué sigue

Si aún no tienes ningún modelo funcionando, empieza por Tu primer modelo de IA local en 30 minutos. Si la cuestión del hardware está resuelta y ahora se trata del uso en la empresa, IA local y el RGPD cubre la parte legal. Y si quieres saber si tu propio equipo compensa frente a la nube, las cuentas están en Local o nube, las cuentas honestas.

Source

Las cifras de memoria son aproximaciones con compresión Q4, a fecha de agosto de 2026, y varían según la arquitectura del modelo y la longitud del contexto. Comprueba el valor concreto en la ficha del modelo.

• Ollama, biblioteca de modelos con tamaños: https://ollama.com/library
• Hugging Face, fichas de modelo con licencia y pesos: https://huggingface.co/models
• llama.cpp, documentación sobre niveles de cuantización: https://github.com/ggml-org/llama.cpp