≡En resumen
- Un modelo local procesa tus datos en tu máquina: nada sale a servidores de terceros.
- Ollama y LM Studio permiten descargar y usar un modelo abierto en pocos minutos.
- La memoria (RAM o VRAM) decide qué tamaño de modelo puedes mover con soltura.
- Los modelos locales son buenos para tareas acotadas; para razonamiento complejo los modelos en la nube siguen por delante.
- Claude no se puede ejecutar en local, pero Claude Code puede conectarse a modelos abiertos servidos por Ollama.
01 ¿Qué son los modelos de IA locales?
Cuando usas Claude o ChatGPT, tu mensaje viaja a los servidores del proveedor, el modelo de lenguaje lo procesa allí y te devuelve la respuesta. Un modelo local invierte el esquema: descargas el archivo del modelo y lo ejecutas en tu portátil, en un servidor de la oficina o en tu propia nube. Las peticiones no salen de tu infraestructura.
Esto es posible porque cada vez más empresas publican modelos de pesos abiertos: Meta con Llama, Alibaba con Qwen, Mistral AI, Google con Gemma, DeepSeek u OpenAI con gpt-oss. Anthropic no lo hace, así que Claude solo está disponible como servicio en la nube.
02 Ventajas e inconvenientes de la IA en local
| Aspecto | Modelo local | Modelo en la nube (Claude, GPT, Gemini) |
|---|---|---|
| Privacidad | Los datos no salen de tu equipo | Dependes de las condiciones y la ubicación del proveedor |
| Calidad | Buena en tareas concretas; menor en razonamiento largo y código complejo | La más alta disponible |
| Coste | Inversión en hardware y electricidad; sin pago por token | Pago por uso o suscripción, sin hardware |
| Sin conexión | Funciona sin internet | Necesita conexión |
| Mantenimiento | Actualizar modelos, servidor y seguridad es cosa tuya | Lo gestiona el proveedor |
| Contexto y velocidad | Limitados por tu memoria y tu GPU | Ventanas de contexto grandes y alta velocidad |
03 Herramientas para ejecutar modelos en local
Ollama
Línea de comandos y app de escritorio: ollama run y el nombre del modelo, y listo. Expone una API local en el puerto 11434, compatible también con el formato de la API de Anthropic.
LM Studio
Aplicación de escritorio con interfaz gráfica para buscar, descargar y chatear con modelos, y un servidor local compatible con la API de OpenAI.
llama.cpp
El motor de código abierto en C/C++ en el que se apoyan muchas herramientas. Creó el formato GGUF y permite ajustar cada detalle.
vLLM
Servidor de inferencia de alto rendimiento para GPU, pensado para servir un modelo a muchos usuarios a la vez en producción.
-
1
Instala Ollama
Descárgalo desde su web oficial para macOS, Windows o Linux.
-
2
Elige un modelo que quepa
Empieza por uno pequeño (entre 3.000 y 8.000 millones de parámetros) para comprobar la velocidad en tu equipo.
-
3
Descárgalo y pruébalo
Ejecuta ollama run seguido del nombre del modelo de su catálogo y chatea desde la terminal.
-
4
Conéctalo a tus aplicaciones
Usa la API local desde tus scripts, desde n8n o desde una interfaz web de chat.
04 Qué hardware necesitas para un modelo local
Lo que manda es la memoria: el modelo entero tiene que caber en la VRAM de la tarjeta gráfica o, en los Mac con Apple Silicon, en la memoria unificada. Por eso se usan modelos cuantizados, que guardan cada parámetro con menos bits (por ejemplo, 4 en lugar de 16) a cambio de una pequeña pérdida de calidad. Si te interesa el lado físico, en el glosario tienes qué es el hardware y sus componentes.
| Tamaño del modelo | Memoria orientativa | Equipo típico | Para qué da |
|---|---|---|---|
| 3-8 mil millones de parámetros | 8-16 GB | Portátil reciente o Mac con 16 GB | Resúmenes, clasificación, extracción de datos, chat sencillo |
| 12-32 mil millones | 16-32 GB | GPU de gama alta o Mac con 32 GB o más | Redacción, asistentes internos, código sencillo |
| 70 mil millones o más | 48 GB o más | Varias GPU, estación de trabajo o servidor | Tareas más exigentes, cerca de modelos comerciales de generaciones anteriores |
05 Modelos locales y Claude Code
Ollama implementa el formato de la API de mensajes de Anthropic, de modo que Claude Code puede trabajar con un modelo abierto servido desde tu máquina. Es útil para tareas sencillas sin conexión o para experimentar sin coste por token, pero recuerda que el «cerebro» deja de ser Claude: la calidad será la del modelo que elijas.
-
1
Usa el lanzador de Ollama
Su documentación incluye el comando ollama launch claude, que configura la conexión por ti.
-
2
O configúralo a mano
Define ANTHROPIC_BASE_URL=http://localhost:11434 y ANTHROPIC_AUTH_TOKEN=ollama (el valor se ignora, pero es obligatorio) y deja ANTHROPIC_API_KEY vacía.
-
3
Arranca con un modelo
Ejecuta claude --model seguido del nombre de un modelo que tengas descargado en Ollama.
-
4
Amplía el contexto
Ollama recomienda una ventana de contexto de 64.000 tokens o más para trabajar con repositorios grandes.
06 Cuándo merece la pena un modelo local en tu empresa
- ✓Tratas datos que por contrato o normativa no pueden salir de tu infraestructura.
- ✓Necesitas funcionar sin conexión o en redes aisladas.
- ✓La tarea es repetitiva y acotada: clasificar, extraer campos, etiquetar, resumir.
- ✓El volumen es tan alto que el coste por token pesa más que el hardware.
- ✓Tienes a alguien que mantenga el servidor, las actualizaciones y la seguridad.
- ✓Has comparado la calidad con un modelo en la nube sobre tus propios ejemplos.
Una asesoría recibe cientos de documentos de clientes al mes. Un modelo local en un servidor de la oficina extrae fechas, importes y tipo de documento sin que salgan de la red. Solo los casos dudosos, ya anonimizados, se envían a un modelo más potente en la nube para revisión.
Diseñar esa arquitectura (qué va en local, qué va a la nube y cómo se conectan) es parte de las soluciones de inteligencia artificial para empresas que implantamos, por ejemplo para un chatbot con IA que consulta documentación interna sensible. Para ver más herramientas que funcionan en local, consulta nuestro índice de herramientas para Claude.
Preguntas frecuentes sobre Modelos de IA locales
Es un modelo de lenguaje que se ejecuta en tu propio ordenador o servidor en lugar de en la nube de un proveedor. Tus datos no salen de tu equipo y funciona incluso sin conexión.
No. Anthropic no publica los pesos de sus modelos, así que Claude solo se usa a través de sus apps, su API o plataformas cloud como Amazon Bedrock o Google Cloud Vertex AI.
Es una herramienta gratuita para descargar y ejecutar modelos de lenguaje abiertos en macOS, Windows y Linux con un solo comando. Ofrece una API local que pueden usar otras aplicaciones, incluido Claude Code.
Para modelos pequeños basta un portátil reciente con 16 GB de memoria o un Mac con Apple Silicon. Para modelos grandes necesitas GPU con mucha VRAM o un servidor dedicado.
Para tareas acotadas como clasificar o resumir pueden ser suficientes. En razonamiento complejo, programación avanzada y contexto largo, los grandes modelos en la nube siguen siendo claramente superiores.
Ayuda, porque los datos no salen de tu infraestructura, pero el cumplimiento depende también de la base legal, la seguridad, el control de accesos y la información a los interesados.
Fuentes consultadas
Sobre el autor
Germán Gutiérrez
Development Manager en appyweb
Dirige el equipo de desarrollo de appyweb: aplicaciones web y móviles, SaaS, integraciones y arquitectura de software.
Ver perfil en LinkedIn ↗