llama.cpp

llama.cpp es una biblioteca de software libre escrita en C/C++ diseñada para la inferencia de modelos de lenguaje grandes (LLM). Está orientada a desarrolladores y usuarios técnicos que buscan ejecutar inteligencia artificial localmente sin depender de servicios en la nube, resolviendo la necesidad de privacidad, control y coste cero en la ejecución de modelos.

Sus funciones principales incluyen:

• Inferencia local para ejecutar modelos abiertos directamente en el dispositivo.
• API compatible que permite conectar agentes de código, editores y aplicaciones existentes.
• Gestión de modelos para descargar y cargar modelos según la memoria disponible.
• Interfaz de línea de comandos para usuarios avanzados que prefieren control total.
• Soporte multiplataforma para macOS, Linux y Windows.

El proyecto opera bajo licencia MIT y es de código abierto, destacando por su ligereza y capacidad de funcionar sin conexión. Al ser una herramienta de bajo nivel que requiere configuración manual en muchos casos, los usuarios pueden buscar alternativas que ofrezcan interfaces gráficas más sencillas o automatización de la configuración para reducir la barrera de entrada.