AI - Ollama

Ollama és un client de models d'intel·ligència artificial

On this page

Introducció

Ollama …

Ollama és un client de models d’intel·ligència artificial, per tant és la base sobre la qual després instal·lar una IA que vulguis utilitzar.

Ollama tiene dos particularidades. La primera es que te permite usar una IA de forma local. Esto quiere decir que en vez de ir a la página de chat con inteligencia artificial de una empresa, el modelo está instalado en tu ordenador y lo utilizas directamente sin entrar en ninguna web.

Esto te favorece de tres maneras. Primero porque los datos de todo lo que haces se quedan en tu PC, de forma que ninguna empresa los utiliza. Segundo porque puedes usas la IA sin conexión a internet, y tercero porque puedes saltarte censuras que tenga un modelo de inteligencia artificial que estás utilizando en una web.

Y la segunda particularidad es que funciona a través de la terminal de tu ordenador, o el símbolo de sistema en Windows. Esto hace que no tengas que usar una aplicación aparte. Cuando instales Ollama, luego tendrás que usar la consola de tu dispositivo para instalar y ejecutar en ella el modelo que quieras, y las preguntas y los prompts los escribes en la consola, donde también tendrás las respuestas.

Get Started

Create a vGPU Linux desktop on Isard.

Paste this in the terminal to install Ollama:

Terminal window
curl -fsSL https://ollama.com/install.sh | sh

Run ollama in your terminal to open the interactive menu:

Terminal window
ollama

Navigate with ↑/↓, press enter to launch, → to change model, and esc to quit.

The menu provides quick access to:

  • Run a model – Start an interactive chat
  • Launch tools – Claude Code, Codex, OpenClaw, and more
  • Additional integrations – Available under “More…”

Terminal window
ollama list

Si el servidor Ollama s’està executant al port 11434:

Terminal window
ollama serve

Run

Abans de començar has d’anar a la web on veuràs tots els models d’IA disponibles. La web és ollama.com/search

Instal·la el model DeepSeek R1 8b paramter:

Terminal window
ollama pull deepseek-r1:8b

Comprova la disponibilitat amb:

Terminal window
ollama list


```shell
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    59 seconds ago

Utilitza la comanda per llançar el model a la teva terminal, com per exemple ollama run deepseek-r1:8b per llançar la versió 8b de DeepSeek R1.

Terminal window
ollama run deepseek-r1:8b

La primera vegada que facis servir la comanda primer s’instal·larà el model, però les següents ja el llançaràs directament.

Després d’escriure la comanda, es llançarà el model d’IA al terminal. Ho distingiràs perquè veus que al camp d’escriptura del terminal ara apareix un >>>, el que significa que el que escriguis s’enviarà al model d’intel·ligència artificial.

Ara, a la línia d’ordres del teu ordinador podràs escriure el prompt que vulguis llançar-li a la IA que hagis triat, i després d’uns segons començarà a generar-te la resposta.

Prompt

Páginas de prompts

GPU

To get the GPU info simply run:

Terminal window
sudo lshw -C display -short
lspci -v | more

To check if Ollama is using the GPU

The easiest way to check is while a model is currently running.

Open a second terminal and run:

Terminal window
ollama ps
NAME              ID              SIZE      PROCESSOR          CONTEXT    UNTIL
deepseek-r1:8b    6995872bfe4c    6.0 GB    53%/47% CPU/GPU    4096       4 minutes from now

Look at the PROCESSOR column:

  • 100% GPU: The entire model is running on your graphics card (Optimal).
  • 100% CPU: The model is running entirely on your system RAM/Processor (Slow).
  • Mixed (e.g., 40%/60%): Part of the model is on the GPU and part is on the CPU. This usually happens if your GPU doesn’t have enough VRAM for the full model.