Ce workshop, présenté à Devoxx FR 2024 et lors du Volcamp 2024 nécessite un certain nombre de prérequis que vous ne pourrez pas installer en début de séance à cause de leur taille. Merci donc de suivre la procédure suivante avant d’arriver au workshop.
En cas d’affluence, les animateurs du workshop se réservent le droit de donner la priorité aux participants qui auront installé les prérequis.
git clone https://github.com/bdauvissat/ragtime.git
cd ragtime
Assurez-vous d'avoir Java 17 ou plus installé et soit :
-
chargez le projet dans votre IDE favori,
-
ou téléchargez les librairies nécessaires en exécutant :
./mvnw dependency:resolve
Ollama est un serveur permettant de faire fonctionner des LLM localement sur votre machine. Deux options sont possibles en fonction de votre configuration: installation locale (recommandé) ou avec Docker.
En plus de l'installation de Ollama, il est nécessaire de télécharger Gemma 2B, le petit LLM utilisé pour le workshop qui peut fonctionner sur des configurations modestes.
Installation locale (recommandé)
Cette installation permettra à Ollama de tirer partie du GPU présent sur votre machine. Suivez les instructions sur https://ollama.com/download.
Une fois installé et lancé, téléchargez le modèle avec ollama pull gemma:2b.
Pour discuter avec le modèle, lancez ollama run gemma:2b et dites quelque chose, par exemple "Bonjour, comment vas-tu ?"
Installation avec Docker
Si l'installation locale n'est pas possible, lancez Ollama en exécutant la commande suivante :
docker compose up ollama
Une fois lancé, chargez le modèle avec
docker exec -it ollama-adelean ollama pull gemma:2b
Pour discuter avec le modèle, lancez docker exec -it ollama-adelean ollama run gemma:2b et dites quelque chose, par exemple "Bonjour, comment vas-tu ?"
Pour lancer l'application en "dev mode" qui permet aussi le live-reload, executez :
mvn quarkus:dev
La console de développement de Quarkus est alors disponible sur http://localhost:8080/q/dev/