docs: mise à jour complète du README pour refléter l'état de la v0.16.0 (super-admin, multi-fournisseurs, finances, avatars)

README.md

@@ -5,124 +5,65 @@ Ce projet est un laboratoire d'intelligence artificielle personnel. Il agit comm
 L'interface visuelle est inspirée de l'ergonomie de Gemini, avec le logo stylisé A38 (cerveau en réseau neuronal néon) comme charte graphique centrale.
 
 ## 🏗️ Stack Technique & Architecture
-
-* **Backend :** FastAPI (Python) modulaire (une fonction = un module) asynchrone (httpx, asyncio).
-* **Frontend :** Vue.js + Tailwind CSS (Responsive / Mobile-first).
-* **Base de Données :** PostgreSQL (gestion des utilisateurs, historiques, suivi financier).
-* **Traitement Documentaire :** LibreOffice Headless (génération/conversion Excel, Word, PDF).
-* **Déploiement :** Docker, géré via Dockge et Gitea, sécurisé sur grappe RAID.
+- **Backend :** FastAPI (Python) modulaire et asynchrone (httpx, asyncio).
+- **Frontend :** Vue.js + Tailwind CSS (Responsive / Mobile-first).
+- **Base de Données :** PostgreSQL (gestion des utilisateurs, historiques, suivi financier, rôles hiérarchiques).
+- **Traitement Documentaire :** LibreOffice Headless (génération/conversion Excel, Word, PDF).
+- **Déploiement :** Docker, géré via Dockge et Gitea, sécurisé sur grappe RAID.
 
 ## 📌 Règles de Versioning (SemVer)
-
 Le développement suit un versioning strict (format `vX.Y.Z`) synchronisé avec les tags Gitea et GitHub, affiché dynamiquement sur l'interface :
-
-* **Majeur (X) :** Changement profond d'architecture ou refonte globale.
-* **Mineur (Y) :** Validation et ajout d'une nouvelle fonctionnalité de la roadmap.
-* **Patch (Z) :** Corrections de bugs, correctifs de sécurité ou ajustements visuels mineurs.
+- **Majeur (X) :** Changement profond d'architecture ou refonte globale.
+- **Mineur (Y) :** Validation et ajout d'une nouvelle fonctionnalité de la roadmap.
+- **Patch (Z) :** Corrections de bugs, correctifs de sécurité ou ajustements visuels mineurs.
 
 ## 📦 Récupération des Paquets Docker (Tags)
-
 Les images Docker sont construites automatiquement par les pipelines CI/CD lors de la création d'un tag.
-
-* **Sur Gitea :** Depuis la page principale de votre dépôt, naviguez dans l'onglet **Packages** (ou Paquets). Vous y trouverez le registre de conteneurs avec toutes les versions taguées (`v0.10.1`, `latest`, etc.).
-* **Sur GitHub :** Depuis la page principale du dépôt, regardez dans la colonne de droite la section **Packages**. Cliquez dessus pour accéder au GitHub Container Registry (`ghcr.io/votre-utilisateur/aethas38-multi-ia`) et visualiser la liste des tags disponibles à tirer via Docker/Dockge.
+- **Sur Gitea :** Depuis la page principale de votre dépôt, naviguez dans l'onglet **Packages** (ou Paquets). Vous y trouverez le registre de conteneurs avec toutes les versions taguées (`v0.16.0`, `latest`, etc.).
+- **Sur GitHub :** Depuis la page principale du dépôt, regardez dans la colonne de droite la section **Packages**. Cliquez dessus pour accéder au GitHub Container Registry (`ghcr.io/votre-utilisateur/aethas38-multi-ia`) et visualiser la liste des tags disponibles à tirer via Docker/Dockge.
 
 ## 🚀 ROADMAP & CAHIER DES CHARGES
 
 ### Sécurité & Infrastructure
-
-* [x] Installation stricte via Dockge et Gitea (création automatique des dossiers inclus).
-
-
-* [x] Sécurisation de la totalité du projet (fichiers, BDD PostgreSQL) sur le stockage RAID.
-
-
-* [x] Mots de passe cryptés (bcrypt), protection anti-brute force.
-
-
-* [x] Authentification 2FA obligatoire (Keepassium, Authenticator, etc.).
-
-
-* [x] Déconnexion automatique (timer invisible / session JWT) après 60 minutes d'inactivité.
-
-
-* [x] Configuration de GitHub Actions / Gitea Actions pour la création automatique des paquets Docker (Tags SemVer + latest).
-
-
-* [x] Horodatage UTC en base de données pour immunité au changement d'heure français (Prévention crash 2FA).
-
-
-* [x] Rotation automatique des logs système : génération d'un fichier log par jour avec purge stricte des fichiers de plus de 7 jours.
-* [ ] Procédure de réinitialisation/modification du mot de passe (Admin et Utilisateurs).
-
-
+- [x] Installation stricte via Dockge et Gitea (création automatique des dossiers inclus).
+- [x] Sécurisation de la totalité du projet (fichiers, BDD PostgreSQL) sur le stockage RAID.
+- [x] Mots de passe cryptés (bcrypt), protection anti-brute force.
+- [x] Authentification 2FA obligatoire (Keepassium, Authenticator, etc.).
+- [x] Déconnexion automatique (timer invisible / session JWT) après 60 minutes d'inactivité.
+- [x] Configuration de GitHub Actions / Gitea Actions pour la création automatique des paquets Docker (Tags SemVer + latest).
+- [x] Horodatage UTC en base de données pour immunité au changement d'heure français (Prévention crash 2FA).
+- [x] Rotation automatique des logs système : génération d'un fichier log par jour avec purge stricte des fichiers de plus de 7 jours.
+- [x] Procédure de modification sécurisée du mot de passe (Utilisateurs et Admins).
 
 ### Administration & Gestion des Utilisateurs
-
-* [x] Assistant de première installation (création du compte admin complet).
-
-
-* [x] Refonte du setup initial (Super Admin) : Obligation de configurer le serveur mail (aide opérateurs FR/Gmail) et paramétrage complet des clés fournisseurs IA (OpenRouter, Groq, Gemini, DeepSeek, Mistral, Cloudflare, HF).
-* [x] Intégration de la roue crantée (Paramètres) en bas de la barre latérale.
-* [ ] Page de configuration Utilisateur : changement d'email (avec validation via lien envoyé) et de mot de passe.
-
-
-* [ ] Page de configuration Admin : ajout/modification de fournisseurs, clés API, et serveur mail en permanence.
-
-
-* [ ] Hiérarchie des rôles : Un Admin peut proposer l'élévation d'un User en Admin (formulaire soumis à la validation exclusive du Super Admin).
-
-
-* [ ] Export de l'activité Admin : Fichier Excel avec KPI, graphiques "camembert", et suivi financier par utilisateur.
-
-
-* [ ] Suivi financier en temps réel et vérification du budget API.
-
-
-* [ ] Envoi de rapport d'activité automatisé chaque jeudi à 04h00.
-
-
+- [x] Assistant de première installation : le premier utilisateur initiateur devient automatiquement le **Super-Admin** unique du projet.
+- [x] Refonte du setup initial (Super-Admin) : configuration du serveur mail (opérateurs FR/Gmail) et paramétrage complet des clés fournisseurs IA.
+- [x] Intégration de la roue crantée (Paramètres) en bas de la barre latérale.
+- [x] Page de configuration par niveau (Super-Admin, Admin, Utilisateur).
+- [x] Upload et personnalisation d'avatar utilisateur (redimensionnement et adaptation dynamique).
+- [ ] Hiérarchie des rôles : Un Admin peut proposer l'élévation d'un User en Admin (soumis à validation exclusive du Super-Admin).
+- [ ] Export de l'activité Admin : Fichier Excel avec KPI, graphiques "camembert", et suivi financier par utilisateur.
+- [ ] Envoi de rapport d'activité automatisé chaque jeudi à 04h00.
 
 ### Expérience Utilisateur (UI/UX)
-
-* [x] Thème moderne (Gemini-like) et 100% compatible smartphones.
-
-
-* [x] Refonte de la gestion des projets : séparation Épinglés (en haut) / Non Épinglés (Récents).
-
-
-* [x] Arrêt de la création automatique de nouveau projet à l'ouverture.
-
-
-* [x] Intégration permanente du logo AETHAS38 en local (Setup / Login / Dashboard).
-
-
-* [x] Indicateur visuel (Loader/Animation) signalant que l'IA AETHAS38 "réfléchit" ou travaille.
-* [x] Fonctionnalité de renommage manuel des discussions/projets.
-* [ ] Affichage natif et fluide des images directement dans le flux de la discussion.
-* [ ] Système de partage des réponses sur les réseaux et messageries externes (Facebook, WhatsApp, etc.).
+- [x] Thème moderne (Gemini-like) et 100% compatible smartphones.
+- [x] Refonte de la gestion des projets : séparation Épinglés (en haut) / Non Épinglés (Récents).
+- [x] Arrêt de la création automatique de nouveau projet à l'ouverture.
+- [x] Intégration permanente du logo AETHAS38 en local (Setup / Login / Dashboard).
+- [x] Indicateur visuel (Loader/Animation) signalant que l'IA AETHAS38 "réfléchit" ou travaille.
+- [x] Fonctionnalité de renommage manuel des discussions/projets.
+- [x] Affichage permanent et non invasif des soldes financiers fournisseurs sous le profil utilisateur, mis à jour après chaque requête.
+- [ ] Affichage natif et fluide des images directement dans le flux de la discussion.
+- [ ] Système de partage des réponses sur les réseaux et messageries externes (Facebook, WhatsApp, etc.).
 
 ### Moteur IA, Modèles & Fonctionnalités
-
-* [x] Cœur asynchrone pour la parallélisation des appels API (module `orchestrator.py`).
-* [ ] Pipeline multi-agents complet avec sélection dynamique :
-* Possibilité de sélectionner de 1 à 5 travailleurs IA en parallèle.
-* Si un seul travailleur est sélectionné, bypass automatique du prompteur et du concaténeur.
-* Si > 1 travailleur, activation de la chaîne complète (1 Prompteur ➔ N Travailleurs ➔ 1 Concaténeur).
-
-
-* [ ] Extraction, mise à jour (via tâche planifiée CRON toutes les 12h ou manuelle) et gestion des modèles depuis les API fournisseurs vers la BDD.
-* [ ] Page spécifique d'interface pour les modèles permettant l'export, l'import manuel d'un fichier d'extraction, et la sélection.
-* [ ] Extraction unitaire des retours IA.
-* [ ] Extraction/Téléchargement de la totalité d'une conversation dans des formats utiles aux différents fournisseurs (JSONL, TXT, etc.).
-* [ ] Détection et téléchargement ciblé de pièces jointes ou blocs spécifiques (Code brut, fichiers Excel `.xlsx`) générés par l'IA en respectant le nommage exact demandé.
-* [ ] Classement, filtrage (Gratuit/Payant) et catégorisation des modèles (Texte, Code, Image, Audio, Vidéo).
-
-
-* [ ] Traduction automatisée des descriptions des modèles via Ollama (local) ou Gemini.
-
-
-* [ ] Interface d'aide à la décision pour le choix des modèles selon la tâche souhaitée.
-
-
-* [ ] Mécanisme de fallback / termes génériques pour les appels API (protection contre le dépassement des quotas Gemini).
+- [x] Cœur asynchrone pour la parallélisation des appels API (module `orchestrator.py`).
+- [x] Pipeline multi-agents complet avec sélection dynamique par requête :
+  - Sélection de 1 à 5 travailleurs IA en parallèle.
+  - Si 1 seul travailleur : bypass automatique du prompteur et du concaténeur.
+  - Si > 1 travailleur : chaîne complète active (1 Prompteur ➔ N Travailleurs ➔ 1 Concaténeur).
+- [x] Extraction universelle et multi-fournisseurs (OpenRouter, Groq, DeepSeek, Mistral, Gemini, Cloudflare) avec timeout étendu à 90 secondes.
+- [x] Tâche planifiée (CRON) pour la mise à jour automatique des modèles toutes les 12h (00h00 et 12h00 heure de Paris).
+- [x] Page dédiée aux modèles : export, import manuel de fichiers d'extraction JSON, filtrage par prix (Gratuit/Payant), domaine (Code, Texte, Vision, Audio) et recherche textuelle.
+- [x] Extraction unitaire des retours IA et téléchargement global d'une conversation (formats TXT et JSON).
+- [x] Détection et téléchargement ciblé de blocs de code ou de données (ex: fichiers `.xlsx`, `.py`, `.csv`) générés par l'IA en respectant le nommage exact.

backend/orchestrator.py

@@ -3,6 +3,7 @@ import httpx
 from openai import AsyncOpenAI
 from fastapi import HTTPException
 from sqlalchemy.orm import Session
+from sqlalchemy.exc import IntegrityError
 from .models import SystemSettings, AIModel, FinancialLog
 from datetime import datetime, timezone
 
@@ -37,7 +38,7 @@ async def sync_finances(db: Session, settings: SystemSettings):
                 update_finance_db(db, "OpenRouter", balance, usage)
             except Exception as e: print(f"Erreur Finance OR: {e}")
             
-        # Groq (Gratuit Beta)
+        # Groq
         if settings.groq_api_key: update_finance_db(db, "Groq", 999.0, 0.0)
             
         # DeepSeek
@@ -49,10 +50,10 @@ async def sync_finances(db: Session, settings: SystemSettings):
                     update_finance_db(db, "DeepSeek", float(infos.get("total_balance", 0)), 0.0)
             except Exception: pass
 
-        # Mistral AI (Pas de route standard simple pour le budget public, on mock)
+        # Mistral AI
         if settings.mistral_api_key: update_finance_db(db, "Mistral", 0.0, 0.0)
         
-        # Gemini (Quota lié à GCP, pas de budget direct simple via API clé)
+        # Gemini
         if settings.gemini_api_key: update_finance_db(db, "Gemini", 0.0, 0.0)
 
     try: db.commit()
@@ -69,7 +70,9 @@ def update_finance_db(db, provider, balance, usage):
 
 async def sync_providers_models(db: Session, settings: SystemSettings, sync_type: str = "Automatique"):
     added = 0
-    # TIMEOUT PASSÉ À 90 SECONDES
+    # On stocke les modèles en mémoire avant de les envoyer en base pour éviter les doublons
+    models_to_process = {}
+
     async with httpx.AsyncClient(timeout=90.0) as client:
         # 1. OpenRouter
         if settings.openrouter_api_key:
@@ -78,6 +81,8 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                 if resp.status_code == 200:
                     for item in resp.json().get("data", []):
                         try:
+                            m_id = item.get("id")
+                            if not m_id: continue
                             pricing = item.get("pricing") or {}
                             try: pp = float(pricing.get("prompt") or 0.0) * 1000000
                             except: pp = 0.0
@@ -85,8 +90,7 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                             except: pc = 0.0
                             is_free = (pp == 0.0 and pc == 0.0)
                             desc = item.get("description", "Modèle OpenRouter.")[:200] + "..."
-                            process_model(db, "openrouter", item.get("id", "inconnu"), item.get("name", "Inconnu"), desc, determine_domain(item.get("id", "")), is_free, item.get("context_length", 0), pp, pc)
-                            added += 1
+                            models_to_process[m_id] = {"provider": "openrouter", "name": item.get("name", "Inconnu"), "desc": desc, "domain": determine_domain(m_id), "is_free": is_free, "ctx": item.get("context_length", 0), "pp": pp, "pc": pc}
                         except: pass
             except Exception as e: print(f"Erreur OR Models: {e}")
             
@@ -97,8 +101,8 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                 if resp.status_code == 200:
                     for item in resp.json().get("data", []):
                         try:
-                            process_model(db, "groq", item["id"], item["id"].capitalize(), "Modèle rapide LPU Groq.", determine_domain(item["id"]), True, 8192, 0.0, 0.0)
-                            added += 1
+                            m_id = item["id"]
+                            models_to_process[m_id] = {"provider": "groq", "name": m_id.capitalize(), "desc": "Modèle rapide LPU Groq.", "domain": determine_domain(m_id), "is_free": True, "ctx": 8192, "pp": 0.0, "pc": 0.0}
                         except: pass
             except Exception: pass
 
@@ -109,8 +113,8 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                 if resp.status_code == 200:
                     for item in resp.json().get("data", []):
                         try:
-                            process_model(db, "deepseek", item["id"], item["id"].capitalize(), "Modèle officiel DeepSeek.", determine_domain(item["id"]), False, 64000, 0.14, 0.28)
-                            added += 1
+                            m_id = item["id"]
+                            models_to_process[m_id] = {"provider": "deepseek", "name": m_id.capitalize(), "desc": "Modèle officiel DeepSeek.", "domain": determine_domain(m_id), "is_free": False, "ctx": 64000, "pp": 0.14, "pc": 0.28}
                         except: pass
             except Exception: pass
 
@@ -121,8 +125,8 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                 if resp.status_code == 200:
                     for item in resp.json().get("data", []):
                         try:
-                            process_model(db, "mistral", item["id"], item["id"].capitalize(), "Modèle officiel Mistral AI.", determine_domain(item["id"]), False, 32000, 0.2, 0.6)
-                            added += 1
+                            m_id = item["id"]
+                            models_to_process[m_id] = {"provider": "mistral", "name": m_id.capitalize(), "desc": "Modèle officiel Mistral AI.", "domain": determine_domain(m_id), "is_free": False, "ctx": 32000, "pp": 0.2, "pc": 0.6}
                         except: pass
             except Exception: pass
 
@@ -135,9 +139,7 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                         try:
                             m_id = item["name"].replace("models/", "")
                             desc = item.get("description", "Modèle Google Gemini.")[:200] + "..."
-                            ctx = item.get("inputTokenLimit", 32000)
-                            process_model(db, "gemini", m_id, item.get("displayName", m_id), desc, determine_domain(m_id), True, ctx, 0.0, 0.0)
-                            added += 1
+                            models_to_process[m_id] = {"provider": "gemini", "name": item.get("displayName", m_id), "desc": desc, "domain": determine_domain(m_id), "is_free": True, "ctx": item.get("inputTokenLimit", 32000), "pp": 0.0, "pc": 0.0}
                         except: pass
             except Exception: pass
 
@@ -151,11 +153,27 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
                         try:
                             m_id = item.get("name")
                             desc = item.get("description", "Modèle Cloudflare Workers AI.")[:200] + "..."
-                            process_model(db, "cloudflare", m_id, m_id.split("/")[-1], desc, determine_domain(m_id), True, 4096, 0.0, 0.0)
-                            added += 1
+                            models_to_process[m_id] = {"provider": "cloudflare", "name": m_id.split("/")[-1], "desc": desc, "domain": determine_domain(m_id), "is_free": True, "ctx": 4096, "pp": 0.0, "pc": 0.0}
                         except: pass
             except Exception: pass
 
+    # --- Phase d'enregistrement sécurisée ---
+    for m_id, data in models_to_process.items():
+        try:
+            existing = db.query(AIModel).filter(AIModel.model_id == m_id).first()
+            if existing:
+                existing.pricing_prompt = data["pp"]; existing.pricing_completion = data["pc"]; existing.is_free = data["is_free"]; existing.last_updated = datetime.now(timezone.utc)
+            else:
+                db.add(AIModel(provider=data["provider"], model_id=m_id, name=data["name"], description_fr=data["desc"], domain=data["domain"], is_free=data["is_free"], context_length=data["ctx"], pricing_prompt=data["pp"], pricing_completion=data["pc"]))
+            added += 1
+            # Commit très fréquent pour éviter les gros blocs qui plantent
+            if added % 50 == 0:
+                db.commit()
+        except IntegrityError:
+            db.rollback() # Si conflit, on annule cette insertion et on continue
+        except Exception:
+            db.rollback()
+
     try:
         settings.last_sync_date = datetime.now(timezone.utc)
         settings.last_sync_type = sync_type
@@ -167,15 +185,6 @@ async def sync_providers_models(db: Session, settings: SystemSettings, sync_type
     await sync_finances(db, settings)
     return {"status": "success", "models_processed": added}
 
-def process_model(db, provider, mod_id, name, desc, domain, is_free, ctx, pp, pc):
-    try:
-        existing = db.query(AIModel).filter(AIModel.model_id == mod_id).first()
-        if existing:
-            existing.pricing_prompt = pp; existing.pricing_completion = pc; existing.is_free = is_free; existing.last_updated = datetime.now(timezone.utc)
-        else:
-            db.add(AIModel(provider=provider, model_id=mod_id, name=name, description_fr=desc, domain=domain, is_free=is_free, context_length=ctx, pricing_prompt=pp, pricing_completion=pc))
-    except Exception: pass
-
 def get_client_for_model(db: Session, model_id: str, settings: SystemSettings):
     """Récupère dynamiquement le bon client OpenAI en fonction du fournisseur du modèle."""
     model_db = db.query(AIModel).filter(AIModel.model_id == model_id).first()