Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
4a9a0d8ec6 | ||
|
|
b554c983a6 | ||
|
|
007e723e4e |
No files matched your search
@@ -5,124 +5,65 @@ Ce projet est un laboratoire d'intelligence artificielle personnel. Il agit comm
|
||||
L'interface visuelle est inspirée de l'ergonomie de Gemini, avec le logo stylisé A38 (cerveau en réseau neuronal néon) comme charte graphique centrale.
|
||||
|
||||
## 🏗️ Stack Technique & Architecture
|
||||
|
||||
* **Backend :** FastAPI (Python) modulaire (une fonction = un module) asynchrone (httpx, asyncio).
|
||||
* **Frontend :** Vue.js + Tailwind CSS (Responsive / Mobile-first).
|
||||
* **Base de Données :** PostgreSQL (gestion des utilisateurs, historiques, suivi financier).
|
||||
* **Traitement Documentaire :** LibreOffice Headless (génération/conversion Excel, Word, PDF).
|
||||
* **Déploiement :** Docker, géré via Dockge et Gitea, sécurisé sur grappe RAID.
|
||||
- **Backend :** FastAPI (Python) modulaire et asynchrone (httpx, asyncio).
|
||||
- **Frontend :** Vue.js + Tailwind CSS (Responsive / Mobile-first).
|
||||
- **Base de Données :** PostgreSQL (gestion des utilisateurs, historiques, suivi financier, rôles hiérarchiques).
|
||||
- **Traitement Documentaire :** LibreOffice Headless (génération/conversion Excel, Word, PDF).
|
||||
- **Déploiement :** Docker, géré via Dockge et Gitea, sécurisé sur grappe RAID.
|
||||
|
||||
## 📌 Règles de Versioning (SemVer)
|
||||
|
||||
Le développement suit un versioning strict (format `vX.Y.Z`) synchronisé avec les tags Gitea et GitHub, affiché dynamiquement sur l'interface :
|
||||
|
||||
* **Majeur (X) :** Changement profond d'architecture ou refonte globale.
|
||||
* **Mineur (Y) :** Validation et ajout d'une nouvelle fonctionnalité de la roadmap.
|
||||
* **Patch (Z) :** Corrections de bugs, correctifs de sécurité ou ajustements visuels mineurs.
|
||||
- **Majeur (X) :** Changement profond d'architecture ou refonte globale.
|
||||
- **Mineur (Y) :** Validation et ajout d'une nouvelle fonctionnalité de la roadmap.
|
||||
- **Patch (Z) :** Corrections de bugs, correctifs de sécurité ou ajustements visuels mineurs.
|
||||
|
||||
## 📦 Récupération des Paquets Docker (Tags)
|
||||
|
||||
Les images Docker sont construites automatiquement par les pipelines CI/CD lors de la création d'un tag.
|
||||
|
||||
* **Sur Gitea :** Depuis la page principale de votre dépôt, naviguez dans l'onglet **Packages** (ou Paquets). Vous y trouverez le registre de conteneurs avec toutes les versions taguées (`v0.10.1`, `latest`, etc.).
|
||||
* **Sur GitHub :** Depuis la page principale du dépôt, regardez dans la colonne de droite la section **Packages**. Cliquez dessus pour accéder au GitHub Container Registry (`ghcr.io/votre-utilisateur/aethas38-multi-ia`) et visualiser la liste des tags disponibles à tirer via Docker/Dockge.
|
||||
- **Sur Gitea :** Depuis la page principale de votre dépôt, naviguez dans l'onglet **Packages** (ou Paquets). Vous y trouverez le registre de conteneurs avec toutes les versions taguées (`v0.16.0`, `latest`, etc.).
|
||||
- **Sur GitHub :** Depuis la page principale du dépôt, regardez dans la colonne de droite la section **Packages**. Cliquez dessus pour accéder au GitHub Container Registry (`ghcr.io/votre-utilisateur/aethas38-multi-ia`) et visualiser la liste des tags disponibles à tirer via Docker/Dockge.
|
||||
|
||||
## 🚀 ROADMAP & CAHIER DES CHARGES
|
||||
|
||||
### Sécurité & Infrastructure
|
||||
|
||||
* [x] Installation stricte via Dockge et Gitea (création automatique des dossiers inclus).
|
||||
|
||||
|
||||
* [x] Sécurisation de la totalité du projet (fichiers, BDD PostgreSQL) sur le stockage RAID.
|
||||
|
||||
|
||||
* [x] Mots de passe cryptés (bcrypt), protection anti-brute force.
|
||||
|
||||
|
||||
* [x] Authentification 2FA obligatoire (Keepassium, Authenticator, etc.).
|
||||
|
||||
|
||||
* [x] Déconnexion automatique (timer invisible / session JWT) après 60 minutes d'inactivité.
|
||||
|
||||
|
||||
* [x] Configuration de GitHub Actions / Gitea Actions pour la création automatique des paquets Docker (Tags SemVer + latest).
|
||||
|
||||
|
||||
* [x] Horodatage UTC en base de données pour immunité au changement d'heure français (Prévention crash 2FA).
|
||||
|
||||
|
||||
* [x] Rotation automatique des logs système : génération d'un fichier log par jour avec purge stricte des fichiers de plus de 7 jours.
|
||||
* [ ] Procédure de réinitialisation/modification du mot de passe (Admin et Utilisateurs).
|
||||
|
||||
|
||||
- [x] Installation stricte via Dockge et Gitea (création automatique des dossiers inclus).
|
||||
- [x] Sécurisation de la totalité du projet (fichiers, BDD PostgreSQL) sur le stockage RAID.
|
||||
- [x] Mots de passe cryptés (bcrypt), protection anti-brute force.
|
||||
- [x] Authentification 2FA obligatoire (Keepassium, Authenticator, etc.).
|
||||
- [x] Déconnexion automatique (timer invisible / session JWT) après 60 minutes d'inactivité.
|
||||
- [x] Configuration de GitHub Actions / Gitea Actions pour la création automatique des paquets Docker (Tags SemVer + latest).
|
||||
- [x] Horodatage UTC en base de données pour immunité au changement d'heure français (Prévention crash 2FA).
|
||||
- [x] Rotation automatique des logs système : génération d'un fichier log par jour avec purge stricte des fichiers de plus de 7 jours.
|
||||
- [x] Procédure de modification sécurisée du mot de passe (Utilisateurs et Admins).
|
||||
|
||||
### Administration & Gestion des Utilisateurs
|
||||
|
||||
* [x] Assistant de première installation (création du compte admin complet).
|
||||
|
||||
|
||||
* [x] Refonte du setup initial (Super Admin) : Obligation de configurer le serveur mail (aide opérateurs FR/Gmail) et paramétrage complet des clés fournisseurs IA (OpenRouter, Groq, Gemini, DeepSeek, Mistral, Cloudflare, HF).
|
||||
* [x] Intégration de la roue crantée (Paramètres) en bas de la barre latérale.
|
||||
* [ ] Page de configuration Utilisateur : changement d'email (avec validation via lien envoyé) et de mot de passe.
|
||||
|
||||
|
||||
* [ ] Page de configuration Admin : ajout/modification de fournisseurs, clés API, et serveur mail en permanence.
|
||||
|
||||
|
||||
* [ ] Hiérarchie des rôles : Un Admin peut proposer l'élévation d'un User en Admin (formulaire soumis à la validation exclusive du Super Admin).
|
||||
|
||||
|
||||
* [ ] Export de l'activité Admin : Fichier Excel avec KPI, graphiques "camembert", et suivi financier par utilisateur.
|
||||
|
||||
|
||||
* [ ] Suivi financier en temps réel et vérification du budget API.
|
||||
|
||||
|
||||
* [ ] Envoi de rapport d'activité automatisé chaque jeudi à 04h00.
|
||||
|
||||
|
||||
- [x] Assistant de première installation : le premier utilisateur initiateur devient automatiquement le **Super-Admin** unique du projet.
|
||||
- [x] Refonte du setup initial (Super-Admin) : configuration du serveur mail (opérateurs FR/Gmail) et paramétrage complet des clés fournisseurs IA.
|
||||
- [x] Intégration de la roue crantée (Paramètres) en bas de la barre latérale.
|
||||
- [x] Page de configuration par niveau (Super-Admin, Admin, Utilisateur).
|
||||
- [x] Upload et personnalisation d'avatar utilisateur (redimensionnement et adaptation dynamique).
|
||||
- [ ] Hiérarchie des rôles : Un Admin peut proposer l'élévation d'un User en Admin (soumis à validation exclusive du Super-Admin).
|
||||
- [ ] Export de l'activité Admin : Fichier Excel avec KPI, graphiques "camembert", et suivi financier par utilisateur.
|
||||
- [ ] Envoi de rapport d'activité automatisé chaque jeudi à 04h00.
|
||||
|
||||
### Expérience Utilisateur (UI/UX)
|
||||
|
||||
* [x] Thème moderne (Gemini-like) et 100% compatible smartphones.
|
||||
|
||||
|
||||
* [x] Refonte de la gestion des projets : séparation Épinglés (en haut) / Non Épinglés (Récents).
|
||||
|
||||
|
||||
* [x] Arrêt de la création automatique de nouveau projet à l'ouverture.
|
||||
|
||||
|
||||
* [x] Intégration permanente du logo AETHAS38 en local (Setup / Login / Dashboard).
|
||||
|
||||
|
||||
* [x] Indicateur visuel (Loader/Animation) signalant que l'IA AETHAS38 "réfléchit" ou travaille.
|
||||
* [x] Fonctionnalité de renommage manuel des discussions/projets.
|
||||
* [ ] Affichage natif et fluide des images directement dans le flux de la discussion.
|
||||
* [ ] Système de partage des réponses sur les réseaux et messageries externes (Facebook, WhatsApp, etc.).
|
||||
- [x] Thème moderne (Gemini-like) et 100% compatible smartphones.
|
||||
- [x] Refonte de la gestion des projets : séparation Épinglés (en haut) / Non Épinglés (Récents).
|
||||
- [x] Arrêt de la création automatique de nouveau projet à l'ouverture.
|
||||
- [x] Intégration permanente du logo AETHAS38 en local (Setup / Login / Dashboard).
|
||||
- [x] Indicateur visuel (Loader/Animation) signalant que l'IA AETHAS38 "réfléchit" ou travaille.
|
||||
- [x] Fonctionnalité de renommage manuel des discussions/projets.
|
||||
- [x] Affichage permanent et non invasif des soldes financiers fournisseurs sous le profil utilisateur, mis à jour après chaque requête.
|
||||
- [ ] Affichage natif et fluide des images directement dans le flux de la discussion.
|
||||
- [ ] Système de partage des réponses sur les réseaux et messageries externes (Facebook, WhatsApp, etc.).
|
||||
|
||||
### Moteur IA, Modèles & Fonctionnalités
|
||||
|
||||
* [x] Cœur asynchrone pour la parallélisation des appels API (module `orchestrator.py`).
|
||||
* [ ] Pipeline multi-agents complet avec sélection dynamique :
|
||||
* Possibilité de sélectionner de 1 à 5 travailleurs IA en parallèle.
|
||||
* Si un seul travailleur est sélectionné, bypass automatique du prompteur et du concaténeur.
|
||||
* Si > 1 travailleur, activation de la chaîne complète (1 Prompteur ➔ N Travailleurs ➔ 1 Concaténeur).
|
||||
|
||||
|
||||
* [ ] Extraction, mise à jour (via tâche planifiée CRON toutes les 12h ou manuelle) et gestion des modèles depuis les API fournisseurs vers la BDD.
|
||||
* [ ] Page spécifique d'interface pour les modèles permettant l'export, l'import manuel d'un fichier d'extraction, et la sélection.
|
||||
* [ ] Extraction unitaire des retours IA.
|
||||
* [ ] Extraction/Téléchargement de la totalité d'une conversation dans des formats utiles aux différents fournisseurs (JSONL, TXT, etc.).
|
||||
* [ ] Détection et téléchargement ciblé de pièces jointes ou blocs spécifiques (Code brut, fichiers Excel `.xlsx`) générés par l'IA en respectant le nommage exact demandé.
|
||||
* [ ] Classement, filtrage (Gratuit/Payant) et catégorisation des modèles (Texte, Code, Image, Audio, Vidéo).
|
||||
|
||||
|
||||
* [ ] Traduction automatisée des descriptions des modèles via Ollama (local) ou Gemini.
|
||||
|
||||
|
||||
* [ ] Interface d'aide à la décision pour le choix des modèles selon la tâche souhaitée.
|
||||
|
||||
|
||||
* [ ] Mécanisme de fallback / termes génériques pour les appels API (protection contre le dépassement des quotas Gemini).
|
||||
- [x] Cœur asynchrone pour la parallélisation des appels API (module `orchestrator.py`).
|
||||
- [x] Pipeline multi-agents complet avec sélection dynamique par requête :
|
||||
- Sélection de 1 à 5 travailleurs IA en parallèle.
|
||||
- Si 1 seul travailleur : bypass automatique du prompteur et du concaténeur.
|
||||
- Si > 1 travailleur : chaîne complète active (1 Prompteur ➔ N Travailleurs ➔ 1 Concaténeur).
|
||||
- [x] Extraction universelle et multi-fournisseurs (OpenRouter, Groq, DeepSeek, Mistral, Gemini, Cloudflare) avec timeout étendu à 90 secondes.
|
||||
- [x] Tâche planifiée (CRON) pour la mise à jour automatique des modèles toutes les 12h (00h00 et 12h00 heure de Paris).
|
||||
- [x] Page dédiée aux modèles : export, import manuel de fichiers d'extraction JSON, filtrage par prix (Gratuit/Payant), domaine (Code, Texte, Vision, Audio) et recherche textuelle.
|
||||
- [x] Extraction unitaire des retours IA et téléchargement global d'une conversation (formats TXT et JSON).
|
||||
- [x] Détection et téléchargement ciblé de blocs de code ou de données (ex: fichiers `.xlsx`, `.py`, `.csv`) générés par l'IA en respectant le nommage exact.
|
||||
+148
-37
@@ -3,45 +3,45 @@ import httpx
|
||||
from openai import AsyncOpenAI
|
||||
from fastapi import HTTPException
|
||||
from sqlalchemy.orm import Session
|
||||
from sqlalchemy.exc import IntegrityError
|
||||
from .models import SystemSettings, AIModel, FinancialLog
|
||||
from datetime import datetime, timezone
|
||||
|
||||
def determine_domain(model_id: str) -> str:
|
||||
mid = model_id.lower()
|
||||
if "vision" in mid or "vl" in mid: return "Vision & Texte"
|
||||
if "vision" in mid or "vl" in mid or "omni" in mid: return "Vision & Texte"
|
||||
if "coder" in mid or "code" in mid or "math" in mid: return "Code & Logique"
|
||||
if "audio" in mid or "whisper" in mid: return "Audio"
|
||||
return "Texte Polyvalent"
|
||||
|
||||
async def sync_finances(db: Session, settings: SystemSettings):
|
||||
"""Interroge les fournisseurs pour récupérer le solde financier exact."""
|
||||
async with httpx.AsyncClient() as client:
|
||||
async with httpx.AsyncClient(timeout=30.0) as client:
|
||||
# OpenRouter
|
||||
if settings.openrouter_management_key or settings.openrouter_api_key:
|
||||
try:
|
||||
key = settings.openrouter_management_key or settings.openrouter_api_key
|
||||
# Test de l'endpoint des crédits prépayés en priorité
|
||||
cred_resp = await client.get("https://openrouter.ai/api/v1/credits", headers={"Authorization": f"Bearer {key}"})
|
||||
balance = 0.0
|
||||
usage = 0.0
|
||||
|
||||
if cred_resp.status_code == 200 and cred_resp.json().get("data"):
|
||||
data = cred_resp.json().get("data", {})
|
||||
balance = float(data.get("total_credits") or 0.0) - float(data.get("total_usage") or 0.0)
|
||||
usage = float(data.get("total_usage") or 0.0)
|
||||
c_data = cred_resp.json().get("data", {})
|
||||
balance = float(c_data.get("total_credits") or 0.0) - float(c_data.get("total_usage") or 0.0)
|
||||
usage = float(c_data.get("total_usage") or 0.0)
|
||||
else:
|
||||
# Fallback sur l'usage de la clé si pas de crédits prépayés
|
||||
key_resp = await client.get("https://openrouter.ai/api/v1/auth/key", headers={"Authorization": f"Bearer {key}"})
|
||||
if key_resp.status_code == 200:
|
||||
data = key_resp.json().get("data", {})
|
||||
limit = data.get("limit")
|
||||
usage = float(data.get("usage") or 0.0)
|
||||
balance = (float(limit) - usage) if limit is not None else -usage
|
||||
|
||||
update_finance_db(db, "OpenRouter", balance, usage)
|
||||
except Exception as e: print(f"Erreur Finance OR: {e}")
|
||||
|
||||
if settings.groq_api_key: update_finance_db(db, "Groq", 999.0, 0.0) # Gratuit en Beta
|
||||
# Groq
|
||||
if settings.groq_api_key: update_finance_db(db, "Groq", 999.0, 0.0)
|
||||
|
||||
# DeepSeek
|
||||
if settings.deepseek_api_key:
|
||||
try:
|
||||
resp = await client.get("https://api.deepseek.com/user/balance", headers={"Authorization": f"Bearer {settings.deepseek_api_key}"})
|
||||
@@ -49,62 +49,164 @@ async def sync_finances(db: Session, settings: SystemSettings):
|
||||
infos = resp.json().get("balance_infos", [{}])[0]
|
||||
update_finance_db(db, "DeepSeek", float(infos.get("total_balance", 0)), 0.0)
|
||||
except Exception: pass
|
||||
db.commit()
|
||||
|
||||
# Mistral AI
|
||||
if settings.mistral_api_key: update_finance_db(db, "Mistral", 0.0, 0.0)
|
||||
|
||||
# Gemini
|
||||
if settings.gemini_api_key: update_finance_db(db, "Gemini", 0.0, 0.0)
|
||||
|
||||
try: db.commit()
|
||||
except: db.rollback()
|
||||
|
||||
def update_finance_db(db, provider, balance, usage):
|
||||
try:
|
||||
log = db.query(FinancialLog).filter(FinancialLog.provider == provider).first()
|
||||
if log:
|
||||
log.balance = balance; log.total_usage = usage; log.checked_at = datetime.now(timezone.utc)
|
||||
else:
|
||||
db.add(FinancialLog(provider=provider, balance=balance, total_usage=usage))
|
||||
except Exception as e: print(f"Finance DB Error: {e}")
|
||||
|
||||
async def sync_providers_models(db: Session, settings: SystemSettings, sync_type: str = "Automatique"):
|
||||
added = 0
|
||||
async with httpx.AsyncClient() as client:
|
||||
# On stocke les modèles en mémoire avant de les envoyer en base pour éviter les doublons
|
||||
models_to_process = {}
|
||||
|
||||
async with httpx.AsyncClient(timeout=90.0) as client:
|
||||
# 1. OpenRouter
|
||||
if settings.openrouter_api_key:
|
||||
try:
|
||||
resp = await client.get("https://openrouter.ai/api/v1/models")
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("data", []):
|
||||
try:
|
||||
m_id = item.get("id")
|
||||
if not m_id: continue
|
||||
pricing = item.get("pricing") or {}
|
||||
pp = float(pricing.get("prompt") or 0.0) * 1000000
|
||||
pc = float(pricing.get("completion") or 0.0) * 1000000
|
||||
try: pp = float(pricing.get("prompt") or 0.0) * 1000000
|
||||
except: pp = 0.0
|
||||
try: pc = float(pricing.get("completion") or 0.0) * 1000000
|
||||
except: pc = 0.0
|
||||
is_free = (pp == 0.0 and pc == 0.0)
|
||||
desc = item.get("description", "Modèle IA générique.")[:200] + "..."
|
||||
process_model(db, "openrouter", item["id"], item["name"], desc, determine_domain(item["id"]), is_free, item.get("context_length", 0), pp, pc)
|
||||
added += 1
|
||||
except Exception as e: print(f"Erreur Modèles OR: {e}")
|
||||
desc = item.get("description", "Modèle OpenRouter.")[:200] + "..."
|
||||
models_to_process[m_id] = {"provider": "openrouter", "name": item.get("name", "Inconnu"), "desc": desc, "domain": determine_domain(m_id), "is_free": is_free, "ctx": item.get("context_length", 0), "pp": pp, "pc": pc}
|
||||
except: pass
|
||||
except Exception as e: print(f"Erreur OR Models: {e}")
|
||||
|
||||
# 2. Groq
|
||||
if settings.groq_api_key:
|
||||
try:
|
||||
resp = await client.get("https://api.groq.com/openai/v1/models", headers={"Authorization": f"Bearer {settings.groq_api_key}"})
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("data", []):
|
||||
process_model(db, "groq", item["id"], item["id"].capitalize(), "Modèle ultra-rapide exécuté sur LPU Groq.", determine_domain(item["id"]), True, 8192, 0.0, 0.0)
|
||||
added += 1
|
||||
try:
|
||||
m_id = item["id"]
|
||||
models_to_process[m_id] = {"provider": "groq", "name": m_id.capitalize(), "desc": "Modèle rapide LPU Groq.", "domain": determine_domain(m_id), "is_free": True, "ctx": 8192, "pp": 0.0, "pc": 0.0}
|
||||
except: pass
|
||||
except Exception: pass
|
||||
|
||||
# 3. DeepSeek
|
||||
if settings.deepseek_api_key:
|
||||
try:
|
||||
resp = await client.get("https://api.deepseek.com/models", headers={"Authorization": f"Bearer {settings.deepseek_api_key}"})
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("data", []):
|
||||
try:
|
||||
m_id = item["id"]
|
||||
models_to_process[m_id] = {"provider": "deepseek", "name": m_id.capitalize(), "desc": "Modèle officiel DeepSeek.", "domain": determine_domain(m_id), "is_free": False, "ctx": 64000, "pp": 0.14, "pc": 0.28}
|
||||
except: pass
|
||||
except Exception: pass
|
||||
|
||||
# 4. Mistral
|
||||
if settings.mistral_api_key:
|
||||
try:
|
||||
resp = await client.get("https://api.mistral.ai/v1/models", headers={"Authorization": f"Bearer {settings.mistral_api_key}"})
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("data", []):
|
||||
try:
|
||||
m_id = item["id"]
|
||||
models_to_process[m_id] = {"provider": "mistral", "name": m_id.capitalize(), "desc": "Modèle officiel Mistral AI.", "domain": determine_domain(m_id), "is_free": False, "ctx": 32000, "pp": 0.2, "pc": 0.6}
|
||||
except: pass
|
||||
except Exception: pass
|
||||
|
||||
# 5. Gemini (Google)
|
||||
if settings.gemini_api_key:
|
||||
try:
|
||||
resp = await client.get(f"https://generativelanguage.googleapis.com/v1beta/models?key={settings.gemini_api_key}")
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("models", []):
|
||||
try:
|
||||
m_id = item["name"].replace("models/", "")
|
||||
desc = item.get("description", "Modèle Google Gemini.")[:200] + "..."
|
||||
models_to_process[m_id] = {"provider": "gemini", "name": item.get("displayName", m_id), "desc": desc, "domain": determine_domain(m_id), "is_free": True, "ctx": item.get("inputTokenLimit", 32000), "pp": 0.0, "pc": 0.0}
|
||||
except: pass
|
||||
except Exception: pass
|
||||
|
||||
# 6. Cloudflare
|
||||
if settings.cloudflare_account_id and settings.cloudflare_api_token:
|
||||
try:
|
||||
url = f"https://api.cloudflare.com/client/v4/accounts/{settings.cloudflare_account_id}/ai/models/search"
|
||||
resp = await client.get(url, headers={"Authorization": f"Bearer {settings.cloudflare_api_token}"})
|
||||
if resp.status_code == 200:
|
||||
for item in resp.json().get("result", []):
|
||||
try:
|
||||
m_id = item.get("name")
|
||||
desc = item.get("description", "Modèle Cloudflare Workers AI.")[:200] + "..."
|
||||
models_to_process[m_id] = {"provider": "cloudflare", "name": m_id.split("/")[-1], "desc": desc, "domain": determine_domain(m_id), "is_free": True, "ctx": 4096, "pp": 0.0, "pc": 0.0}
|
||||
except: pass
|
||||
except Exception: pass
|
||||
|
||||
# --- Phase d'enregistrement sécurisée ---
|
||||
for m_id, data in models_to_process.items():
|
||||
try:
|
||||
existing = db.query(AIModel).filter(AIModel.model_id == m_id).first()
|
||||
if existing:
|
||||
existing.pricing_prompt = data["pp"]; existing.pricing_completion = data["pc"]; existing.is_free = data["is_free"]; existing.last_updated = datetime.now(timezone.utc)
|
||||
else:
|
||||
db.add(AIModel(provider=data["provider"], model_id=m_id, name=data["name"], description_fr=data["desc"], domain=data["domain"], is_free=data["is_free"], context_length=data["ctx"], pricing_prompt=data["pp"], pricing_completion=data["pc"]))
|
||||
added += 1
|
||||
# Commit très fréquent pour éviter les gros blocs qui plantent
|
||||
if added % 50 == 0:
|
||||
db.commit()
|
||||
except IntegrityError:
|
||||
db.rollback() # Si conflit, on annule cette insertion et on continue
|
||||
except Exception:
|
||||
db.rollback()
|
||||
|
||||
try:
|
||||
settings.last_sync_date = datetime.now(timezone.utc)
|
||||
settings.last_sync_type = sync_type
|
||||
db.commit()
|
||||
except Exception as e:
|
||||
db.rollback()
|
||||
print(f"Erreur DB Commit Sync: {e}")
|
||||
|
||||
await sync_finances(db, settings)
|
||||
return {"status": "success", "models_processed": added}
|
||||
|
||||
def process_model(db, provider, mod_id, name, desc, domain, is_free, ctx, pp, pc):
|
||||
existing = db.query(AIModel).filter(AIModel.model_id == mod_id).first()
|
||||
if existing:
|
||||
existing.pricing_prompt = pp; existing.pricing_completion = pc; existing.is_free = is_free; existing.last_updated = datetime.now(timezone.utc)
|
||||
else:
|
||||
db.add(AIModel(provider=provider, model_id=mod_id, name=name, description_fr=desc, domain=domain, is_free=is_free, context_length=ctx, pricing_prompt=pp, pricing_completion=pc))
|
||||
def get_client_for_model(db: Session, model_id: str, settings: SystemSettings):
|
||||
"""Récupère dynamiquement le bon client OpenAI en fonction du fournisseur du modèle."""
|
||||
model_db = db.query(AIModel).filter(AIModel.model_id == model_id).first()
|
||||
provider = model_db.provider if model_db else "openrouter"
|
||||
|
||||
def get_client_for_model(model_id: str, settings: SystemSettings):
|
||||
if "gemini" in model_id.lower() and settings.gemini_api_key: return AsyncOpenAI(base_url="https://generativelanguage.googleapis.com/v1beta/openai/", api_key=settings.gemini_api_key)
|
||||
elif "groq" in model_id.lower() or "llama" in model_id.lower(): return AsyncOpenAI(base_url="https://api.groq.com/openai/v1", api_key=settings.groq_api_key)
|
||||
return AsyncOpenAI(base_url="https://openrouter.ai/api/v1", api_key=settings.openrouter_api_key)
|
||||
if provider == "gemini" and settings.gemini_api_key:
|
||||
return AsyncOpenAI(base_url="https://generativelanguage.googleapis.com/v1beta/openai/", api_key=settings.gemini_api_key), "gemini"
|
||||
elif provider == "groq" and settings.groq_api_key:
|
||||
return AsyncOpenAI(base_url="https://api.groq.com/openai/v1", api_key=settings.groq_api_key), "groq"
|
||||
elif provider == "deepseek" and settings.deepseek_api_key:
|
||||
return AsyncOpenAI(base_url="https://api.deepseek.com/v1", api_key=settings.deepseek_api_key), "deepseek"
|
||||
elif provider == "mistral" and settings.mistral_api_key:
|
||||
return AsyncOpenAI(base_url="https://api.mistral.ai/v1", api_key=settings.mistral_api_key), "mistral"
|
||||
elif provider == "cloudflare" and settings.cloudflare_account_id and settings.cloudflare_api_token:
|
||||
return AsyncOpenAI(base_url=f"https://api.cloudflare.com/client/v4/accounts/{settings.cloudflare_account_id}/ai/v1", api_key=settings.cloudflare_api_token), "cloudflare"
|
||||
|
||||
async def ask_agent(client, model_id, messages, is_openrouter=False):
|
||||
return AsyncOpenAI(base_url="https://openrouter.ai/api/v1", api_key=settings.openrouter_api_key), "openrouter"
|
||||
|
||||
async def ask_agent(client, model_id, messages, provider="openrouter"):
|
||||
kwargs = {"model": model_id, "messages": messages}
|
||||
if is_openrouter: kwargs["extra_headers"] = {"HTTP-Referer": "https://aethas38.duckdns.org", "X-Title": "AETHAS38 Orchestrator"}
|
||||
if provider == "openrouter":
|
||||
kwargs["extra_headers"] = {"HTTP-Referer": "https://aethas38.duckdns.org", "X-Title": "AETHAS38 Orchestrator"}
|
||||
resp = await client.chat.completions.create(**kwargs)
|
||||
return resp.choices[0].message.content
|
||||
|
||||
@@ -114,20 +216,29 @@ async def run_orchestrator(db: Session, history: list, settings: SystemSettings,
|
||||
formatted_history = [{"role": msg.role, "content": msg.content} for msg in history[:-1]]
|
||||
|
||||
final_response = ""
|
||||
try:
|
||||
if len(workers) == 1:
|
||||
w_mod = workers[0]
|
||||
final_response = await ask_agent(get_client_for_model(w_mod, settings), w_mod, formatted_history + [{"role": "user", "content": user_prompt}], "openrouter" in w_mod.lower())
|
||||
client, provider = get_client_for_model(db, w_mod, settings)
|
||||
final_response = await ask_agent(client, w_mod, formatted_history + [{"role": "user", "content": user_prompt}], provider)
|
||||
else:
|
||||
p_mod = config.get("prompter", "gemini-3.5-flash-lite")
|
||||
optimized = await ask_agent(get_client_for_model(p_mod, settings), p_mod, [{"role": "system", "content": "Optimise cette requête."}, {"role": "user", "content": user_prompt}])
|
||||
p_client, p_prov = get_client_for_model(db, p_mod, settings)
|
||||
optimized = await ask_agent(p_client, p_mod, [{"role": "system", "content": "Optimise cette requête."}, {"role": "user", "content": user_prompt}], p_prov)
|
||||
|
||||
w_tasks = []
|
||||
for w in workers:
|
||||
w_client, w_prov = get_client_for_model(db, w, settings)
|
||||
w_tasks.append(ask_agent(w_client, w, formatted_history + [{"role": "user", "content": optimized}], w_prov))
|
||||
|
||||
w_tasks = [ask_agent(get_client_for_model(w, settings), w, formatted_history + [{"role": "user", "content": optimized}], "openrouter" in w.lower()) for w in workers]
|
||||
responses = await asyncio.gather(*w_tasks, return_exceptions=True)
|
||||
|
||||
c_mod = config.get("concatenator", "gemini-3.5-flash-lite")
|
||||
c_client, c_prov = get_client_for_model(db, c_mod, settings)
|
||||
synth = f"Requête: {user_prompt}\n\n" + "\n".join([f"--- EXPERT {i+1} ---\n{r}" for i, r in enumerate(responses)]) + "\n\nFais une synthèse finale."
|
||||
final_response = await ask_agent(get_client_for_model(c_mod, settings), c_mod, [{"role": "user", "content": synth}])
|
||||
final_response = await ask_agent(c_client, c_mod, [{"role": "user", "content": synth}], c_prov)
|
||||
except Exception as e:
|
||||
final_response = f"L'IA a rencontré une erreur critique: {str(e)}"
|
||||
|
||||
# MAJ Financière après requête
|
||||
await sync_finances(db, settings)
|
||||
return final_response
|
||||
Reference in new issue
Block a user