feat: intégration du découpage en morceaux (chunking), pauses séquentielles anti 429 et plugin de compression de contexte OpenRouter

backend/main.py

@@ -3,7 +3,7 @@ from fastapi.responses import RedirectResponse, FileResponse
 from fastapi.staticfiles import StaticFiles
 from sqlalchemy.orm import Session
 from typing import List
-import os, json, asyncio, shutil
+import os, json, asyncio, shutil, base64, io
 from datetime import datetime
 import pytz
 
@@ -73,7 +73,8 @@ def login(login_data: LoginRequest, response: Response, db: Session = Depends(ge
     user = db.query(User).filter(User.username == login_data.username).first()
     if not user or not verify_password(login_data.password, user.hashed_password): raise HTTPException(status_code=401, detail="Identifiants incorrects.")
     if not verify_totp(user.totp_secret, login_data.totp_code): raise HTTPException(status_code=401, detail="2FA invalide.")
-    response.set_cookie(key="session_token", value=create_access_token(data={"sub": user.username}), httponly=True, max_age=3600, samesite="lax")
+    # Correction : Extension de la durée de session à 7 jours (604800 secondes) pour éviter les erreurs 401 intempestives
+    response.set_cookie(key="session_token", value=create_access_token(data={"sub": user.username}), httponly=True, max_age=604800, samesite="lax")
     return {"message": "Connexion réussie"}
 
 @app.get("/dashboard")
@@ -143,21 +144,78 @@ def get_messages(project_id: int, db: Session = Depends(get_db), current_user: U
 
 @app.post("/api/projects/{project_id}/messages", response_model=List[MessageResponse])
 async def create_message(project_id: int, message: MessageCreate, db: Session = Depends(get_db), current_user: User = Depends(get_current_user)):
-    final_content = message.content
-    if message.files:
-        files_text = ""
-        for f in message.files:
-            files_text += f"\n\n[Fichier attaché : {f.name}]\n```\n{f.content}\n```"
-        final_content = message.content + files_text
+    extracted_files_data = []
+    files_names = []
     
-    db.add(Message(role=message.role, content=final_content, project_id=project_id))
+    if message.files:
+        for f in message.files:
+            files_names.append(f.name)
+            content = f.content
+            if content.startswith("data:"):
+                try:
+                    header, b64data = content.split(",", 1)
+                    file_bytes = base64.b64decode(b64data)
+                    ext = f.name.split('.')[-1].lower()
+                    extracted_text = ""
+
+                    if ext == 'pdf':
+                        try:
+                            import PyPDF2
+                            reader = PyPDF2.PdfReader(io.BytesIO(file_bytes))
+                            extracted_text = "\n".join([page.extract_text() for page in reader.pages if page.extract_text()])
+                        except ImportError:
+                            extracted_text = "[Erreur: L'administrateur doit exécuter 'pip install PyPDF2' sur le serveur pour lire les PDF.]"
+                    
+                    elif ext in ['xls', 'xlsx', 'xlsm', 'xlsb']:
+                        try:
+                            import openpyxl
+                            wb = openpyxl.load_workbook(io.BytesIO(file_bytes), data_only=False)
+                            for sheet_name in wb.sheetnames:
+                                sheet = wb[sheet_name]
+                                extracted_text += f"\n--- Feuille : {sheet_name} ---\n"
+                                for row in sheet.iter_rows(values_only=True):
+                                    row_vals = [str(cell) if cell is not None else "" for cell in row]
+                                    if any(row_vals):
+                                        extracted_text += "\t".join(row_vals) + "\n"
+                            
+                            if ext in ['xlsm', 'xlsb', 'xls']:
+                                try:
+                                    from oletools.olevba import VBA_Parser
+                                    vbaparser = VBA_Parser("filename", data=file_bytes)
+                                    if vbaparser.detect_vba_macros():
+                                        extracted_text += "\n\n--- MACROS VBA DETECTEES ---\n"
+                                        for (filename, stream_path, vba_filename, vba_code) in vbaparser.extract_macros():
+                                            extracted_text += f"\n// Module: {vba_filename}\n{vba_code}\n"
+                                except ImportError:
+                                    extracted_text += "\n[Extraction VBA impossible: L'administrateur doit exécuter 'pip install oletools' sur le serveur.]\n"
+                                except Exception as e:
+                                    extracted_text += f"\n[Erreur de lecture VBA interne: {str(e)}]\n"
+
+                        except ImportError:
+                            extracted_text = "[Erreur: L'administrateur doit exécuter 'pip install openpyxl' sur le serveur pour lire Excel.]"
+                    else:
+                        extracted_text = file_bytes.decode('utf-8', errors='replace')
+                    
+                    extracted_files_data.append({"name": f.name, "content": extracted_text})
+                except Exception as e:
+                    extracted_files_data.append({"name": f.name, "content": f"[ERREUR DE DECODAGE: {str(e)}]"})
+            else:
+                extracted_files_data.append({"name": f.name, "content": content})
+
+    # On ne stocke plus le contenu brut des fichiers en DB pour éviter d'exploser le contexte des requêtes suivantes
+    db_content = message.content
+    if files_names:
+        db_content += f"\n\n[Fichiers joints pour analyse : {', '.join(files_names)}]"
+
+    db.add(Message(role=message.role, content=db_content, project_id=project_id))
     db.commit()
     
     history = db.query(Message).filter(Message.project_id == project_id).order_by(Message.created_at.asc()).all()
     settings = db.query(SystemSettings).first()
     conf = message.config.dict() if message.config else {"workers": ["gemini-3.5-flash-lite"]} 
     
-    ai_resp = await run_orchestrator(db, history, settings, conf)
+    # Transmission des données de fichiers en mémoire vive à l'orchestrateur (Map-Reduce)
+    ai_resp = await run_orchestrator(db, history, settings, conf, extracted_files_data)
     
     db.add(Message(role="assistant", content=ai_resp, project_id=project_id))
     db.commit()

backend/orchestrator.py

@@ -16,10 +16,9 @@ def determine_domain(model_id: str) -> str:
     return "Texte Polyvalent"
 
 async def translate_en_to_fr(client: httpx.AsyncClient, text: str) -> str:
-    """Traduit automatiquement l'anglais vers le français via l'API publique Google Translate."""
     if not text: return "Aucune description fournie."
     try:
-        short_text = text[:300].strip() # Limite stricte pour l'API gratuite
+        short_text = text[:300].strip()
         url = f"https://translate.googleapis.com/translate_a/single?client=gtx&sl=en&tl=fr&dt=t&q={urllib.parse.quote(short_text)}"
         resp = await client.get(url, timeout=4.0)
         if resp.status_code == 200:
@@ -195,19 +194,68 @@ async def ask_agent(client, model_id, messages, provider="openrouter"):
     kwargs = {"model": model_id, "messages": messages}
     if provider == "openrouter": 
         kwargs["extra_headers"] = {"HTTP-Referer": "https://aethas38.duckdns.org", "X-Title": "AETHAS38 Orchestrator"}
+        # Activation du plugin natif de compression d'OpenRouter pour éviter le dépassement de contexte
+        kwargs["extra_body"] = {"plugins": [{"id": "context-compression"}]}
+        
     resp = await client.chat.completions.create(**kwargs)
     return resp.choices[0].message.content
 
-async def run_orchestrator(db: Session, history: list, settings: SystemSettings, config: dict) -> str:
+async def run_orchestrator(db: Session, history: list, settings: SystemSettings, config: dict, extracted_files: list = None) -> str:
     workers = config.get("workers", ["gemini-3.5-flash-lite"])
     user_prompt = history[-1].content
+    original_user_text = user_prompt.split("\n\n[Fichiers joints")[0] if "[Fichiers joints" in user_prompt else user_prompt
     formatted_history = [{"role": msg.role, "content": msg.content} for msg in history[:-1]]
 
     final_response = ""
     try:
-        p_mod = config.get("prompter", "gemini-3.5-flash-lite")
+        p_mod = config.get("prompter")
+        if not p_mod: p_mod = "gemini-3.5-flash-lite"
+        
         p_client, p_prov = get_client_for_model(db, p_mod, settings)
-        prompt_system = "You are an expert prompt engineer. Translate and optimize the user request into clear, precise English tailored for AI execution."
+
+        # --- WORKFLOW MAP-REDUCE : PRÉ-TRAITEMENT SÉQUENTIEL & CHUNKING ---
+        files_context = ""
+        if extracted_files:
+            async def process_single_file(f):
+                file_sys = "You are an expert data analyst and senior developer. Extract the most important technical information from the file without losing critical code syntax."
+                content = f['content']
+                chunk_size = 150000  # Environ 35k à 40k tokens par morceau pour rester très large par rapport aux limites
+                
+                # CHUNKING : Découpage intelligent si le fichier est massif
+                if len(content) > chunk_size:
+                    chunks = [content[i:i+chunk_size] for i in range(0, len(content), chunk_size)]
+                    chunk_analyses = []
+                    for idx, chunk in enumerate(chunks):
+                        file_prompt = f"Demande de l'utilisateur : '{original_user_text}'.\n\nPartie {idx+1}/{len(chunks)} du fichier '{f['name']}'. Analysez, extrayez et résumez le code, VBA, SQL ou les données pertinentes.\n\nContenu :\n```\n{chunk}\n```"
+                        try:
+                            analysis = await ask_agent(p_client, p_mod, [{"role": "system", "content": file_sys}, {"role": "user", "content": file_prompt}], p_prov)
+                            chunk_analyses.append(analysis)
+                        except Exception as e:
+                            chunk_analyses.append(f"[Erreur sur la partie {idx+1}: {str(e)}]")
+                        
+                        await asyncio.sleep(1.5) # Pause anti-spam (429) entre les morceaux
+                    
+                    return f"\n\n--- Extraction du fichier {f['name']} (en {len(chunks)} parties) ---\n" + "\n".join(chunk_analyses)
+                else:
+                    file_prompt = f"Demande de l'utilisateur : '{original_user_text}'.\n\nAnalysez le fichier ci-dessous. Extrayez, résumez et conservez méticuleusement tout le code, les macros VBA, les requêtes SQL, ou les données métier pertinentes pour répondre à la demande.\n\nFichier : {f['name']}\nContenu :\n```\n{content}\n```"
+                    try:
+                        analysis = await ask_agent(p_client, p_mod, [{"role": "system", "content": file_sys}, {"role": "user", "content": file_prompt}], p_prov)
+                        return f"\n\n--- Extraction du fichier {f['name']} ---\n{analysis}"
+                    except Exception as e:
+                        return f"\n\n--- Erreur sur {f['name']} ---\n{str(e)}"
+
+            file_analyses = []
+            for f in extracted_files:
+                analysis = await process_single_file(f)
+                file_analyses.append(analysis)
+                # SÉQUENÇAGE : Pause de 1.5 seconde entre les fichiers pour éviter l'erreur 429
+                await asyncio.sleep(1.5)
+            
+            files_context = "".join(file_analyses)
+            user_prompt = f"{original_user_text}\n\nVoici les données pré-traitées des fichiers joints :\n{files_context}"
+
+        # --- OPTIMISATION & TRADUCTION ---
+        prompt_system = "You are an expert prompt engineer. Translate and optimize the user request and any file context into clear, precise English tailored for AI execution. Keep all code blocks intact."
         optimized = await ask_agent(p_client, p_mod, [{"role": "system", "content": prompt_system}, {"role": "user", "content": user_prompt}], p_prov)
 
         if len(workers) == 1:
@@ -222,7 +270,9 @@ async def run_orchestrator(db: Session, history: list, settings: SystemSettings,
                 w_tasks.append(ask_agent(w_client, w, formatted_history + [{"role": "user", "content": optimized}], w_prov))
             responses = await asyncio.gather(*w_tasks, return_exceptions=True)
 
-        c_mod = config.get("concatenator", "gemini-3.5-flash-lite")
+        c_mod = config.get("concatenator")
+        if not c_mod: c_mod = "gemini-3.5-flash-lite"
+        
         c_client, c_prov = get_client_for_model(db, c_mod, settings)
         
         concat_system = (
@@ -233,7 +283,7 @@ async def run_orchestrator(db: Session, history: list, settings: SystemSettings,
             "You may translate code comments into French if appropriate, but leave code syntax strictly intact."
         )
         
-        synth = f"User Request: {user_prompt}\n\n" + "\n".join([f"--- EXPERT {i+1} ---\n{r}" for i, r in enumerate(responses)])
+        synth = f"User Request: {original_user_text}\n\n" + "\n".join([f"--- EXPERT {i+1} ---\n{str(r)}" for i, r in enumerate(responses)])
         final_response = await ask_agent(c_client, c_mod, [{"role": "system", "content": concat_system}, {"role": "user", "content": synth}], c_prov)
 
     except Exception as e:

frontend/dashboard.html

@@ -369,7 +369,7 @@
                         <div class="border-r border-black p-1.5 bg-gray-800 flex flex-col justify-center">
                             <label class="block text-[9px] text-gray-400 mb-1">PROMPTEUR</label>
                             <select v-model="selectedPrompter" class="w-full bg-aethas-dark border border-gray-700 rounded text-gray-200 text-[10px] p-1 outline-none truncate">
-                                <option value="gemini-3.5-flash-lite">Gemini Flash</option>
+                                <option value="">(Par défaut)</option>
                                 <option v-for="m in getFilteredModelsForCol(colPricing, colDomain, selectedPrompter)" :key="m.model_id" :value="m.model_id">{{ m.name || m.model_id }}</option>
                             </select>
                         </div>
@@ -377,7 +377,7 @@
                         <div class="p-1.5 bg-gray-800 flex flex-col justify-center">
                             <label class="block text-[9px] text-aethas-purple mb-1">CONCATENEUR</label>
                             <select v-model="selectedConcatenator" class="w-full bg-aethas-dark border border-gray-700 rounded text-gray-200 text-[10px] p-1 outline-none truncate">
-                                <option value="gemini-3.5-flash-lite">Gemini Flash</option>
+                                <option value="">(Par défaut)</option>
                                 <option v-for="m in getFilteredModelsForCol(colPricing, colDomain, selectedConcatenator)" :key="m.model_id" :value="m.model_id">{{ m.name || m.model_id }}</option>
                             </select>
                         </div>
@@ -444,9 +444,9 @@
             const colPricing = ref("");
             const colDomain = ref("");
 
-            const workers = ref(["gemini-3.5-flash-lite", "", "", "", ""]);
-            const selectedPrompter = ref("gemini-3.5-flash-lite");
-            const selectedConcatenator = ref("gemini-3.5-flash-lite");
+            const workers = ref(["", "", "", "", ""]);
+            const selectedPrompter = ref("");
+            const selectedConcatenator = ref("");
 
             const attachedFiles = ref([]); 
 
@@ -473,8 +473,7 @@
                     return matchDomain && matchPrice;
                 });
                 
-                // Injection dynamique pour empêcher les cases vides si le modèle n'est pas dans les filtres
-                if (currentSelectedId && currentSelectedId.trim() !== "" && currentSelectedId !== "gemini-3.5-flash-lite") {
+                if (currentSelectedId && currentSelectedId.trim() !== "") {
                     const exists = filtered.find(m => m.model_id === currentSelectedId);
                     if (!exists) {
                         const original = modelInfo.models.find(m => m.model_id === currentSelectedId);
@@ -546,7 +545,7 @@
             };
 
             const downloadTemplate = () => {
-                const templateContent = `# AETHAS38 - Configuration Multi-Agents\n\n**Rappel important :**\n- **Prompteur :** Le système de l'orchestrateur utilisera ce modèle pour traduire et optimiser votre requête initiale en ANGLAIS (langue native des IA).\n- **Concaténeur :** Le système utilisera ce modèle pour regrouper les réponses des travailleurs et traduire la synthèse finale en FRANÇAIS (en préservant le code brut).\n\n## Sélection des Modèles\nRenseignez l'ID exact du modèle (ex: gemini-3.5-flash-lite, mistralai/mistral-large-4-0). Laissez vide si inutilisé.\n\n- Prompteur : gemini-3.5-flash-lite\n- Travailleur 1 : \n- Travailleur 2 : \n- Travailleur 3 : \n- Travailleur 4 : \n- Travailleur 5 : \n- Concaténeur : gemini-3.5-flash-lite\n`;
+                const templateContent = `# AETHAS38 - Configuration Multi-Agents\n\n**Rappel important :**\n- **Prompteur :** Le système de l'orchestrateur utilisera ce modèle pour traduire et optimiser votre requête initiale en ANGLAIS (langue native des IA).\n- **Concaténeur :** Le système utilisera ce modèle pour regrouper les réponses des travailleurs et traduire la synthèse finale en FRANÇAIS (en préservant le code brut).\n\n## Sélection des Modèles\nRenseignez l'ID exact du modèle (ex: gemini-3.5-flash-lite, mistralai/mistral-large-4-0). Laissez vide si inutilisé.\n\n- Prompteur : \n- Travailleur 1 : \n- Travailleur 2 : \n- Travailleur 3 : \n- Travailleur 4 : \n- Travailleur 5 : \n- Concaténeur : \n`;
                 downloadFile(templateContent, 'aethas38-config-agents.md');
             };
 
@@ -557,7 +556,6 @@
                 reader.onload = (e) => {
                     const content = e.target.result;
                     
-                    // Regex hyper souple pour ignorer la casse, les espaces bizarres et les accents
                     const extractModel = (key) => {
                         const safeKey = key.replace(/[éèe]/gi, '[éèe]');
                         const regex = new RegExp(`-\\s*${safeKey}\\s*:\\s*([^\\r\\n]*)`, 'i');
@@ -571,14 +569,9 @@
                     const w4 = extractModel('Travailleur 4');
                     const w5 = extractModel('Travailleur 5');
 
-                    // Réassignation complète du tableau pour garantir la réactivité Vue.js
                     workers.value = [w1, w2, w3, w4, w5];
-
-                    const p = extractModel('Prompteur');
-                    selectedPrompter.value = p !== "" ? p : 'gemini-3.5-flash-lite';
-
-                    const c = extractModel('Concateneur');
-                    selectedConcatenator.value = c !== "" ? c : 'gemini-3.5-flash-lite';
+                    selectedPrompter.value = extractModel('Prompteur');
+                    selectedConcatenator.value = extractModel('Concateneur');
 
                     alert("Configuration IA importée et appliquée avec succès !");
                 };
@@ -631,10 +624,19 @@
 
             const processFile = (file) => {
                 const reader = new FileReader();
+                const textExts = ['.txt', '.md', '.csv', '.json', '.py', '.js', '.html', '.css', '.xml', '.yml', '.yaml', '.sh', '.bat', '.ps1', '.ini', '.cfg', '.conf', '.log'];
+                const isText = textExts.some(ext => file.name.toLowerCase().endsWith(ext)) || file.type.startsWith('text/');
+                
                 reader.onload = (e) => {
                     attachedFiles.value.push({ name: file.name, content: e.target.result });
                 };
+
+                // Les fichiers binaires sont lus en Base64.
+                if (isText) {
                     reader.readAsText(file);
+                } else {
+                    reader.readAsDataURL(file);
+                }
             };
 
             const removeFile = (index) => { attachedFiles.value.splice(index, 1); };
@@ -685,10 +687,20 @@
                         const data = await response.json(); 
                         if (Array.isArray(data)) messages.value = data; 
                         await fetchFinances(); 
+                    } else if (response.status === 401) {
+                        alert("Votre session a expiré. Veuillez vous reconnecter.");
+                        window.location.href = '/login';
+                        return;
                     } else { 
                         const err = await response.json(); alert("Erreur API IA : " + err.detail); 
                     }
-                } catch (error) {} finally { isAiThinking.value = false; scrollToBottom(); nextTick(()=>lucide.createIcons()); }
+                } catch (error) {
+                    alert("Erreur locale lors de l'envoi : " + error.message);
+                } finally { 
+                    isAiThinking.value = false; 
+                    scrollToBottom(); 
+                    nextTick(()=>lucide.createIcons()); 
+                }
             };
 
             const changePassword = async () => {

requirements.txt

@@ -15,3 +15,6 @@ openai
 httpx
 python-multipart
 pytz
+PyPDF2
+openpyxl
+oletools