fix: Amélioration scraping Amazon + stabilité Browserless

Browserless (docker-compose.yml):
- CONNECTION_TIMEOUT augmenté à 180s
- MAX_CONCURRENT_SESSIONS réduit à 3
- Limite mémoire 2G ajoutée
- Args Chrome optimisés (disable-dev-shm-usage, no-sandbox)

Scraper Service:
- Ajout simplification automatique des URLs Amazon (extraction ASIN)
- Suppression des paramètres de tracking (utm_, ref, etc.)
- Système de retries (2 tentatives avec backoff)
- Screenshot pris AVANT extraction texte (évite perte si timeout)
- Popups Amazon ajoutés (#sp-cc-accept, etc.)
- Meilleure gestion des erreurs avec logs détaillés
This commit is contained in:
Claude committed 2025-11-22 09:55:49 +00:00
1 parent 90e7b3688c
commit b5cd1465ce
2 files changed
+156 -22

No files matched your search

+10 -3
View File
@@ -55,13 +55,20 @@ services:
ports:
- "3012:3000"
environment:
- MAX_CONCURRENT_SESSIONS=5
- CONNECTION_TIMEOUT=120000
- MAX_QUEUE_LENGTH=10
- MAX_CONCURRENT_SESSIONS=3
- CONNECTION_TIMEOUT=180000
- MAX_QUEUE_LENGTH=5
- PREBOOT_CHROME=true
- KEEP_ALIVE=true
- DEFAULT_BLOCK_ADS=true
- DEFAULT_STEALTH=true
- ENABLE_DEBUGGER=false
- DISABLED_FEATURES=gpu
- DEFAULT_LAUNCH_ARGS=["--disable-dev-shm-usage","--no-sandbox","--disable-setuid-sandbox"]
deploy:
resources:
limits:
memory: 2G
networks:
- nginx_default