Performance: Optimisations majeures + Auto-refresh RSS

Problèmes résolus:
✅ Flux RSS ne s'affichaient pas → LEFT JOIN + COALESCE
✅ Pas de mise à jour automatique → Scheduler toutes les 5min
✅ Application lente → Cache serveur + client

Scheduler RSS (services/rss-scheduler.js):
- Mise à jour automatique des flux toutes les 5 minutes
- Première exécution 5 secondes après démarrage
- Gestion parallèle de tous les flux activés
- Logs détaillés pour debugging
- Protection contre les exécutions multiples simultanées
- Limite de 20 articles par flux pour performance

Routes RSS optimisées:
- Cache serveur 30 secondes pour /api/rss/articles
- Invalidation cache après fetch manuel
- LEFT JOIN au lieu de INNER JOIN (flux sans articles)
- COALESCE pour titre fallback
- Logs améliorés avec compteurs

Frontend vanilla JS:
- Auto-refresh RSS toutes les 30 secondes
- Cache settings client 1 minute
- Synchronisation avec scheduler serveur
- console.debug au lieu de console.error pour auto-refresh

Frontend React:
- Auto-refresh RSS toutes les 30 secondes
- loadRssData() séparée pour refresh indépendant
- useEffect cleanup proper (clearInterval)
- État lastUpdate pour tracking

Server.js:
- Démarrage scheduler au startup
- Log confirmation démarrage

Performances:
- Moins de requêtes DB grâce au cache
- Refresh automatique sans action utilisateur
- Articles toujours à jour (max 30s de délai)
- Support de beaucoup de flux RSS sans ralentissement
This commit is contained in:
Claude committed 2025-11-11 17:18:57 +00:00
1 parent 2315933868
commit 5cd32da1d1
5 files changed
+211 -57

No files matched your search

+136
View File
@@ -0,0 +1,136 @@
// Service de mise à jour automatique des flux RSS
const Parser = require('rss-parser');
const { getAll, getOne, runQuery } = require('../config/database');
const logger = require('../config/logger');
const parser = new Parser({
timeout: 10000,
headers: {
'User-Agent': 'NoteFlow RSS Reader'
}
});
let isRunning = false;
/**
* Récupérer et mettre à jour tous les flux RSS activés
*/
async function fetchAllFeeds() {
if (isRunning) {
logger.info('Fetch RSS déjà en cours, skip...');
return;
}
isRunning = true;
const startTime = Date.now();
try {
logger.info('🔄 Début de la mise à jour des flux RSS...');
// Récupérer tous les flux activés
const feeds = await getAll('SELECT * FROM rss_feeds WHERE enabled = 1');
if (!feeds || feeds.length === 0) {
logger.info('Aucun flux RSS activé');
isRunning = false;
return;
}
logger.info(`Mise à jour de ${feeds.length} flux RSS...`);
let totalArticles = 0;
let totalErrors = 0;
// Traiter chaque flux
for (const feed of feeds) {
try {
logger.info(`Fetch: ${feed.url}`);
// Parser le flux
const parsedFeed = await parser.parseURL(feed.url);
// Mettre à jour le titre et description du flux si nécessaire
await runQuery(
'UPDATE rss_feeds SET title = ?, description = ?, last_fetched_at = CURRENT_TIMESTAMP WHERE id = ?',
[parsedFeed.title || feed.url, parsedFeed.description || '', feed.id]
);
// Ajouter les articles (limiter à 20 par flux pour ne pas surcharger)
const items = parsedFeed.items.slice(0, 20);
for (const item of items) {
try {
// Vérifier si l'article existe déjà
const existing = await getOne('SELECT id FROM rss_articles WHERE link = ?', [item.link]);
if (!existing) {
await runQuery(
'INSERT INTO rss_articles (feed_id, title, link, description, pub_date, content) VALUES (?, ?, ?, ?, ?, ?)',
[
feed.id,
item.title || 'Sans titre',
item.link || '',
item.contentSnippet || item.description || '',
item.pubDate || item.isoDate || new Date().toISOString(),
item.content || item['content:encoded'] || ''
]
);
totalArticles++;
}
} catch (articleError) {
// Ignorer les articles en double ou invalides
logger.debug(`Article ignoré: ${articleError.message}`);
}
}
logger.info(`✓ ${feed.title || feed.url}: ${items.length} articles traités`);
} catch (feedError) {
totalErrors++;
logger.error(`✗ Erreur fetch ${feed.url}:`, feedError.message);
}
}
const duration = ((Date.now() - startTime) / 1000).toFixed(2);
logger.info(`✅ Mise à jour terminée: ${totalArticles} nouveaux articles, ${totalErrors} erreurs (${duration}s)`);
} catch (error) {
logger.error('Erreur lors de la mise à jour automatique des flux RSS:', error);
} finally {
isRunning = false;
}
}
/**
* Démarrer le scheduler (toutes les 5 minutes)
*/
function startScheduler() {
logger.info('📰 Scheduler RSS démarré (mise à jour toutes les 5 minutes)');
// Première exécution immédiate
setTimeout(() => {
fetchAllFeeds().catch(err => {
logger.error('Erreur lors de la première mise à jour RSS:', err);
});
}, 5000); // Attendre 5 secondes après le démarrage du serveur
// Ensuite toutes les 5 minutes
setInterval(() => {
fetchAllFeeds().catch(err => {
logger.error('Erreur lors de la mise à jour RSS:', err);
});
}, 5 * 60 * 1000); // 5 minutes
}
/**
* Fetch manuel (utilisé par la route API)
*/
async function manualFetch() {
return await fetchAllFeeds();
}
module.exports = {
startScheduler,
manualFetch,
fetchAllFeeds
};