noteflow

290 Commits 18 Branches 0 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
Claude	86e825b9d1	Feat: Ajout du système de purge automatique de la base de données Implémente un système complet de purge automatique pour maintenir la base de données propre et performante. Fonctionnalités ajoutées : - Migration pour ajouter les champs de tracking (archived_at, completed_at) - Triggers PostgreSQL pour mise à jour automatique des dates - Script de purge manuel avec mode simulation (dry-run) - Scheduler automatique configurable (défaut: 24h) - Routes API admin pour contrôle et monitoring - Documentation complète Éléments purgés : - Flux RSS désactivés (tous) - Tâches complétées > 3 mois (configurable) - Notes archivées > 6 mois (configurable) - Rendez-vous passés > 6 mois (configurable) Scripts npm ajoutés : - npm run db:migrate - Exécuter la migration - npm run db:cleanup - Purge manuelle - npm run db:cleanup:dry-run - Simulation de purge Routes API ajoutées : - POST /api/admin/cleanup - Déclencher la purge - GET /api/admin/cleanup/preview - Prévisualiser la purge - GET /api/admin/cleanup/status - Statut du scheduler - GET /api/admin/stats - Statistiques DB Configuration via variables d'environnement : - CLEANUP_ENABLED (défaut: true) - CLEANUP_INTERVAL_HOURS (défaut: 24) - CLEANUP_COMPLETED_TASKS_DAYS (défaut: 90) - CLEANUP_ARCHIVED_NOTES_DAYS (défaut: 180) - CLEANUP_PAST_EVENTS_DAYS (défaut: 180)	2025-11-19 06:49:27 +00:00
Claude	76b91788b7	Fix: Correction du bug d'écrasement de notes lors de la création Problème identifié : - Quand une nouvelle note était créée, elle écrasait la première note existante - La fonction runQuery() dans database-postgres.js retournait rowCount (1) au lieu de l'ID réel - Les requêtes INSERT n'utilisaient pas RETURNING pour récupérer l'ID généré Solution implémentée : 1. Ajout de RETURNING * à toutes les requêtes INSERT dans : - routes/notes.routes.js (notes, todos, images, fichiers, tags) - routes/todos.routes.js (todos globaux) - routes/users.routes.js (utilisateurs) - routes/rss.routes.js (flux RSS, résumés) - routes/settings.routes.js (paramètres) - routes/calendar.routes.js (événements, tokens OAuth) 2. Modification de runQuery() pour : - Retourner la ligne complète si RETURNING est présent - Inclure tous les champs de la ligne insérée (spread operator) - Ajouter des logs détaillés pour le debugging 3. Ajout de logs détaillés pour tracer : - Chaque création d'entité avec ses paramètres - L'ID retourné après insertion - Les erreurs potentielles Impact : - Les nouvelles notes ont maintenant leur vrai ID auto-incrémenté - Plus d'écrasement des notes existantes - Meilleure traçabilité avec les logs détaillés	2025-11-17 07:34:12 +00:00
Claude	8e4a96ec97	MIGRATION: PostgreSQL + Docker - Solution complète RSS 🎯 Objectif: Résoudre définitivement le problème d'affichage RSS Problème analysé: - Articles récupérés (logs: "18 nouveaux") mais jamais affichés - SQLite avec multiples DBs impossibles à déboguer - Concurrence limitée, pas de logs SQL natifs - Impossible de savoir quelle DB est vraiment utilisée Solution: Migration complète vers PostgreSQL + Docker 📦 Fichiers ajoutés/modifiés: Docker & Configuration - docker-compose.yml: Ajout service PostgreSQL (port 5499) - Dockerfile: Remplacement sqlite par postgresql-client - init-db.sql: Script d'initialisation PostgreSQL - .env.example: Variables d'environnement PostgreSQL Code Base de Données - config/database-postgres.js: Nouvelle couche PostgreSQL - Utilise pg (node-postgres) avec pool de connexions - Conversion SERIAL pour auto-increment - Conversion TIMESTAMP pour dates - Gestion transactions avec BEGIN/COMMIT - Support DATABASE_URL Migration - scripts/migrate-sqlite-to-postgres.js: - Migration automatique SQLite → PostgreSQL - Respect ordre des foreign keys - Conversion types SQLite → PostgreSQL - Reset des séquences SERIAL - Gestion des erreurs et rollback Documentation - MIGRATION-POSTGRESQL.md: Guide complet - Pourquoi PostgreSQL vs SQLite - Étapes de migration détaillées - Configuration Docker - Backup/Restore PostgreSQL - Monitoring et performance - Dépannage complet Dépendances - package.json: Ajout pg@^8.11.3 📊 Architecture PostgreSQL: ```yaml postgres: port: 5499:5499 (personnalisé) user: noteflow database: noteflow volume: postgres_data (persistant) healthcheck: pg_isready app: depends_on: postgres (avec healthcheck) DATABASE_URL: auto-configurée Connexion: via nom de service 'postgres' ``` 🔧 Utilisation: 1. Installer dépendances: ```bash npm install ``` 2. Activer PostgreSQL: ```bash cp config/database-postgres.js config/database.js ``` 3. Démarrer PostgreSQL: ```bash docker-compose up -d postgres ``` 4. Migrer données: ```bash SQLITE_PATH=/path/to/notes.db node scripts/migrate-sqlite-to-postgres.js ``` 5. Démarrer app: ```bash docker-compose up -d ``` ✨ Avantages PostgreSQL: ✅ Concurrence MVCC (pas de verrous globaux) ✅ Une seule DB (pas de confusion) ✅ Logs SQL natifs (debuggable) ✅ Transactions robustes ✅ Production-ready ✅ Monitoring intégré ✅ Performance supérieure 🎯 Résultat attendu: Le problème RSS sera DÉFINITIVEMENT résolu car: - Une seule source de vérité (PostgreSQL) - Logs clairs pour voir les INSERT - Pas de problème de concurrence - Frontend et backend sur la même DB - Debuggable en temps réel Les articles du 14 novembre (et suivants) seront visibles! 📚 Documentation complète dans MIGRATION-POSTGRESQL.md	2025-11-14 08:23:22 +00:00

Author

SHA1

Message

Date

Claude

86e825b9d1

Feat: Ajout du système de purge automatique de la base de données

Implémente un système complet de purge automatique pour maintenir
la base de données propre et performante.

Fonctionnalités ajoutées :
- Migration pour ajouter les champs de tracking (archived_at, completed_at)
- Triggers PostgreSQL pour mise à jour automatique des dates
- Script de purge manuel avec mode simulation (dry-run)
- Scheduler automatique configurable (défaut: 24h)
- Routes API admin pour contrôle et monitoring
- Documentation complète

Éléments purgés :
- Flux RSS désactivés (tous)
- Tâches complétées > 3 mois (configurable)
- Notes archivées > 6 mois (configurable)
- Rendez-vous passés > 6 mois (configurable)

Scripts npm ajoutés :
- npm run db:migrate - Exécuter la migration
- npm run db:cleanup - Purge manuelle
- npm run db:cleanup:dry-run - Simulation de purge

Routes API ajoutées :
- POST /api/admin/cleanup - Déclencher la purge
- GET /api/admin/cleanup/preview - Prévisualiser la purge
- GET /api/admin/cleanup/status - Statut du scheduler
- GET /api/admin/stats - Statistiques DB

Configuration via variables d'environnement :
- CLEANUP_ENABLED (défaut: true)
- CLEANUP_INTERVAL_HOURS (défaut: 24)
- CLEANUP_COMPLETED_TASKS_DAYS (défaut: 90)
- CLEANUP_ARCHIVED_NOTES_DAYS (défaut: 180)
- CLEANUP_PAST_EVENTS_DAYS (défaut: 180)

2025-11-19 06:49:27 +00:00

Claude

76b91788b7

Fix: Correction du bug d'écrasement de notes lors de la création

Problème identifié :
- Quand une nouvelle note était créée, elle écrasait la première note existante
- La fonction runQuery() dans database-postgres.js retournait rowCount (1) au lieu de l'ID réel
- Les requêtes INSERT n'utilisaient pas RETURNING pour récupérer l'ID généré

Solution implémentée :
1. Ajout de RETURNING * à toutes les requêtes INSERT dans :
   - routes/notes.routes.js (notes, todos, images, fichiers, tags)
   - routes/todos.routes.js (todos globaux)
   - routes/users.routes.js (utilisateurs)
   - routes/rss.routes.js (flux RSS, résumés)
   - routes/settings.routes.js (paramètres)
   - routes/calendar.routes.js (événements, tokens OAuth)

2. Modification de runQuery() pour :
   - Retourner la ligne complète si RETURNING est présent
   - Inclure tous les champs de la ligne insérée (spread operator)
   - Ajouter des logs détaillés pour le debugging

3. Ajout de logs détaillés pour tracer :
   - Chaque création d'entité avec ses paramètres
   - L'ID retourné après insertion
   - Les erreurs potentielles

Impact :
- Les nouvelles notes ont maintenant leur vrai ID auto-incrémenté
- Plus d'écrasement des notes existantes
- Meilleure traçabilité avec les logs détaillés

2025-11-17 07:34:12 +00:00

Claude

8e4a96ec97

MIGRATION: PostgreSQL + Docker - Solution complète RSS

🎯 Objectif: Résoudre définitivement le problème d'affichage RSS

Problème analysé:
- Articles récupérés (logs: "18 nouveaux") mais jamais affichés
- SQLite avec multiples DBs impossibles à déboguer
- Concurrence limitée, pas de logs SQL natifs
- Impossible de savoir quelle DB est vraiment utilisée

Solution: Migration complète vers PostgreSQL + Docker

📦 Fichiers ajoutés/modifiés:

**Docker & Configuration**
- docker-compose.yml: Ajout service PostgreSQL (port 5499)
- Dockerfile: Remplacement sqlite par postgresql-client
- init-db.sql: Script d'initialisation PostgreSQL
- .env.example: Variables d'environnement PostgreSQL

**Code Base de Données**
- config/database-postgres.js: Nouvelle couche PostgreSQL
  - Utilise pg (node-postgres) avec pool de connexions
  - Conversion SERIAL pour auto-increment
  - Conversion TIMESTAMP pour dates
  - Gestion transactions avec BEGIN/COMMIT
  - Support DATABASE_URL

**Migration**
- scripts/migrate-sqlite-to-postgres.js:
  - Migration automatique SQLite → PostgreSQL
  - Respect ordre des foreign keys
  - Conversion types SQLite → PostgreSQL
  - Reset des séquences SERIAL
  - Gestion des erreurs et rollback

**Documentation**
- MIGRATION-POSTGRESQL.md: Guide complet
  - Pourquoi PostgreSQL vs SQLite
  - Étapes de migration détaillées
  - Configuration Docker
  - Backup/Restore PostgreSQL
  - Monitoring et performance
  - Dépannage complet

**Dépendances**
- package.json: Ajout pg@^8.11.3

📊 Architecture PostgreSQL:

```yaml
postgres:
  port: 5499:5499 (personnalisé)
  user: noteflow
  database: noteflow
  volume: postgres_data (persistant)
  healthcheck: pg_isready

app:
  depends_on: postgres (avec healthcheck)
  DATABASE_URL: auto-configurée
  Connexion: via nom de service 'postgres'
```

🔧 Utilisation:

1. **Installer dépendances:**
   ```bash
   npm install
   ```

2. **Activer PostgreSQL:**
   ```bash
   cp config/database-postgres.js config/database.js
   ```

3. **Démarrer PostgreSQL:**
   ```bash
   docker-compose up -d postgres
   ```

4. **Migrer données:**
   ```bash
   SQLITE_PATH=/path/to/notes.db node scripts/migrate-sqlite-to-postgres.js
   ```

5. **Démarrer app:**
   ```bash
   docker-compose up -d
   ```

✨ Avantages PostgreSQL:

✅ Concurrence MVCC (pas de verrous globaux)
✅ Une seule DB (pas de confusion)
✅ Logs SQL natifs (debuggable)
✅ Transactions robustes
✅ Production-ready
✅ Monitoring intégré
✅ Performance supérieure

🎯 Résultat attendu:

Le problème RSS sera DÉFINITIVEMENT résolu car:
- Une seule source de vérité (PostgreSQL)
- Logs clairs pour voir les INSERT
- Pas de problème de concurrence
- Frontend et backend sur la même DB
- Debuggable en temps réel

Les articles du 14 novembre (et suivants) seront visibles!

📚 Documentation complète dans MIGRATION-POSTGRESQL.md

2025-11-14 08:23:22 +00:00