1
Puppeteer-cluster: Ci è venuto in aiuto puppeteer-cluster, una libreria che permette lo scraping di grandi quantità di pagine, in modo controllato e contemporaneo.
2
Struttura dati: La struttura dati è stata fondamentale, e con essa l'utilizzo delle aggregazioni MongoDB, con pipeline a volte molto lunghe.
3
Sistema di caching: E' stato implementato un sistema di caching grazie a Redis, e le pipeline sono state sottoposte a svariati passaggi di ottimizzazione e pulizia per garantire le performance migliori.
4
Interfaccia web: Tramite l'interfaccia web, è possibile importare i dati di entrambe le piattaforme.