Tech Radar,
il Web Crawler per mappare il mondo it
Un Web Crawler per classificare le novità più interessanti dell’IT per il nostro cliente
Individuare novità nel campo dell’Information Technology sviluppando un Web Crawler. Con Tech Radar, Spindox Labs risponde all’esigenza di un cliente con sedi in tutto il territorio nazionale, di esplorare il web alla ricerca di informazioni sempre aggiornate sulle tecnologie nel mondo IT. Il Tech Radar analizza i contenuti editoriali online, sulla base delle categorie d’interesse del cliente, con strumenti di Augmented Intelligence. L’indicizzazione dei materiali avviene tramite tecniche di classificazione sviluppate in ambito NL. Le informazioni, presentate con interfacce grafiche, rispecchiano una copertura ampia di sorgenti di dati.
Un Web Crawler per sistemi personalizzati di analisi informazioni sul panorama IT
Identikit progetto
Tech Radar PI
Durata:
11 mesi
Anno:
2019-2020
Tecnologia
Augmented Intelligence
STRUTTURA DELLA SOLUZIONE
Il cliente ha manifestato la necessità di sviluppare uno strumento di esplorazione del web per ricercare e analizzare le ultime novità disponibili sul mercato dell’Information Technology.
Per lo sviluppo del Web Crawler sono state selezionate più sorgenti di dati così da soddisfare standard di affidabilità, accessibilità e completezza attraverso un’unica soluzione:
- StackOverflow è considerato unanimemente dagli sviluppatori un punto di riferimento per estrarre informazioni relative a tecnologie e loro trend di utilizzo nel panorama IT.
- StackShare è un portale per l’esplorazione degli stack tecnologici delle maggiori compagnie mondiali.
- Feedly è un collettore di news che consente di sottoscrivere feed personalizzati riguardo a specifiche aree tematiche, fornendo riscontri referenziati circa l’interesse suscitato dalle notizie.
Anche sul versante dell’analisi dei dati estratti, è stato privilegiato l’impiego integrato di diversi algoritmi:
- Tecniche di classificazione in ambito NL per classificare le varie tecnologie.
- Analisi del grado di connessione tra tag tecnologici basandosi sulle occorrenze simultanee dei tag così da associare a ogni tecnologia uno o più ambiti di applicazione.
- Classificazione del livello di maturità delle tecnologie rifacendosi a indicatori quali data di comparsa, apice di utilizzo, decrescita percentuale e relativi tempi.
VANTAGGI GUADAGNATI
L’utilità di avere un Tech Radar risiede nell’avere un sistema personalizzato capace sia di ricercare in automatico delle precise informazioni da un’enorme mole di dati, sia di riorganizzare i contenuti in grafiche strutturate e intuitive.
In particolare, i contenuti selezionati dal Web Crawler vengono riorganizzati in due categorie:
- Una pagina di news indicizzate per area tematica, filtrate attraverso uno score d’interesse sulla base dell’engagement rate registrato sui social media. La pagina, sul modello dei periodici specializzati, offre titoli e sommari di notizie selezionate rifacendosi a criteri di ricerca configurabili dall’utente.
- Un “radar tecnologico” di mappatura nel quale i diversi spicchi rappresentano le aree tematiche (NL, IOT, Big Data, Augmented Intelligence) e i pattern di colorazione sono riferiti alle differenti tecnologie (libreria, framework, linguaggio). La distanza dal centro del radar è indice del livello di maturità delle tecnologie stesse.
Infine, le informazioni sono validate da un operatore analista il quale, tramite interfaccia grafica, verifica i risultati e restituisce di volta in volta feedback per migliorarli.