Tech Radar,
il Web Crawler per mappare il mondo it

Un Web Crawler per classificare le novità più interessanti dell’IT per il nostro cliente

Individuare novità nel campo dell’Information Technology sviluppando un Web Crawler. Con Tech Radar, Spindox Labs risponde all’esigenza di un cliente con sedi in tutto il territorio nazionale, di esplorare il web alla ricerca di informazioni sempre aggiornate sulle tecnologie nel mondo IT. Il Tech Radar analizza i contenuti editoriali online, sulla base delle categorie d’interesse del cliente, con strumenti di Augmented Intelligence. L’indicizzazione dei materiali avviene tramite tecniche di classificazione sviluppate in ambito NL. Le informazioni, presentate con interfacce grafiche, rispecchiano una copertura ampia di sorgenti di dati.

Un Web Crawler per sistemi personalizzati di analisi informazioni sul panorama IT

Identikit progetto

Tech Radar PI

Durata:

11 mesi

Anno:

2019-2020

Tecnologia

Augmented Intelligence

web crawler news, or non è necessario leggere da ogni fonte informativa. basta il tech radar di spindox labs

STRUTTURA DELLA SOLUZIONE

Il cliente ha manifestato la necessità di sviluppare uno strumento di esplorazione del web per ricercare e analizzare le ultime novità disponibili sul mercato dell’Information Technology.
Per lo sviluppo del Web Crawler sono state selezionate più sorgenti di dati così da soddisfare standard di affidabilità, accessibilità e completezza attraverso un’unica soluzione:

    • StackOverflow è considerato unanimemente dagli sviluppatori un punto di riferimento per estrarre informazioni relative a tecnologie e loro trend di utilizzo nel panorama IT.
    • StackShare è un portale per l’esplorazione degli stack tecnologici delle maggiori compagnie mondiali.
    • Feedly è un collettore di news che consente di sottoscrivere feed personalizzati riguardo a specifiche aree tematiche, fornendo riscontri referenziati circa l’interesse suscitato dalle notizie.
      Anche sul versante dell’analisi dei dati estratti, è stato privilegiato l’impiego integrato di diversi algoritmi:
    • Tecniche di classificazione in ambito NL per classificare le varie tecnologie.
    • Analisi del grado di connessione tra tag tecnologici basandosi sulle occorrenze simultanee dei tag così da associare a ogni tecnologia uno o più ambiti di applicazione.
    • Classificazione del livello di maturità delle tecnologie rifacendosi a indicatori quali data di comparsa, apice di utilizzo, decrescita percentuale e relativi tempi.

    VANTAGGI GUADAGNATI

    L’utilità di avere un Tech Radar risiede nell’avere un sistema personalizzato capace sia di ricercare in automatico delle precise informazioni da un’enorme mole di dati, sia di riorganizzare i contenuti in grafiche strutturate e intuitive.
    In particolare, i contenuti selezionati dal Web Crawler vengono riorganizzati in due categorie:

    • Una pagina di news indicizzate per area tematica, filtrate attraverso uno score d’interesse sulla base dell’engagement rate registrato sui social media. La pagina, sul modello dei periodici specializzati, offre titoli e sommari di notizie selezionate rifacendosi a criteri di ricerca configurabili dall’utente.

     

    • Un “radar tecnologico” di mappatura nel quale i diversi spicchi rappresentano le aree tematiche (NL, IOT, Big Data, Augmented Intelligence) e i pattern di colorazione sono riferiti alle differenti tecnologie (libreria, framework, linguaggio). La distanza dal centro del radar è indice del livello di maturità delle tecnologie stesse.

    Infine, le informazioni sono validate da un operatore analista il quale, tramite interfaccia grafica, verifica i risultati e restituisce di volta in volta feedback per migliorarli.

    ALTRI PROGETTI DI SUCCESSO

    Mimex, il progetto europeo di IOT retail a prova di Covid-19

    DEEP LEARNING, SENSORI IOT, DATA SCIENCE

    Asset tracking per l’auto connessa

    SENSORI IOT, Asset Monitoring & Predictive Maintenance

    Digital Twin e Object and Anomaly Detection

    3D MODELING, IMAGE RECOGNITION, AI FOR OBJECT E ANOMALY DETECTION