Data quality: cos’è e come si misura la qualità dei dati

L’importanza di avviare un processo di analisi di data quality in azienda secondo Sofia Benedetta Rosati, Data Quality Analyst di Synapta.

Nell’era dei Big Data, in cui sempre più decisioni sono data-driven, la data quality è il fondamento su cui poggia tutto il castello abitato da analisti, data scientist e dirigenti. Infatti, solo se i dati sono corretti,  le aziende hanno l’opportunità di realizzare analisi in grado di produrre azioni che generano un valore.

Riprendendo il discorso della piramide della conoscenza che abbiamo già affrontato, che sta alla base dell’analisi dei Big Data, non avere una strategia di data quality in azienda andrebbe a minare le informazioni che derivano dall’analisi dei dati, andando di conseguenza a inficiare tutto il processo decisionale che viene a seguito di un’analisi dei dati.

Data quality: cos’è e perché misurare la qualità dei dati?

Essere certi di operare con informazioni corrette, precise e affidabili significa ritagliarsi un ruolo in termini di credibilità. Significa evitare errori, problemi, mancati contatti con i clienti e innalzamento del proprio profilo di rischio e, soprattutto, significa dotarsi degli strumenti per competere.

Si potrebbe iniziare a definire la Data Quality partendo da quella riportata dallo standard ISO 25012:

Degree to which the characteristics of data satisfy stated and implied needs when used under specifed conditions

Questa definizione ci fa capire una cosa fondamentale: la qualità di un dato non dipende solo dalle caratteristiche che ha, ma anche dal contesto in cui viene utilizzato. Di fatti, un dato, a parità di condizioni e caratteristiche, potrebbe essere di bassa qualità in alcuni contesti e di alta qualità per altri. Tutto sta nell’obiettivo che si vuole raggiungere attraverso l’analisi dei dati.

Le strategie di Data Quality all’interno di un’azienda possono infatti portare diversi benefici come ad esempio:

• ottimizzazione dei prodotti;
• miglioramento del servizio clienti;
• riduzione delle spese in termini di tempo e lavoro dei dipendenti;
• riduzione degli errori interni ed esterni;
• incremento del fatturato.

Le metriche della Data Quality

Le metriche che bisogna approcciare per misurare la qualità dei dati sono molteplici e in questo articolo ne affronteremo alcune tra le più importanti descritte nella ISO 25024:

• Accuratezza: la misurazione dell’accuratezza consente di capire se i dati che si stanno analizzando rappresentano un valore per l’obiettivo che ci si è posti prima dell’analisi;
• Completezza: la misurazione della completezza consente di capire se i dati che si stanno analizzando rispondono a tutte le domande che ci si è posti all’interno di un contesto specifico;
• Coerenza: la misurazione della coerenza consente di capire che non ci siano contraddizioni tra i dati e che siano, appunto, coerenti tra di loro;
• Attendibilità: la misurazione dell’attendibilità consente di capire se i dati presi in considerazione sono veri e credibili per gli utenti in un contesto specifico;
• Attualità: la misurazione dell’attualità di un dato consente di capire la stagionalità delle informazioni;
• Precisione: la misurazione della precisione di un dato consente di capire se i dati a disposizione possono essere discriminati tra loro in un contesto specifico.

Avere una visione d’insieme della qualità dei dati aiuta, in qualsiasi contesto, a porsi delle domande in ottica di strategie di operation come: quali sono i costi a cui dovrò sopperire per migliorare la qualità dei dati in mio possesso? Quali sono i motivi per cui i dati sono di così bassa qualità? Quali decisioni sono affetti da dati di qualità bassa o ignota?

Rispondere a queste domande permette di migliorare i processi esistenti riducendo il tasso di incongruenze a livello di decisioni derivate da un’analisi di dati di bassa qualità, con ricadute di risparmio in termini di tempo, energie e denaro su tutta la filiera a valle.