🔥 𝟭𝟬𝟬.𝟬𝟬𝟬 𝗿𝗲𝗰𝗼𝗿𝗱 𝗶𝗻 𝟱 𝘀𝗲𝗰𝗼𝗻𝗱𝗶!

📢 Può capitare di aver bisogno di un Dataset di prova con il quale testare qualche nuova funzionalità di trasformazione o di visualizzazione di un prodotto, oppure da utilizzare per una PoC da impostare "al volo", o ancora come dati per preparare presentazioni e casi d'uso per la divulgazione.

👁‍🗨 Non sempre è possibile utilizzare dati reali per tali scopi e spesso, se si parte dai dati reali disponibili, bisognerà oscurare informazioni sensibili o riservate prima di poterli usare.

⚡ Un'alternativa è quella di usufruire di servizi o siti che consentono di generare Dataset fittizi da poter utilizzare proprio con le finalità sopra descritte.

💥 Per comodità, mi sono creato la mia propria applicazione web dalla quale posso generare Dataset di prova per i miei scopi.

🚀 Il servizio che condivido, consente di generare un Dataset con informazioni relative alla "Persona Fisica" con i seguenti campi:

- Id (chiave del record),

- Codice Fiscale (chiave naturale di una Persona Fisica),

- Cognome Persona (3 lettere di esempio), 

- Nome Persona (3 lettere di esempio), 

- Sesso Persona (M/F), 

- Data nascita della Persona (aaaa-mm-gg), 

- Comune nascita (codice catastale del comune), 

- descrizione Comune di nascita, 

- descrizione Sovracomune di nascita (Provincia/Area Metropolitana), 

- descrizione Regione di nascita, 

- descrizione Area geografica di nascita (Nord/Sud/etc.), 

- Email della Persona (formato nome.cognome.aaaammgg@dominio.sss), 

- Telefono della Persona (formato nnn-nnnnnnn), 

- Valore che rappresenta un numero da 0 a 100 che è possibile utilizzare come misura additiva.

Il codice catastale del comune e le corrispondenti descrizioni di comune, sovracomune, regione e area, vengono "estratte" dall'elenco dei 7.904 comuni censiti da Istat nell'aggiornamento del primo gennaio 2022: ovviamente nel tuo specifico scenario di prova, questi campi, si possono utilizzare come una generica localizzazione (ad es. la regione di nascita potrebbe essere utilizzata come quella di acquisto del numero di pezzi presente nel campo "Valore" di un certo prodotto).

In questo momento, il servizio che condivido, produce record con tutti i campi sempre valorizzati, coerenti con il formato atteso e consistenti rispetto al codice fiscale generato (mai riconducibile ad una persona fisica reale): potrebbe accadere che venga generato uno stesso codice fiscale più di una volta, ma il record sarebbe sempre coerente con gli altri record che presentano lo stesso codice.

La versione del servizio che ho pubblicato, consente l'estrazione del Dataset anche in formato JSON (in default CSV): nella versione completa, c'è anche la possibilità di indicare una percentuale di record nei quali introdurre uno o più errori, o quella di generare altri tipi di Dataset (ad es. "Impresa").

🛠 Buon lavoro!

🔥 𝗗𝗮𝘁𝗮𝘀𝗲𝘁 𝗴𝗲𝗻𝗲𝗿𝗮𝘁𝗼𝗿: 𝗱𝗶𝘀𝗽𝗼𝗻𝗶𝗯𝗶𝗹𝗲 𝗶𝗹 𝗻𝘂𝗼𝘃𝗼 𝗱𝗮𝘁𝗮𝘀𝗲𝘁 "𝗜𝗺𝗽𝗿𝗲𝘀𝗮"!

🚀 Per chi fosse interessato, ho abilitato anche la generazione di un Dataset con informazioni relative ad una "Impresa" con i seguenti campi:

- Id (chiave del record),

- Partita Iva (chiave naturale di una Impresa),

- Denominazione (ragione sociale)

- Forma giuridica 

- Codice Ateco Attività (formato dd.dd.dd)

- Ateco Attività (descrittivo del codice)

- Data costituzione

- Comune sede legale

- Sovracomune sede legale (Provincia/Area Metropolitana)

- Regione sede legale

- Area sede legale

- Pec (formato <prima parola ateco>.<partita iva>@mail.pec)

- Telefono (formato nnn-nnnnnnn),

- Valore che rappresenta un numero da 0 a 100 che è possibile utilizzare come misura additiva.

𝗡𝗼𝘁𝗲:

ℹ Il comune, sovracomune, regione e area della Sede Legale, vengono "estratte" dall'elenco dei 7.904 comuni censiti da Istat nell'aggiornamento del primo gennaio 2022.

ℹ La forma giuridica viene "estratta" dall'elenco delle 80 forme censite da Istat.

ℹ Il codice ateco e la relativa descrizione, vengono estratti dall'elenco delle 3.157 voci censite da Istat nell'aggiornamento del 2022.

Inoltre,

⚠ La forma giuridica e l'ateco potrebbero essere tra loro incongruenti: ad esempio, "Ente ecclesiastico" abbinato a "Mediatori in prodotti tessili, abbigliamento, pellicce, calzature e articoli in pelle", non è realistico ma come set di prova... può andare.

⚠ La Partita Iva viene generata secondo l'algoritmo ma introducendo un codice di controllo errato in modo da non generare (nel limite della casualità) codici di Imprese esistenti.

🛠 Buon lavoro!

🔥 𝗗𝗮𝘁𝗮𝘀𝗲𝘁 𝗴𝗲𝗻𝗲𝗿𝗮𝘁𝗼𝗿: 𝗴𝗲𝗻𝗲𝗿𝗮𝘇𝗶𝗼𝗻𝗲 𝗮𝘂𝘁𝗼𝗺𝗮𝘁𝗶𝗰𝗮 𝗲 𝗰𝗮𝘀𝘂𝗮𝗹𝗲 𝗱𝗶 𝗿𝗲𝗰𝗼𝗿𝗱 𝗲𝗿𝗿𝗮𝘁𝗶 𝗻𝗲𝗹 𝗱𝗮𝘁𝗮𝘀𝗲𝘁!

📢 Per chi fosse interessato, ho abilitato anche la generazione di record errati nei Dataset disponibili: attraverso il parametro 𝗲𝗿𝗿, è possibile introdurre una certa percentuale di record errati all'interno del Dataset generato.

👁‍🗨 L'introduzione di record che presentano errori in uno o più campi, consente di avere un dataset di esempio sul quale creare regole di 𝗗𝗮𝘁𝗮 𝗤𝘂𝗮𝗹𝗶𝘁𝘆 sia per la scoperta e monitoraggio dei difetti che per la loro correzione. Infatti, per alcune tipologie di errore introdotte, sarà possibile "pulire" il dato, sfruttando il contenuto del campo (o di altri campi) contenuti nel record stesso (o in altri record).

⚡ Le tipologie di errori introdotte sono quelle classiche che troviamo "in natura" nei dati: valori nulli, chiavi naturali inconsistenti con il formato atteso, maiuscole-minuscole che possono invalidare controlli, codici di lookup inesistenti/inconsistenti, etc.

💥 Queste tipologie di errore consentono di utilizzare il Dataset generato per analizzarlo dal punto di vista di alcune delle principali dimensioni del Data Quality: Consistenza, Completezza e Validità. 

🚀 𝗟𝗲 𝗿𝗲𝗴𝗼𝗹𝗲 𝗰𝗿𝗲𝗮𝗿𝗲 𝘀𝘂 𝘂𝗻 𝘁𝗮𝗹𝗲 𝗱𝗮𝘁𝗮𝘀𝗲𝘁 𝗱𝗶 𝗽𝗿𝗼𝘃𝗮, 𝘀𝗲 𝗼𝗽𝗽𝗼𝗿𝘁𝘂𝗻𝗮𝗺𝗲𝗻𝘁𝗲 𝗰𝗼𝘀𝘁𝗿𝘂𝗶𝘁𝗲, 𝗽𝗼𝘁𝗿𝗮𝗻𝗻𝗼 𝗲𝘀𝘀𝗲𝗿𝗲 𝘁𝗿𝗮𝘀𝗳𝗲𝗿𝗶𝘁𝗲 𝘀𝘂 𝗮𝗹𝘁𝗿𝗶 𝗱𝗮𝘁𝗶 𝗰𝗼𝗻 𝗰𝗼𝗻𝘁𝗲𝗻𝘂𝘁𝗶 𝗮𝗻𝗮𝗹𝗼𝗴𝗵𝗶!

𝗡𝗼𝘁𝗲:

ℹ I record errati sono introdotti in posizioni casuali nel dataset.

ℹ Ogni record errato, contiene uno o più campi anomali.

ℹ Le diverse tipologie di errore crescono al crescere del numero di record estratti.

⚠ Alcune tipologie di errore non sono introdotte: ad esempio la duplicazione di una chiave naturale che impatta (ad es.) la dimensione Univocità del Data Quality.

⚠ La percentuale di record in errore 𝗲𝗿𝗿 è un'approssimazione al numero intero superiore rispetto al numero di record estratti.

🛠 Buon lavoro!