PulisciCSV

Come rimuovere i duplicati da un file CSV

Rimuovere i duplicati da un CSV sembra banale finché non ci si accorge che «Mario.Rossi@Esempio.it » e «mario.rossi@esempio.it» sono lo stesso contatto scritto in due modi diversi. La deduplica efficace parte sempre da una buona normalizzazione.

Duplicati esatti e duplicati «sporchi»

Un duplicato esatto è una riga identica carattere per carattere a un'altra: capita quando si uniscono due esportazioni che si sovrappongono. Un duplicato sporco rappresenta la stessa entità ma con differenze di forma: maiuscole, spazi in più, telefono scritto con o senza prefisso, nome e cognome invertiti.

Gli strumenti che confrontano il testo così com'è trovano solo i primi. Il comando «Rimuovi duplicati» di Excel, per esempio, considera diversi due valori che differiscono per uno spazio finale. Nei file reali sono proprio i duplicati sporchi a essere la maggioranza.

Scegliere la colonna chiave

La domanda da farsi è: quale campo identifica in modo univoco un record? Le scelte tipiche sono:

Tipo di elencoChiave consigliataAttenzione a
Contatti, newsletterEmailMaiuscole e spazi; email aziendali condivise
Clienti businessPartita IVASedi diverse della stessa azienda
Persone fisicheCodice fiscaleCodici errati o mancanti
Liste telefonicheTelefono normalizzatoCentralini condivisi da più persone
Esportazioni sovrapposteIntera rigaDifferenze in campi secondari

Il confronto sull'intera riga è il più prudente: elimina solo le righe che coincidono in ogni colonna. Il confronto su una colonna chiave è più incisivo: tiene la prima riga per ogni valore della chiave e scarta le altre anche se differiscono in altri campi.

Normalizzare prima di confrontare

PulisciCSV esegue la rimozione dei duplicati come ultimo passaggio, dopo tutte le normalizzazioni. In questo modo:

  • gli spazi iniziali, finali e doppi sono già stati rimossi;
  • il confronto ignora la differenza tra maiuscole e minuscole;
  • i telefoni sono già nel formato +39, quindi «333-123.4567» e «0039 3331234567» coincidono;
  • le Partite IVA hanno già perso il prefisso IT e gli spazi;
  • i codici fiscali sono tutti in maiuscolo.

Le righe con la chiave vuota non vengono mai considerate duplicati tra loro: cento contatti senza email restano cento contatti.

Quale occorrenza tenere

PulisciCSV conserva la prima occorrenza nell'ordine del file. Se vuoi tenere il record più recente, ordina prima il file per data decrescente nel tuo gestionale o in Excel, poi passalo al tool. Nella vista «Prima» dell'anteprima le righe eliminate sono evidenziate in rosso con l'etichetta «Duplicato», così puoi controllare cosa viene tolto prima di scaricare.

Errori da evitare

  1. Deduplicare sul nome: «Mario Rossi» è uno dei nominativi più comuni d'Italia, due omonimi non sono la stessa persona.
  2. Deduplicare prima di pulire: si perdono i duplicati sporchi.
  3. Non conservare l'originale: tieni sempre il file di partenza finché non hai verificato il risultato.
  4. Ignorare le email condivise: indirizzi come info@ o amministrazione@ possono appartenere a più referenti della stessa azienda.

Duplicati e GDPR

Avere lo stesso contatto due volte non è solo un fastidio: se una persona ha chiesto la cancellazione o si è disiscritta, una copia dimenticata del suo record può portare a un nuovo invio non dovuto. Deduplicare con regolarità fa parte del principio di esattezza dei dati previsto dall'articolo 5 del GDPR.

Guide correlate

Tutte le guide