Pengenalan

Pangkalan data SQL sering mengalami rekod pendua, menghalang analisis data dan kecekapan operasi. Panduan ini menyediakan teknik praktikal untuk mengeluarkan penyertaan yang berlebihan ini, sama ada anda bekerja dengan data pelanggan, log transaksi, atau dataset lain. Kami akan meliputi sintaks SQL, contoh dunia sebenar, dan amalan terbaik untuk memastikan integriti data sepanjang proses de-duplikasi.

Kawasan utama dilindungi

Panduan ini menangani punca akar rekod pendua dalam SQL, meneroka pelbagai kaedah pengesanan dan penyingkiran, butiran sintaks SQL yang berkaitan, dan menyoroti amalan terbaik untuk mengekalkan kualiti data.

Jadual Kandungan

• Mengeluarkan baris pendua di SQL
  • Mengenal pasti penyertaan pendua
  • ROW_NUMBER() untuk penyingkiran pendua
  • Kaedah Join Self untuk Penghapusan Duplikat
  • Membuat jadual baru dengan rekod yang unik
• Soalan yang sering ditanya

Bagaimana untuk memadam baris pendua dalam SQL?

Beberapa kaedah wujud untuk menghapuskan baris pendua dalam SQL, masing -masing dengan kekuatannya sendiri. Pendekatan optimum bergantung kepada sistem pangkalan data anda dan keperluan khusus.

Punca data pendua biasa

Baris pendua sering berpunca dari:

• Kesalahan kemasukan data: Kesalahan manusia semasa input manual.
• Penggabungan Dataset: Menggabungkan dataset tanpa de-huplikasi yang betul.
• Proses import yang rosak: Kesilapan semasa prosedur import data.

Mengenal pasti rekod pendua

Sebelum penghapusan, anda mesti mengenal pasti baris pendua terlebih dahulu. Ini biasanya berkongsi nilai yang sama di satu atau lebih lajur.

Sintaks SQL:

 Pilih Column1, Column2, Count (*)
Dari table_name
Kumpulan mengikut lajur1, lajur2
Mempunyai kiraan (*)> 1;

Contoh:

Pertimbangkan jadual employees :

Untuk mencari e -mel pendua:

 Pilih e -mel, kiraan (*)
Dari pekerja
Kumpulan melalui e -mel
Mempunyai kiraan (*)> 1;

Output:

Ini mendedahkan e -mel yang muncul lebih dari sekali.

Mengeluarkan pendua menggunakan ROW_NUMBER()

Fungsi tetingkap ROW_NUMBER() memberikan nombor berurutan yang unik untuk setiap baris dalam partition, membolehkan penyingkiran pendua yang cekap.

Sintaks SQL:

 Dengan CTE sebagai (
    Pilih Column1, Column2, 
           Row_number () over (partition by column1, column2 order by (pilih null)) sebagai rn
    Dari table_name
)
Padam dari CTE
Di mana rn> 1;

Contoh:

Untuk mengalih keluar employees pendua berdasarkan e -mel:

 Dengan CTE sebagai (
    Pilih ID, Nama, E -mel, 
           Row_number () lebih (partition melalui pesanan e -mel oleh id) sebagai rn
    Dari pekerja
)
Padam dari CTE
Di mana rn> 1;

Output:

Jadual kini hanya mengandungi entri yang unik.

Mengeluarkan pendua menggunakan gabungan diri

Join sendiri menyediakan satu lagi kaedah yang berkesan untuk mengenal pasti dan memadam pendua.

Sintaks SQL:

 Padam T1
Dari table_name t1
Sertai Table_name T2
Pada t1.column1 = t2.column1
Dan t1.column2 = t2.column2
Dan t1.id> t2.id;

Contoh:

Untuk menghapuskan pendua daripada employees :

 Padam E1
Dari pekerja E1
Sertai Pekerja E2
Pada e1.email = e2.email
Dan e1.id> e2.id;

Output:

Jadual kini hanya mengandungi entri yang unik.

Membuat jadual baru dengan rekod yang unik

Mewujudkan jadual baru yang mengandungi hanya rekod unik dan kemudian menggantikan jadual asal adalah pendekatan yang mantap dan selamat.

Sintaks SQL:

 Buat jadual baru_table sebagai
Pilih berbeza *
Dari Old_table;

Drop meja lama_table;

Alter Table New_table Namakan semula ke Old_table;

Contoh:

Membersihkan pendua dalam employees :

 Buat jadual pekerja_unique sebagai
Pilih berbeza *
Dari pekerja;

Pekerja drop meja;

Alter Table Pekerja_Unique menamakan semula kepada pekerja;

Output:

Jadual employees kini hanya mengandungi baris unik.

Amalan terbaik untuk mencegah pendua

• Pengesahan Data: Melaksanakan peraturan pengesahan sebelum penyisipan data.
• Kekangan yang unik: Gunakan kekangan yang unik pada lajur yang berkaitan.
• Audit biasa: Mengendalikan pemeriksaan data berkala untuk mengekalkan ketepatan.

Kesimpulan

Pengurusan baris duplikat yang berkesan adalah penting untuk penyelenggaraan pangkalan data. Kaedah yang diterangkan- ROW_NUMBER() , diri sendiri, dan membuat jadual baru-menawarkan pelbagai cara untuk mencapai matlamat ini. Ingatlah untuk menyandarkan data anda sebelum melakukan sebarang operasi penghapusan.

Soalan yang sering ditanya

Q1. Apa yang menyebabkan baris pendua dalam pangkalan data SQL? A. Kesalahan kemasukan data, isu import, dan penggabungan dataset yang tidak betul.

S2. Bagaimana untuk mengelakkan kehilangan data yang tidak disengajakan semasa de-duplikasi? A. Sandarkan data anda dan semak semula pertanyaan SQL anda dengan teliti.

Q3. Bolehkah pendua dikeluarkan tanpa mengubah jadual asal? A. Ya, dengan membuat jadual baru dengan rekod yang unik.

Q4. ROW_NUMBER() vs DISTINCT untuk penyingkiran pendua? A. ROW_NUMBER() menawarkan lebih banyak kawalan berbutir di mana baris disimpan. DISTINCT hanya menghilangkan pendua.

Atas ialah kandungan terperinci Bagaimana untuk memadam baris pendua dalam SQL?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!