MySQL sendiri tidak mempunyai fungsi sharding data terbina dalam, tetapi boleh dilaksanakan melalui reka bentuk dan alat seni bina. Sharding data adalah untuk memecah data jadual besar ke dalam pelbagai pangkalan data atau jadual mengikut peraturan untuk meningkatkan prestasi. Kaedah pelaksanaan yang biasa termasuk: 1. Hashing irisan oleh ID Pengguna, yang sama rata tetapi menyusahkan dalam pengembangan kapasiti; 2. Hirisan bercukur mengikut julat, yang sesuai untuk bidang kelas masa tetapi mudah untuk bintik-bintik panas; 3. Algoritma hashing yang konsisten, yang mengurangkan jumlah penghijrahan pengembangan tetapi adalah kompleks dalam pelaksanaan. Selepas sharding, pertanyaan silang, penghijrahan data, urus niaga yang diedarkan dan masalah lain perlu ditangani. Middleware seperti MyCAT, Vitess atau Lapisan Lapisan Logik Pemprosesan boleh digunakan, dan kekunci Shard harus dipilih dengan munasabah, baki shard harus dipantau, sharding yang berlebihan harus dielakkan, dan strategi sandaran harus diperbaiki.

MySQL sendiri tidak secara langsung menyediakan fungsi sharding data, tetapi melalui penyelarasan beberapa reka bentuk dan alat seni bina, sharding dapat dicapai. Amalan biasa adalah untuk menggunakan logik sharding kawalan lapisan atau menggunakan operasi sharding proksi middleware .

Apakah data sharding?

Data sharding adalah untuk memecah data jadual besar ke dalam pelbagai pangkalan data atau jadual mengikut peraturan tertentu, dan setiap shard menyimpan sebahagian daripada data. Kelebihan ini ialah ia dapat mengurangkan tekanan pada perpustakaan tunggal, meningkatkan prestasi pertanyaan, dan menyokong jumlah data yang lebih besar.

MySQL sendiri adalah pangkalan data yang berdiri sendiri dan tidak mempunyai mekanisme sharding automatik yang dibina, tetapi ia boleh dilaksanakan dengan cara berikut.

Bagaimana untuk melaksanakan data sharding di MySQL?

1. Hash Shards oleh ID Pengguna

Ini adalah salah satu strategi sharding yang paling biasa. Sebagai contoh, modulo nilai tertentu dengan memutuskan yang menghancurkan data jatuh pada:

 shard_id = user_id % 4

Ini membolehkan data pengguna diedarkan secara merata di antara 4 shard. Setiap shard mempunyai contoh atau jadual pangkalan data bebas.

Kelebihan: walaupun pengedaran, kelemahan pelaksanaan mudah: mengira semula hashing ketika mengembangkan kapasiti, menjadikannya menyusahkan untuk memindahkan data

2. Pelbagai Sharding

Berkenaan dengan bidang dengan ciri -ciri urutan seperti nombor masa dan pesanan. Sebagai contoh, dengan masa pendaftaran:

• Waktu Pendaftaran Pengguna Sebelum 2020 diletakkan di Shard1
• 2020-2021 diletakkan di Shard2
• Dan sebagainya

Kelebihan: Sesuai untuk Kekurangan Pertanyaan Jangka Masa: Mudah untuk menyebabkan bintik -bintik panas (data terkini tertumpu dalam serpihan tertentu)

3. Gunakan algoritma hashing yang konsisten

Untuk menyelesaikan masalah kesukaran dalam skala hash biasa, hashing yang konsisten boleh digunakan. Ia hanya memberi kesan kepada nod jiran apabila nod meningkat atau berkurangan, mengurangkan penghijrahan data.

Sesuai untuk sistem yang diedarkan secara besar-besaran, tetapi dengan sedikit lebih kerumitan.

Soalan yang sering ditanya dan kaedah mengatasi selepas sharding

1. Kecekapan pertanyaan silang shash adalah rendah

Apabila syarat pertanyaan melibatkan pelbagai shard, sebagai contoh, untuk menyemak maklumat pesanan semua pengguna, anda perlu mengakses pelbagai shard dan menggabungkan hasilnya.

Penyelesaian:

• Cuba untuk mengelakkan pertanyaan silang dan reka bentuk kunci shard terlebih dahulu
• Untuk keperluan statistik, anda boleh membuat jadual ringkasan secara berasingan atau menggunakan platform data besar untuk memprosesnya

2. Kos Migrasi Data Tinggi

Apabila perniagaan berkembang, mungkin perlu menambah shard baru atau menyesuaikan strategi sharding.

Cadangan:

• Pada peringkat awal, bilangan shard yang mencukupi akan dikhaskan (contohnya, 64 atau 128 shard maya)
• Mengurangkan kos penghijrahan dengan hashing yang konsisten
• Rancang skrip penghijrahan dan rancangan rollback terlebih dahulu

3. Urus niaga yang diedarkan sukar dikendalikan

MySQL secara asli menyokong urus niaga tempatan, tetapi urus niaga silang memerlukan pengenalan komitmen dua peringkat atau penggunaan rangka kerja lain.

Pelan yang disyorkan:

• Gunakan rangka kerja urus niaga yang diedarkan seperti Seata dan TCC
• Atau gunakan reka bentuk konsistensi akhir dan kemas kini pampasan tak segerak

Alat sharding biasa dan middleware

1. Mycat/Atlas/Dbproxy

Ini adalah middleware pangkalan data sumber terbuka yang dapat membantu anda merealisasikan fungsi seperti membaca dan menulis pemisahan, perpustakaan dan pemisahan meja. Mereka bertindak secara luaran seperti perkhidmatan MySQL bersatu, secara automatik dialihkan ke shard yang betul secara dalaman.

2. Vitess (sumber terbuka Google)

Penyelesaian yang lebih kompleks, sesuai untuk penggunaan hiper-besar, dan menyokong fungsi maju seperti sharding dinamik dan baki automatik.

3. Logika adat lapisan aplikasi

Banyak projek kecil dan sederhana akan memilih untuk menangani logik sharding di peringkat kod, seperti merangkumi peraturan sharding di ORM. Walaupun kos pembangunan sedikit lebih tinggi, ia fleksibel.

Beberapa cadangan praktikal untuk pengoptimuman shard

• Adalah penting untuk memilih kunci shard yang betul : biasanya medan pertanyaan utama atau frekuensi tinggi dipilih untuk mengelakkan menyebabkan pertanyaan tersebar.
• Mengekalkan saiz shards : kerap memantau jumlah data setiap shard untuk mengelakkan "panas dan sejuk tidak sekata".
• Jangan terlalu banyak : Terlalu banyak pecahan akan meningkatkan kerumitan operasi dan penyelenggaraan. Anda boleh melakukan perpecahan mendatar terlebih dahulu dan kemudian mempertimbangkan perpecahan menegak pada peringkat awal.
• Strategi sandaran dan pemulihan juga mesti disesuaikan dengan struktur shard : Anda bukan sahaja dapat menyandarkan perpustakaan utama, dan setiap shard mesti mempunyai mekanisme sandaran yang sepadan.

Pada dasarnya itu sahaja. Sharding MySQL tidak begitu rumit, tetapi butirannya mudah diabaikan, terutamanya peluasan, penyelenggaraan, pertanyaan dan masalah lain yang dihadapi semasa operasi sebenar, yang perlu dirancang terlebih dahulu.

Atas ialah kandungan terperinci Bagaimana untuk melaksanakan data sharding di MySQL? Kaedah pengoptimuman sharding. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!