為了優(yōu)化機(jī)器學(xué)習(xí)數(shù)據(jù)存儲(chǔ)的MySQL，使用有效的數(shù)據(jù)類型，策略索引，分區(qū)，適當(dāng)?shù)臍w一化和壓縮。使用浮點(diǎn)或十進(jìn)制的數(shù)值特徵，枚舉或查找表作為分類數(shù)據(jù)，以及二進(jìn)制數(shù)據(jù)的BLOB；選擇tinyint或在較大類型上浮動(dòng)以節(jié)省空間。索引經(jīng)常被過濾或連接的列，例如Sample_ID或Timestamp，但避免過度索引以保持插入性能。按日期或範(fàn)圍劃分大表，以提高查詢效率。當(dāng)讀取統(tǒng)治時(shí)，但可以使可重複使用的元數(shù)據(jù)歸一化。將InnoDB與壓縮一起以進(jìn)行存儲(chǔ)效率和性能。

當(dāng)您使用MySQL存儲(chǔ)機(jī)器學(xué)習(xí)數(shù)據(jù)時(shí)，這不僅僅是保存數(shù)字和標(biāo)籤，這是關(guān)於有效進(jìn)行的。機(jī)器學(xué)習(xí)數(shù)據(jù)集可以很大，具有許多功能和記錄，因此優(yōu)化您的MySQL設(shè)置不是可選的，這是必要的。

使用正確的數(shù)據(jù)類型

優(yōu)化存儲(chǔ)和性能的最簡單方法之一是為您的列選擇正確的數(shù)據(jù)類型。例如，如果您要存儲(chǔ)布爾旗或小整數(shù)，請使用TINYINT代替INT 。如果您使用浮點(diǎn)值， FLOAT可能足夠而不是DOUBLE ，具體取決於您的精度需求。

以下是ML數(shù)據(jù)的一些常見類型選擇：

• 使用FLOAT或DECIMAL數(shù)值特徵
• 使用ENUM或歸一化查找表作為分類數(shù)據(jù)
• 長度較短時(shí)避免TEXT或VARCHAR(255)
• 將二進(jìn)制數(shù)據(jù)（如圖像或序列化模型）存儲(chǔ)在BLOB字段中 - 或者更好的是，將它們完全存放在DB外面

較小的數(shù)據(jù)類型意味著較少的磁盤使用情況和更快的查詢，尤其是在掃描或加入大型數(shù)據(jù)集時(shí)。

從戰(zhàn)略上進(jìn)行索引

索引是一把雙刃劍 - 它可以大大加速查詢，但也可以減慢插入片段並佔(zhàn)用額外的空間。在ML數(shù)據(jù)存儲(chǔ)中，您通常會(huì)根據(jù)功能集或標(biāo)籤進(jìn)行查詢，因此對(duì)這些列進(jìn)行索引是有道理的。

但是，避免過度索引。一個(gè)常見的錯(cuò)誤是在每一列上添加索引，當(dāng)您在數(shù)據(jù)收集或預(yù)處理過程中進(jìn)行批量插入時(shí)，它們可能適得其反。

一些經(jīng)驗(yàn)法則：

• 索引您經(jīng)常過濾或加入的列（例如sample_id ， label或timestamp ）
• 如果您經(jīng)常查詢列的組合，請考慮複合索引
• 在大量進(jìn)口中禁用或刪除索引，然後重建它們

分區(qū)大桌子

如果您的數(shù)據(jù)集成長為數(shù)百萬或數(shù)十億的行，則表分區(qū)將成為一個(gè)強(qiáng)大的工具。分區(qū)將表格分成基於密鑰的較小，更易於管理的零件 - 通常是日期或數(shù)字範(fàn)圍。

例如，如果您要隨著時(shí)間的推移記錄培訓(xùn)樣本，則按日期進(jìn)行分區(qū)可以使查詢最新數(shù)據(jù)或清除舊記錄的速度更快。

記?。?/p>

• 選擇與您的查詢模式保持一致的分區(qū)鍵
• 不要太早分區(qū) - 它增加了複雜性
• 根據(jù)您的數(shù)據(jù)分發(fā)使用LIST ， RANGE或HASH分區(qū)

標(biāo)準(zhǔn)化還是不符合？

這是一個(gè)經(jīng)典的數(shù)據(jù)庫問題，與ML數(shù)據(jù)有關(guān)。歸一化可以降低冗餘並保持?jǐn)?shù)據(jù)清潔，但是當(dāng)您處理高維數(shù)據(jù)時(shí)，加入會(huì)變得昂貴。

在許多ML用例中，構(gòu)成規(guī)範(fàn)化可能更合適 - 尤其是在閱讀的情況下，比寫作要多。將功能和標(biāo)籤放在單個(gè)寬表中可以顯著加快模型培訓(xùn)的數(shù)據(jù)檢索。

也就是說，不要完全歸一化。如果重複使用某些特徵組或元數(shù)據(jù)（例如用戶信息或設(shè)備規(guī)範(fàn)），則將它們放在單獨(dú)的桌子中並在必要時(shí)加入仍然很有意義。

使用壓縮和正確的存儲(chǔ)引擎

MySQL支持表壓縮，當(dāng)您存儲(chǔ)大量功能數(shù)據(jù)時(shí)，這可能是一個(gè)很大的勝利。 InnoDB引擎支持表的壓縮，它可以減少磁盤使用情況而不會(huì)對(duì)性能產(chǎn)生重大影響，尤其是在您的數(shù)據(jù)讀數(shù)較高的情況下。

另外，考慮存儲(chǔ)引擎：

• InnoDB通常是大多數(shù)ML工作負(fù)載的最佳選擇，因?yàn)樗谋罎⒒謴?fù)和行級(jí)鎖定
• MyISAM閱讀速度可能更快，但是缺乏交易支持，並且可以在寫入期間鎖定桌子

如果您要做很多批處理插入物，則可以暫時(shí)禁用外鍵檢查和約束以加快事情的速度 - 只需記住之後重新啟用它們即可。

這是優(yōu)化機(jī)器學(xué)習(xí)數(shù)據(jù)存儲(chǔ)的MySQL的核心。這不是魔術(shù)，只是對(duì)類型，索引和結(jié)構(gòu)的明智使用。

以上是優(yōu)化用於機(jī)器學(xué)習(xí)數(shù)據(jù)存儲(chǔ)的MySQL的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！