由於基於行的存儲(chǔ)，索引限制和連接約束，MySQL與實(shí)時(shí)分析鬥爭(zhēng)。 1。 Clickhouse通過提供柱狀存儲(chǔ)進(jìn)行快速掃描來解決這些問題。 2。它支持MySQL實(shí)時(shí)數(shù)據(jù)同步的高寫入吞吐量。 3。有效的壓縮和實(shí)時(shí)聚合增強(qiáng)了分析性能。 4。集成方法包括用於同步的CDC工具，自定義腳本或ETL管道。 5?？梢酝ㄟ^外部字典，聯(lián)合視圖或應(yīng)用程序級(jí)別的加入來處理查詢。使用MySQL進(jìn)行交易時(shí)，將分析分析到ClickHouse可以為OLTP和OLAP工作負(fù)載提供可擴(kuò)展，高效的體系結(jié)構(gòu)。

如果您嘗試使用MySQL處理實(shí)時(shí)分析，那麼您可能會(huì)遇到性能問題。 MySQL非常適合交易工作，但並不是為重大分析查詢而設(shè)計(jì)的。這就是Clickhouse的來源。將Clickhouse與MySQL集成可以為您提供兩全其美的最好 - 從MySQL中的快速寫作和交易，以及Clickhouse的閃電分析。

分析的MySQL有什麼問題？

MySQL是OLTP（在線交易處理）工作負(fù)載的可靠選擇。它可以很好地處理插入，更新和刪除。但是，當(dāng)您開始在大型數(shù)據(jù)集上運(yùn)行複雜的查詢（例如聚合，跨數(shù)數(shù)百萬行或時(shí)間序列分析）時(shí)，它開始掙扎。

這是因?yàn)椋?

• 索引還不夠- 即使使用適當(dāng)?shù)乃饕?，大型掃描也可以鎖定表或消耗過多的內(nèi)存。
• 基於行的存儲(chǔ)不是有效的- 逐行存儲(chǔ)和掃描數(shù)據(jù)對(duì)分析並不能很好地?cái)U(kuò)展。
• 連接限制- 太多的重量查詢可以耗盡連接池或?qū)⒎?wù)器帶到爬網(wǎng)。

因此，如果您要構(gòu)建儀表板或進(jìn)行實(shí)時(shí)報(bào)告，則可能需要其他一些東西來卸載分析。

為什麼Clickhouse可以很好地與MySQL一起使用

Clickhouse是為OLAP（在線分析處理）設(shè)計(jì)的。它是柱狀，優(yōu)化用於快速讀取大量數(shù)據(jù)集並支持實(shí)時(shí)聚合。這就是為什麼它與mysql配對(duì)很好的原因：

• 快速攝入- 它可以處理高寫入吞吐量，如果您是在接近實(shí)時(shí)的MySQL中同步數(shù)據(jù)，這很重要。
• 有效的壓縮- 柱狀存儲(chǔ)意味著更好的壓縮和更快的掃描。
• SQL兼容性- 您可以繼續(xù)使用SQL，這使集成更加容易。

使用MySQL進(jìn)行主要數(shù)據(jù)和交易，然後將分析查詢卸載到Clickhouse。這是一個(gè)乾淨(jìng)的關(guān)注點(diǎn)。

如何將mysql與clickhouse同步

有幾種方法可以使MySQL和Clickhouse保持同步：

使用更改數(shù)據(jù)捕獲（CDC）工具

Debezium ， Maxwell或運(yùn)河等工具監(jiān)視MySQL Binlogs並將流到Clickhouse更改。這為您提供了幾乎實(shí)時(shí)同步，而無需在MySQL上加重負(fù)載。

編寫自定義同步腳本

您可以構(gòu)建一個(gè)腳本，該腳本對(duì)新的或更新的記錄進(jìn)行輪詢（使用時(shí)間戳或自動(dòng)插入ID），並將其推到Clickhouse。它更簡(jiǎn)單，但不如CDC快或可靠。

使用ETL管道

如果您已經(jīng)使用了Apache氣流， Fivetran或Stitch等ETL工具，則可以安排常規(guī)同步。這更多的是接近實(shí)時(shí)或批處理用例。

同步的提示：

• 確保優(yōu)雅地處理模式更改。
• 監(jiān)視MySQL和Clickhouse之間的滯後。
• 使用批處理插入到Clickhouse中以提高性能。

一起查詢兩個(gè)系統(tǒng)

一旦數(shù)據(jù)進(jìn)入Clickhouse，您就可以在那裡運(yùn)行大量的分析查詢。但是，如果您需要在單個(gè)查詢中加入MySQL和Clickhouse的數(shù)據(jù)怎麼辦？

您有幾個(gè)選擇：

• Clickhouse中的外部字典- 您可以將MySQL的小參考表（例如用戶信息或產(chǎn)品詳細(xì)信息）加載到ClickHouse內(nèi)存中，以進(jìn)行快速連接。
• 聯(lián)合桌子或視圖- 對(duì)於大型數(shù)據(jù)集而言並不理想，但可以用於小型查找。
• 應(yīng)用程序級(jí)別加入- 加入您的應(yīng)用程序代碼。這是更多的工作，但避免了表現(xiàn)陷阱。

對(duì)於大多數(shù)用例，最好在插入Clickhouse之前將數(shù)據(jù)義不定。這樣，您可以避免完全加入並保持快速查詢。

關(guān)於性能和維護(hù)的最終註釋

請(qǐng)記住一些操作技巧：

• 設(shè)置MySQL和Clickhouse的監(jiān)視，尤其是用於復(fù)制滯後和查詢延遲。
• 優(yōu)化Clickhouse中的表引擎- Mergetree通常是時(shí)間序列分析的最佳選擇。
• 分區(qū)和TTL（時(shí)間是生存的時(shí)間）設(shè)置有助於有效地管理數(shù)據(jù)保留。
• 如果您反復(fù)進(jìn)行相同的聚合，請(qǐng)使用Clickhouse中的實(shí)質(zhì)視圖預(yù)先進(jìn)行數(shù)據(jù)。

基本上，將Clickhouse與MySQL集成並不復(fù)雜，但確實(shí)需要考慮數(shù)據(jù)流和同步。一旦有了正確的選擇，實(shí)時(shí)分析就變得更加易於管理。

以上是通過ClickHouse集成優(yōu)化MySQL用於實(shí)時(shí)分析的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！