高性能OLTP解決方案——基于傲騰技術(shù)的Ceph系統(tǒng)

發(fā)表日期：2018-06-25 文章編輯：閱讀次數(shù)：

內(nèi)容簡介

本文主要介紹使用英特爾® 傲騰(Optane™)技術(shù)以及Ceph BlueStore構(gòu)建能有效應(yīng)對聯(lián)機(jī)事務(wù)處理過程(Online Transactional Processing, OLTP)負(fù)載的全閃存陣列（All-Flash Array, AFA）參考架構(gòu)，還展示了使用傲騰技術(shù)和英特爾® SSD DC P3700系列成功在極低的延遲（Latency）下實(shí)現(xiàn)百萬級QPS(Queries Per Second)，同時分享Ceph BlueStore 與MySQL的優(yōu)化方法及參數(shù)配置。

背景

互聯(lián)網(wǎng)公司都需要處理一些典型的工作負(fù)載，如OLTP負(fù)載，其常常表現(xiàn)為大量用戶同時訪問數(shù)據(jù)庫，并要求系統(tǒng)在數(shù)毫秒內(nèi)響應(yīng)請求。這類負(fù)載的主要特點(diǎn)是高并發(fā)，數(shù)據(jù)量大，要求快速響應(yīng)等。為了應(yīng)對不斷增長的業(yè)務(wù)量，現(xiàn)在很多互聯(lián)網(wǎng)公司開始探索使用Ceph系統(tǒng)配合高性能硬件來構(gòu)建存儲系統(tǒng)。在這之前我們已經(jīng)研究過Ceph的CPU和SSD選型問題，詳情可見：英特爾®CPU & SSD實(shí)現(xiàn)高達(dá)1.9M IOPS Ceph存儲

文中的Journal用于Ceph 的存儲后端FileStore，主要功能是保證數(shù)據(jù)一致性（Consistency）。而WAL（Write-Ahead Logging）預(yù)寫日志系統(tǒng)與Journal是類似的，但WAL屬于BlueStore。BlueStore是一個用來替代FileStore的新存儲后端，其使用RocksDB來存儲元數(shù)據(jù)（metadata），而RocksDB使用本文提到的WAL來保證數(shù)據(jù)一致性。

Ceph AFA性能測試環(huán)境

我們的測試環(huán)境如圖1所示，該測試環(huán)境由5個Ceph存儲服務(wù)器和5個客戶端（Client）節(jié)點(diǎn)構(gòu)成，具體的配置可見表1和表2。Ceph存儲服務(wù)器的硬件選型基于《英特爾®CPU & SSD實(shí)現(xiàn)高達(dá)1.9M IOPS Ceph存儲》研究成果，即每5個core-GHz對應(yīng)1個OSD，且為了滿足低時延，高數(shù)據(jù)吞吐量等要求，選擇傲騰™ SSD DC P4800X作為Journal或WAL存儲設(shè)備。

圖1 存儲集群拓?fù)浣Y(jié)構(gòu)
表1. Ceph存儲系統(tǒng)配置

表2. Docker 容器配置情況

Ceph AFA性能測試結(jié)果

我們分別使用Sysbench在100% 讀，100% 寫，混合讀寫（75%/25%）的情況下測試Ceph AFA的性能，主要指標(biāo)為QPS以及延遲。實(shí)驗(yàn)結(jié)果如圖2所示，其中最接近于真實(shí)使用場景的混合讀寫測試可達(dá)1245k 的QPS，以及僅6.8ms的延遲時間。

圖2 Ceph系統(tǒng)性能概覽

為了提升系統(tǒng)性能，改善P99延遲時間等指標(biāo)，我們分別驗(yàn)證了使用英特爾® SSD P3700與傲騰™ SSD DC P4800X作為RocksDB和WAL存儲設(shè)備的實(shí)驗(yàn)效果，圖3展示了兩者的延遲對比結(jié)果。從圖3中可以看出使用傲騰技術(shù)的存儲系統(tǒng)，延遲時間均有較為明顯地降低，其中，100% OLTP 寫時P99延遲降低了25%，混合OLTP讀寫時延遲降低了181%。

圖3 傲騰技術(shù)減小存儲延遲時間（P4800X VS P3700）

如圖4展示了Ceph AFA對不同數(shù)量Sysbench線程在不同讀寫模式下的性能測試結(jié)果。首先看OLTP讀性能方面，優(yōu)化后的配置方案在OLTP讀上展現(xiàn)出極佳的線程擴(kuò)展能力（Thread Scale-out Ability）。隨著線程數(shù)量翻倍，QPS也增加到原來的兩倍，而延遲時間在線程數(shù)量少于CPU數(shù)量時保持在5ms以下，當(dāng)線程數(shù)量超越CPU數(shù)量，延遲時間急劇增加。在OLTP寫方面，當(dāng)線程數(shù)量增加至8個時QPS不再增加，同時延遲時間從此大幅增加。OLTP混合讀寫方面，QPS在一定范圍內(nèi)也隨著線程數(shù)量翻倍而增加。

圖4 Ceph AFA線程可擴(kuò)展性測試

圖4和圖5展示了OLTP讀與寫的單卷吞吐量（Per Volume Throughput），從圖中可以看出，當(dāng)超過5卷時，OLTP讀與寫的單卷吞吐量都在下降，同時平均延遲開始增加。

圖5. OLTP read per volume performance

圖6. OLTP write per volume performance

構(gòu)建高性能Ceph AFA

本文優(yōu)化了傳統(tǒng)的Ceph AFA配置方案，即使用英特爾® 傲騰™ SSD作為Journal或WAL 存儲設(shè)備，可提供卓越的數(shù)據(jù)吞吐量以及超低的延遲。優(yōu)化后的Ceph 配置方案如下：

1. Ceph存儲使用全閃存，即全部使用NVMe/PCIe SSD。

a. 使用傲騰™ SSD作為Journal 或 WAL 存儲設(shè)備。

b. 使用英特爾NVMe/PCIe SSD作為數(shù)據(jù)存儲設(shè)備。

2. 建議每5個core-GHz對應(yīng)1個OSD，根據(jù)此條件選擇對應(yīng)的英特爾® 至強(qiáng)® 處理器。

3. 雙口10Gb以太網(wǎng)卡，如Intel® 82599ES 10 Gigabit Ethernet Controller。

4. 系統(tǒng)內(nèi)存至少為128GB。

綜上，典型的高性能Ceph 全閃存陣列硬件選型建議如圖4所示。

Ceph AFA系統(tǒng)進(jìn)一步改進(jìn)

在客戶端一側(cè)增加緩存設(shè)備可進(jìn)一步提升Ceph AFA系統(tǒng)性能。因此我們分別測試了英特爾® SSD P3700 與英特爾® 傲騰™ SSD P4800X，作為客戶端與存儲系統(tǒng)之間的緩存設(shè)備的實(shí)驗(yàn)效果。從圖3的實(shí)驗(yàn)結(jié)果可以看出，增加緩存后，IOPS以及延遲時間都有很大程度的改善，尤其是使用傲騰™ SSD P4800X作為緩存后實(shí)現(xiàn)了高達(dá)345462 IOPS，平均延遲降低到0.432ms，P99延遲則更是低至4.17ms。

總結(jié)

本文主要介紹了一個高性能OLTP解決方案，使用傲騰技術(shù)以及英特爾® 至強(qiáng)® 處理器等硬件，配合Ceph BlueStore成功搭建了一個高性能Ceph 全閃存陣列。

文章摘自英特爾精英匯

歡迎聯(lián)系寶通集團(tuán)咨詢英特爾產(chǎn)品信息

寶通集團(tuán)聯(lián)系方式

咨詢熱線：0755-88603572

寶通官網(wǎng)：www.bjrongxin.com
客戶垂詢郵箱：cuifang.mo@ex-channel.com

客戶垂詢QQ：1627678462

地址：深圳市福田區(qū)深南大道1006號國際創(chuàng)新中心C座11樓
郵編：518026

亚洲日本va午夜在线影院-激性欧美激情在线-精品蜜臀久久久久99网站-久久无码人妻一区二区三区午夜-国产色综合天天综合网

高性能OLTP解決方案——基于傲騰技術(shù)的Ceph系統(tǒng)

咨詢在線客服

寶通技術(shù)1

寶通技術(shù)2

寶通技術(shù)3