服務熱線
0755-83647532
發表日期:2016-08-15 文章編輯:管理員 閱讀次數:
要點綜述
金山云是中國最大的云存儲服務商,為用戶提供領先的公有云與私有云服務。為了解決傳統存儲架構在性能、擴展性、成本效益等方面的問題,該企業將超融合作為未來重要發展方向,并與英特爾(中國)云計算創新中心進行緊密配合,推出搭載了英特爾® 固態盤并采用超融合架構的金山云KingStore,這種新型的軟件定義存儲方案實現了存儲容量和性能線性擴展、快速IO 吞吐、全局負載均衡等功能,可為金融、能源、互聯網等行業客戶提供高可用、高敏捷性的云服務,推動業務的云化進程。 背景介紹 隨著大數據、物聯網、移動互聯等領域最新技術的融合發展,IT 基礎架構正經歷著向云計算演進的巨大技術變革,大量用戶都采用云計算、虛擬化技術來提升資源利用率、增強IT 敏捷性,這給存儲系統的IOPS 性能、擴展性、成本效益帶來了巨大挑戰。在此背景下,基于軟件定義存儲、軟件定義計算、商用硬件和統一管理界面來提供存儲和計算資源的超融合架構得到了快速的發展。IDC* 數據顯示,2015 年第四季度,全球超融合產品銷售額年同比增長170.5%,并有望在未來實現持續高速增長。在此背景下,金山云采用英特爾固態盤+英特爾® 處理器+英特爾® 網卡的組合,基于最新的軟件定義存儲KingStore 打造了超融合的云平臺 應對挑戰 在為用戶提供云服務的過程中,金山云發現,如果依然沿用傳統的集中式存儲架構,將很難實現預定目標,整個平臺將會面臨如下幾個方面的巨大挑戰: 如何提升IOPS 能力以滿足云計算需求? 基于云計算技術構建的新型數據中心,對整個存儲系統提出了極高的要求:具備快速響應、高IO 處理、高可靠、低成本、線性擴展等特性,以解決數據快速增長帶來的挑戰。 如何提升擴展能力? 考慮到應用系統未來3~5 年的業務發展,以及業務突發的需求,為滿足應用系統的性能、容量承載需求,就需要提升存儲系統的擴展性。這不僅僅是要求存儲系統能夠充分利用現階段存儲設備的硬件能力,不造成浪費,還要求存儲系統在進行擴展的時候,不對現有應用的連續性構成影響,并最好能夠實現存儲容量和性能可線性擴展。 如何提升存儲系統的成本效益? 對于金山云來說,成本是其考慮的一個重要因素。如果采用高端磁盤陣列的方式,將會產生極高的硬件購置費用,帶來巨大的成本壓力。而目前國內云服務市場競爭極為激烈,若無法有效控制存儲系統的建設成本,將會極大的制約金山云KingStore 的整體市場競爭力。 如何減低系統運維難度? 專屬的存儲系統往往意味著較高的系統復雜度與管理難度,這導致數據中心運維效率低下、投入成本高等問題,難以適應云計算大數據時代對IT 基礎設施的要求。此外,在數據讀寫高負載環境下,也需要盡量避免存儲設備產生故障,并能夠在故障發生后盡快恢復數據,減少對于業務連續性的影響。 解決方案 集中式存儲解決方案的固有特性并不能解決存儲系統在性能、擴展性等方面的瓶頸。因此,金山云決定開發多節點網絡聚合,實現模塊化無縫橫向擴展的軟件定義存儲方案KingStore,并采用超融合架構作為實施部署方案。 在存儲架構層,KingStore 則采用了分布式文件系統KDFS,其采用一致性哈希算法,增強了容錯性和擴展性,可以讓數據盡可能分布到所有的節點中,這樣可以使得所有節點自動負載均衡。此外,其還滿足了高效性要求,當有新節點加入系統中,系統會重新做數據分配,數據遷移僅涉及新增節點,現有節點上的數據不需要做很大調整。 存儲服務層包含快照、克隆、壓縮、備份、容災等功能,可以為用戶提供高性能、高效率的存儲服務,同時能夠在發生意外事件時及時恢復數據,確保業務的高可用性。而存儲驅動層則包含塊存儲服務、文件存儲服務、對象存儲服務,可為虛擬化頂層的OpenStack*、KVM 等虛擬化系統提供存儲能力支撐。 實施效果 金山云KingStore如何實現領先業界的IO 性能 金山云與英特爾(中國)云計算創新中心進行緊密配合,KingStore 采用的英特爾® 固態盤S3710 或P3700 在硬件本身即具備極高的IO 能力。在模擬真實環境的測試中(服務器、硬盤部署于同一個RACK,測試配套見下表),采用基于SATA 協議的英特爾固態盤S3710的KingStore 最終得到平臺4KB 隨機讀和隨機寫性能分別為122.4 萬IOPS 和18.72 萬IOPS。如果采用基于NVMe 協議的英特爾PCIe* 固態盤,KingStore 的性能還將有大幅增長。在實際測試中,采用英特爾固態盤P3700 的KingStore,最終測得4KB 隨機讀和隨機寫能力分別為662.4 萬/43.2 萬IOPS,遠超過采用SATA 固態盤的性能,適用于峰值數據負載量大,對于業務延遲有著嚴格要求的客戶。 此外,英特爾SATA 和NVMe 固態盤都具有非常優秀的性能一致性,IOPS 能力隨應用環境變化的抖動很小。如此卓越的數據讀寫性能,保證了云平臺即使在高負載的情況下,也能向客戶提供高速穩定的云服務。 值得一提的是,對于傳統存儲架構來說,IOPS 性能不能隨著節點數的增加而線性增長,如果企業想要提高IOPS 性能,就必須在硬件上耗費大量的成本。該KingStore 采用無中心節點的全對稱架構,無單點故障,存儲容量和性能可線性擴展,并且支持平滑擴容,容量幾乎不受限制,充分保障了存儲系統的靈活性和可擴展性。 使用英特爾® 固態盤確保云服務的高可用性 對于行業用戶來說,云服務的可用性至關重要,英特爾固態盤幫助金山云KingStore 更容易接近了這個目標。即使在高負載的情況下,英特爾固態盤也能夠保證極低的故障率。統計顯示,英特爾固態盤在6 百萬片出貨量中,真實年失效率低于0.1%,這不僅保證了存儲系統的穩定性,也極大的降低了運維成本。 此外,英特爾固態盤還對可靠性進行了改進,通過冗余存儲空間保護用戶數據,并提供斷電數據保護功能,支持在系統突然斷電時利用電容電量將緩存中的數據立即保存后再停止工作。即使固態盤發生故障,或者云數據中心出現供電故障也不會影響數據的完整性。在實際測試中,該KingStore 搭載了兩套VMware* 系統(VMware 系統環境為:CPU=2Core,Memory=4GB;/dev/vda=40GB,/dev/ vdb=100GB),并通過插拔固態盤模擬了固態盤損壞后的數據丟失與恢復情況。 測試結果表明,在固態盤拔出并重新插入的過程中,KingStore 所在VMware 中的數據寫入會在暫停之后恢復,這個過程中數據不會丟失。另外,在固態盤損壞或拔出之后,KingStore 存儲集群會以20MB/S 的速度恢復數據,這個過程中存儲系統的整體IOPS 性能基本不受影響。 另外, 采用集群管理方式,不存在單點故障,靈活配置多數據副本,不同數據副本存放在不同的節點上, 單個物理節點故障不影響業務的使用,并通過糾刪碼技術來提高可用性(糾刪碼是一種在分布式文件系統中保證數據可靠性的技術,能提供優化的數據冗余度,以防止數據丟失,具有編碼效率高、節省存儲空間的特點)。 存儲系統總擁有成本(TCO)得到有效控制 在云存儲系統的建設中,存儲系統的硬件采購是一筆龐大的支出,相對于昂貴的傳統存儲架構,金山云KingStore 通過采用標準的企業級X86 服務器,整合了計算和存儲功能,極大地降低了存儲系統的成本支出,借助超融合節點上的英特爾固態盤,無需部署昂貴的磁盤陣列就可以獲得同等的IOPS 能力。數據顯示,此KingStore 超融合架構單GB 存儲成本只有傳統存儲的三分之一,從根本上緩解了企業客戶的IT 成本壓力。 另外,標準的企業級X86 服務器還讓IT 人員的運維壓力大大降低,企業可以很輕松地將標準化的運維流程遷移到云平臺的運維之中。同時還提供了全圖形化的統一操作平臺, 支持實時性能監控、集群管理、預警及告警機制,充分簡化運維人員的操作,運維成本也隨之降低。 未來規劃 英特爾與金山云的強強聯合打造了具有極高競爭力的云平臺, 雙方還將在更多層面深化產品合作。除了根據用戶需求,敏捷擴展英特爾NVMe 固態盤等更高性能的硬件設備之外,還將集成英特爾® Storage Performance Development Kit(英特爾® SPDK),其提供了一套完整的工具和庫,旨在提供高性能、可擴展、高可靠性的用戶態存儲應用。英特爾SPDK 具備全用戶態驅動,采用輪詢模式完成數據收發、避免中斷和上下文切換,精確到per core 的資源配置力度以達到無鎖化操作等優勢,可以實現資源獨占、提高內存使用效率,進而提升IO 性能。金山云對英特爾SPDK 提供的iSCSI Target 與TGTD 提供的 iSCSI Target 進行了對比測試,測試配置及數據如下: 從測試結果可以看出,在集成了英特爾SPDK 之后,平臺的4KB 數據讀寫性能將提升35%-90% 之間,效果顯著。 值得一提的是,金山云KingStore 在未來還將整合英特爾® Intelligent Storage Acceleration Library(英特爾® ISA-L)算法庫,其包括哈希、循環冗余校驗、加解密、壓縮、糾刪碼等函數。主要用于加速存儲在數據安全、數據保護、數據去重等方面的應用,英特爾ISA-L 使用multi-buffer 技術對哈希進行了優化,與openssl 1.0.2 中所使用的哈希對比,ISA-L 哈希最高可達到 15 倍的性能提升。 眾所周知,在分布式存儲中,糾刪碼是比多備份更高效的保證數據可靠性的技術。糾刪碼能提供優化的數據冗余度,以防止數據丟失,恰當地使用糾刪碼可以提高空間的利用效率并獲得較好的數據保護效果。 糾刪碼具有編碼效率高、節省存儲空間的特點。但是糾刪碼的復雜計算導致性能下降。英特爾ISA-L 提供了高性能糾刪碼的方案。對于Reed-Solomon(RS)糾刪碼10+4,在英特爾® CPU 的單核上,英特爾ISA-L 糾刪碼最高可達到9.7GB/s 的吞吐量,比目前開源的RS 糾刪碼快10 倍左右。
文章摘自英特爾固態盤
歡迎聯系寶通集團咨詢英特爾固態盤產品信息
寶通集團聯系方式
咨詢熱線:400-830-0107
寶通官網:www.bjrongxin.com
客戶垂詢郵箱:Customer@ex-channel.com
客戶垂詢QQ:1305742380
地址:深圳市福田區深南大道1006號國際創新中心C座11樓
郵編:518026