要點綜述
Apache Spark* 是一種常見的數據處理引擎，用于對超大數據集進行高級分析。在當今涉及基于云的服務、物聯網和機器學習的企業用例中，這類數據已經司空見慣。Spark 采用了一個通用的集群計算框架，能夠獲取和處理實時的超大數據流，即時處理和分析事件和異常情況，從而支持企業快速制定決策，更好地響應用戶需求。

為了使 Spark 能夠在運行不同工作負載（例如機器學習應用）時實現卓越性能，Spark 內置了內存數據存儲功能。因此，Spark 的性能要明顯優于其他大數據處理技術。但是，Spark 內存功能受到服務器中可用內存的限制；受此影響，我們在執行 Spark 作業期間經常可以看到的一種情況是，系統內存已經飽和，但計算資源卻處于閑置狀態。要消除這種限制，一種辦法為在節點集群上運行 Spark 的分布式架構，以充分利用所有節點中的可用內存。雖然采用更多節點可以解決服務器 DRAM 容量問題，但會增加成本。DRAM 不僅成本高昂，而且還要求運營商配置額外的服務器以獲得更多內存。

英特爾^® IMDT（Intel Memory Drive Technology）是一種軟件定義內存（SDM）技術，與英特爾^® 傲騰™ 固態盤相結合使用時，可有效擴展系統內存。這種英特爾^® 傲騰™ 固態盤與英特爾^® IMDT 的結合，可以透明地為操作系統和 Spark 作業提供更多內存，消除 Spark 應用所固有的內存限制。為了演示此功能，英特爾使用了一種當前名為 TeraSort 的 Spark 性能指標評測程序。1 該程序測試得出的初始數值顯示，英特爾^® IMDT 能夠有效提升資源利用率，改進系統性能。
這一內存擴展方法可通過使用英特爾^® IMDT 顯著加大系統內存，同時通過運行更多的 Spark 執行器，充分利用系統計算容量。該性能指標評測程序表明，在具有相同內存和計算能力的系統上，通過添加英特爾^® IMDT 軟件，可以將 Spark 作業吞吐量提高一倍。相對于使用用英特爾^® IMDT，另一種方法是為系統添加更多 DRAM。如圖 3 的性能指標評測結果所示，添加更多 DRAM 只能略微提高性能，但成本卻要顯著高于英特爾^® IMDT。

本技術簡介比較了這兩種備選方案，確定了各自的性能增益，然后將性能增益與總體擁有成本（TCO）增益進行了對比。

性能指標評測方法