XPay行业 WIKI返回主页
交易基础

泰坦 (超級電腦)

泰坦(英語:Titan,實驗室代號「OCLF-3」)是一台由克雷公司承建的超級電腦,置放於美國能源部下屬的橡樹嶺國家實驗室中,供各項科學研究專案使用。泰坦是由原來也置放於橡樹嶺國家實驗室的美洲虎(英文:Jaguar)經過多次升級改裝而成。泰坦也是世界上第一台以通用圖形處理器(GPGPU)為主要資料處理單元的超級電腦,2012年11月至2013年6月是世界上最快的超級電腦。美洲虎在2011年10月被宣布開始進行大幅升級,2012年10月,升級作業基本完工後這台超級電腦被更名為泰坦,並開始進行穩定性和效能測試,2013年中期方可供科學研究者們使用。升級的預算開始時是6千萬美元,其中絕大部分由美國能源部提供。而後來根據克雷公司的公開資訊,整台泰坦超級電腦的費用最終是9千7百萬美元,為填補資金空缺,美國國家海洋和大氣管理局也出了一小部分資金參與建造,以從主要出資方美國能源部的手

概述

泰坦(英語:Titan,實驗室代號「OCLF-3」)是一台由克雷公司承建的超級電腦,置放於美國能源部下屬的橡樹嶺國家實驗室中,供各項科學研究專案使用。泰坦是由原來也置放於橡樹嶺國家實驗室的美洲虎(英文:Jaguar)經過多次升級改裝而成。泰坦也是世界上第一台以通用圖形處理器(GPGPU)為主要資料處理單元的超級電腦,2012年11月至2013年6月是世界上最快的超級電腦。美洲虎在2011年10月被宣布開始進行大幅升級,2012年10月,升級作業基本完工後這台超級電腦被更名為泰坦,並開始進行穩定性和效能測試,2013年中期方可供科學研究者們使用。升級的預算開始時是6千萬美元,其中絕大部分由美國能源部提供。而後來根據克雷公司的公開資訊,整台泰坦超級電腦的費用最終是9千7百萬美元,為填補資金空缺,美國國家海洋和大氣管理局也出了一小部分資金參與建造,以從主要出資方美國能源部的手上獲得一定的使用權。 泰坦使用由超微半導體提供的皓龍(Opteron)處理器連結輝達提供的Tesla運算用圖形處理器以進行協同運算,來在提供比美洲虎更高的運算效能之同時保持能源利用效率。整台泰坦共計18,688顆中央處理器和相同數量的圖形處理器,理論峰值效能是27petaFLOPS(每秒27×1015次浮點運算),然而,在2012年11月的LINPACK基準效能測試中卻僅取得17.59petaFLOPS的成績(每秒17.59×1015次浮點運算),直到2013年6月在Top500位列第一的排名被中國的天河二號取代。儘管如此,無論從效能上抑或是能效比上來說,仍然要比同時期的其它超級電腦更勝一籌。 泰坦可用於任何目的的資料處理。然而,資料處理任務的優先級,需要基於三個方面的考量:任務計劃的重要度、任務計劃對異構運算的利用潛力以及任務計劃的運算程式源碼與其它超級電腦的相容性。經過篩選排程後,選中六個運算計劃,這六個「前鋒」計劃在泰坦開放使用後由泰坦依排程執行處理,這些處理任務多為關於奈米科技或氣候模型。不過其它沒被選為首先處理的任務計劃,仍會進行優先級排程,進入等候貯列,以待泰坦的運行處理。由於以圖形處理器來處理資料,基於圖形處理器擁有比中央處理器多得多的執行緒的理由,不少程式需要進行源碼變動處理以適應新的混合架構,這些處理常常需要有更高階的運算平行度,而這些變更甚至也可以在以中央處理器為主的超級電腦上獲得效能的提升。 泰坦於2019年6月30日截止受理運算任務,並於同年的8月2日正式退役,而日後泰坦的計算任務將會由高峰接手。泰坦拆除後留下的空間將進行擴展並安裝同樣採用AMD處理器的前沿(英文:Frontier)超級電腦,而前沿預計於2021年完工,屆時將成為繼Summit之後的第二代AI系統。

歷史介紹

泰坦是橡樹嶺實驗室美洲虎超級電腦的升级版。美洲虎初期純粹使用中央處理器,而後期也以圖形處理器輔助中央處理器運算。

原美洲虎升級計劃

為了在保持效能功耗比的情況下提升資料處理效能,原來的美洲虎超級電腦在2005年落成後不久時已經制定了多种升級方案,當時美洲虎仍使用Cray XT3主機平台,峰值運算效能為25teraFLOPS。2008年美洲虎的Cray XT3主機平台升級Cray XT4主機平台,峰值效能也提升至263teraFLOPS;2009年繼續升級至Cray XT5主機平台,峰值效能為1.4petaFLOPS。在升級為泰坦前,未來的升級計劃原定的峰值效能為1.76petaFLOPS。

泰坦建造計劃

2005年當美洲虎落成時,橡樹嶺國家實驗室已計劃打造一台達到20petaFLOPS效能級別的超級電腦,而以傳統的中央處理器架構來實作在當時來說有不低的難度和成本,因此選擇以中央處理器+圖形處理器的混合架構方案,儘管這個方案直到2010年才得以實作,2011年以後計劃將升級後的美洲虎更名為泰坦。2010年11月16日在ACM/IEEE超級運算研討會非正式私人會議上公布了美洲虎的大升級計劃(亦即泰坦的建造),在會議的前一年(2009年)還和NVIDIA簽署通用圖形處理器的供應協議。2011年10月11日對外宣布開始第一階段的升級。最初的計劃是將新建一個佔地15,000平方米(160,000平方英尺)的新機房,來置放升級後的美洲虎,但最後限於預算而取消,改為沿用美洲虎現有的基礎設施。 2011年10月9日,美洲虎的主機開始了為期一年的汰換升級,完全升級後的超級電腦會重命名為“泰坦”。

第一階段

第一階段的升級主要是更換新的中央處理器。 2011年10月至12月期間,美洲虎200個機櫃中的96個機櫃中裝備的Cray XT5平台主機(刀鋒伺服器,配置為每節點兩顆6核心的AMD Opteron處理器)升級為Cray XK6平台主機(刀鋒伺服器,配置為每節點一顆16核心的Opteron 6274處理器),其它剩餘的機櫃仍照常運作。同年12月,所有運算任務轉移至96個已更換Cray XK6主機平台的機櫃中,剩餘的104個機櫃中的主機均升級Cray XK6。系統內部連線(允許各節點的處理單元相互溝通的網路)也被升級,橡樹嶺國家實驗室的ESnet網路連線的頻寬也升級為100Gb/s,以便更快地從其它實驗室、大學和研究機構進行資料交換。系統記憶體容量也隨著Cray XK6主機平台的升級而翻倍擴增至600TB,其中有960台Cray XK6主機(佔用10個機櫃)還裝有以NVIDIA Fermi架構顯示核心(即用於NVIDIA GeForce 400/500系列顯示卡的圖形處理器)為基礎的NVIDIA Tesla運算加速卡。這960個節點作為泰坦日後硬體配置的參考,並用來為日後泰坦的完全升級測試程式源碼。美洲虎至泰坦的第一階段的升級使得這台超級電腦的峰值效能從2.3petaFLOPS提升至3.3petaFLOPS,這個階段下這台超級電腦仍稱為美洲虎。

第二階段

第二階段的升級主要是更換安裝新的用作通用資料處理的圖形處理器。 2012年中期,輝達推出NVIDIA Kepler架構的圖形處理器,也在不久推出基於這個架構的NVIDIA Tesla運算處理器。2012年9月13日開始,按照實驗室和克雷、輝達簽訂的合約,輝達提供超過一萬八千塊NVIDIA Tesla K20X運算加速卡(基於開普勒架構的GK110頂級顯示核心,用作通用圖形處理器)裝進美洲虎超級電腦的Cray XK6平台主機中,每節點一塊,更換圖形處理器後Cray XK6平台更名為Cray XK7平台。中央處理器維持不變,仍為16核心的Opteron 6274處理器。同年10月底基本完工並且將這台超級電腦更名為泰坦。

測試驗收

「泰坦」在2013年初接受驗收測試,但只完成了92%的測試項目,低於原來通過95%的測試項目的要求。後來檢查發現,導致測試出現問題的是主機板的PCI-E插槽內的金手指連接器虛焊或焊接部位出現裂縫。對於這個問題,克雷公司按照合同要求承擔修復所需費用,並且以每星期12到16個機櫃的速度修復這個缺陷。修復過程中其它能正常運作的機櫃照常運算以供研究者們繼續進行他們的運算任務,而且到2013年3月11日,共8,972顆通用圖形處理器通過測試後,正式投入運作2013年4月8日,橡樹嶺國家實驗室宣布修復工作已完成,預計2013年5月完成最後的驗收測試項目。6月12日,橡树岭实验室宣布泰坦已经完成了测试。

資金和建造

泰坦的升級建造仍由美洲虎的承建商克雷公司來負責進行,其主要資金來源是美國能源部下屬的橡樹嶺國家實驗室。當時實驗室的資金用來升級中央處理器的話是十分充足的,但剩下的資金就不足夠用來購置18,688塊通用圖形處理器(運算加速卡),因此美國國家海洋和大氣管理局也同意出資填補資金缺口,但需要以一定的使用權和使用時限作為回報。橡樹嶺實驗室的科學計算負責人傑夫·尼科爾斯(Jeff Nichols)表示「泰坦花了實驗室大約6千萬美元,後來國家海洋和大氣管理局的出資不足1千萬美元,但是具體數字則因為保密協議就不便公開了。」與克雷公司的全部合約共計約9千7百萬美元,不包括泰坦落成以後的可能的升級。

商業化

在美洲虎超級電腦升級完成後,克雷將用於泰坦超級電腦的Cray XK7主機平台作商業化推廣,還表示日後仍會有很大的硬體升級空間與效能提升空間。 2013年3月份,輝達發布了消費級市場最強單晶片顯示卡——GeForce GTX Titan,使用和泰坦超級電腦上使用的Tesla K20X運算卡相同的「GK110」圖形處理器。與超級電腦共用一個型號的顯示核心、保留完整的通用運算能力,是這款顯示卡的最大賣點之一,主要針對民間對遊戲圖形和科學運算都有需要的發燒級玩家。,隨後還陸續發布了GeForce GTX TITAN Black Edition以及單卡雙GPU的GeForce GTX TITAN Z。還有玩家用其來進行位元幣挖礦操作。

未來

原計劃泰坦將在2018年被新建造的超級電腦高峰(Summit)取代,或由泰坦改造升級,不過最終高峰因需要另建基礎設施而於另外的機房中建造,使得泰坦得以保留繼續服役。這台新的超級電腦由IBM承建,使用更少的運算節點,每個節點配備更強力的通用圖形處理器提供更強的運算能力;而且還配備固態非易失性存儲裝置,作為來自分散式檔案系統的檔案資料快取。

機架、電源供應

泰坦超級電腦使用和美洲虎超級電腦相同的200個機櫃的設計,佔地404平方米,基本上只是更換了機櫃和佈線。沿用改進自美洲虎超級電腦的電力供應系統和冷卻系統,節省了能源部/實驗室約兩千萬美元的經費。泰坦的總耗電功率最大8.2兆瓦,比美洲虎高出了1.2兆瓦,但是泰坦提供比美洲虎快了幾乎10倍的運算效能,特別是浮點運算方面。電力供應系統的交流電輸入電壓高達480伏,供每個機櫃使用,由於使用更高的電壓,因此可以使用比美國標準的208伏(線電壓)電纜更細的輸入電纜,由更小直徑的電纜銅芯上節省出來的資金就有一百萬美元。為應付電力供應突然中斷的事件,碳纖維飛輪能量存儲器可以維持網路系統和存儲系統16秒的電力供應,如果兩秒內電力供應沒有恢復,柴油發電機就會在大約7秒的時間內啟動,並一直驅動飛輪,但是飛輪和發電機被設計成只為網絡系統和存儲系統維持電力供應,以便能快速重新開啟整台機器,發電機也不會為運算處理單元基礎設施提供後備電力供應,因此外接電力供應中斷時(即使發電機已啟動)是不會進行運算處理作業的,這個特性和筆記型電腦的「睡眠」功能類似。

冷却系统

泰坦的機櫃使用主動式風冷散熱器,但是外界空氣進入機櫃前則要事先經過冷卻處理,所用的空氣冷卻器,可製冷質量為6,600噸(相當於23.2兆瓦的熱功率),以5.5攝氏度(約42華氏度)的低溫冷卻水作為空氣冷卻器的散熱介質,從機櫃中帶走熱量的熱空氣會流到至空氣冷卻器冷卻,再回流進入機櫃,如此往復循環。另外,「泰坦」的散熱系統設計時並沒有考慮噪音問題,因此這台超級電腦運作時的噪音非常巨大,以至於機房需要更好的隔音措施,進入機房並且逗留超過15分鐘的人員必須採取像是佩戴隔音耳塞或耳機等的聽力保護措施。

维基百科贡献者 · 泰坦 (超級電腦) · 版本 88238420 · CC BY-SA 4.0 · 已提取纯文本并调整版式;标签根据原文关联词整理。