項目介紹
澳大利亞昆士蘭醫(yī)學(xué)研究院(QIMR)由昆士蘭州政府出資,成立于1945年,是澳大利亞最大和最成功的醫(yī)學(xué)研究機構(gòu)之一,并且是全球公認的一流的科研機構(gòu)。
QIMR有總計有700名科學(xué)家、學(xué)生和后勤人員,成立有50個獨立的實驗室,包含了6個大類的研究部門:生物學(xué)、細胞和分子生物學(xué)、遺傳學(xué)和計算生物學(xué)、免疫學(xué)、人口健康以及聯(lián)合方案。其研究人員調(diào)查了一系列的疾病,包括癌癥、哮喘、艾滋病、瘧疾、子宮內(nèi)膜異位癥、登革熱的遺傳和環(huán)境因素的影響。
挑戰(zhàn)
就像所有的研究設(shè)備一樣,QIMR的科學(xué)家們需要通過訪問高性能計算(HPC)資源,實現(xiàn)突破性的創(chuàng)新成果。如果沒有最先進的設(shè)施,QIMR將無法支持科學(xué)家們的尖端項目或吸引最優(yōu)秀的研究人員。
QIMR的首席信息官Jonathan Davies說:“根據(jù)推動生物信息學(xué)和統(tǒng)計分析的要求,用戶通常會開始要求更多的計算能力,研究人員需要訪問高性能計算集群來同時處理大量數(shù)據(jù)集合。而且很快會出現(xiàn)越來越多的用戶請求使用類似的資源。并且我們所談?wù)摰氖沁@里大多數(shù)的研究部門,而不僅僅是其中的一個兩個。在整個QIMR,這就是我們的科學(xué)家科研所需要的工作。”
為了滿足科研的需要,QIMR需要建立一個通過作業(yè)管理系統(tǒng)來管理作業(yè)調(diào)度和優(yōu)化吞吐量的HPC集群來為所有實驗室提供共享的計算服務(wù)。
“對于作業(yè)管理系統(tǒng),最重要一點就是可靠性,我們希望有一個著名的、性能優(yōu)異的支持系統(tǒng),讓我們可以依靠它來實現(xiàn)我們的需求。”
圖1 DELL多核服務(wù)器
解決方案
在2010年底,QIMR購買了戴爾的多核服務(wù)器和存儲構(gòu)建了HPC集群,通過PBS Works以方便共享為核心服務(wù)服務(wù),為研究所的實驗室提供高效計算資源。該集群由戴爾PowerEdge R815服務(wù)器和Dell PowerEdge R710服務(wù)器構(gòu)成。
在選擇一個作業(yè)管理系統(tǒng)時,QIMR評估了許多商業(yè)和開源的系統(tǒng),當(dāng)然很多研究機構(gòu)和研究型大學(xué)都有類似的經(jīng)歷。QIMR的IT團隊對多個系統(tǒng)進行了細致的分析后,包括了大量的產(chǎn)品功能演示,最終選擇了Altair PBS Works。
PBS Works是一套包含作業(yè)調(diào)度、按需計算、HPC作業(yè)管理和分析產(chǎn)品。該套件的旗艦產(chǎn)品,PBS Professional®,是業(yè)界使用最為廣泛的HPC作業(yè)管理和調(diào)度系統(tǒng)。
Jonathan Davies說:“PBS Professional是我們了解的經(jīng)過實踐檢驗的商業(yè)級的系統(tǒng),它性能可靠,特別是在復(fù)雜的環(huán)境中,可以為大量分散在許多不同實驗室的研究者提供解決方案。我們也知道我們可以從Altair找到可靠的專家對我們進行支持。”
QIMR同時希望,確保他們的群集可以容易地為研究的擴大而擴展。“PBS Professional是這個場景的理想方案,”Jonathan Davies說,“現(xiàn)在有很多可擴展的作業(yè)管理系統(tǒng),PBS Professional是許多世界TOP500超級計算機在使用的可以擴展到數(shù)百數(shù)千個核心作業(yè)管理系統(tǒng)。”
“最初的集群使用了Torque資源管理系統(tǒng),但我們發(fā)現(xiàn),需要大量的工作才能支持我們的團隊。”Jonathan Davies說,“因此為了這套系統(tǒng)我們投入了大量的資源進行了系統(tǒng)的維護和培訓(xùn)。”
IT團隊在2011年安裝了PBS Professional,為用戶提供服務(wù);在2012年,他們把HPC集群移到一個新的專用數(shù)據(jù)中心,新的HPC提供更多的資源擴展,增強了用戶操作環(huán)境,提供了更靈活的電源管理,F(xiàn)在的集群系統(tǒng),為所有六個部門的遍布世界各地的50名科學(xué)家提供服務(wù)。PBS Professional管理不同大小和類型的各種作業(yè),為每個研究人員提供了平衡的作業(yè)負載并確保每個人所需要的HPC計算資源可用。
結(jié)論
“每個人都得益于該系統(tǒng)的使用。”Jonathan Davies說,“我們的科學(xué)家現(xiàn)在可以提供更快、更準確的科研成果——我們同時能夠處理更多的數(shù)據(jù),并且更加迅捷。研究人員還可以做很多以前無法完成的事情,比如多次運行計算作業(yè)或使用更大的數(shù)據(jù)集合,實現(xiàn)其他方式無法獲得的結(jié)果。這套系統(tǒng)帶給我們的價值顯而易見。”
在一個例子中,遺傳學(xué)研究工作者們致力于上千基因組項目,他們希望針對大量的基因組數(shù)據(jù)來進行計算。這種類型的工作以前根本無法完成。
QIMR的科學(xué)家們已經(jīng)發(fā)現(xiàn)PBS Professional對于提交HPC作業(yè)來說是一個易于使用且功能強大的工具。Jonathan Davies的報告指出,一組以前從來沒有用過類似PBS Professional產(chǎn)品的用戶,能夠非?焖俚脑诓坏1周的時間內(nèi)開始運行自己的作業(yè),就像QIMR的資深用戶一樣。
“使用PBS Professional系統(tǒng)是非常簡單的。作為一個用戶,我在開始使用HPC之前感到有些害怕,PBS Professional可以很容易地運行HPC作業(yè),并給我一些指導(dǎo),我現(xiàn)在發(fā)現(xiàn)通過集群運行作業(yè)是一件非常容易的事情。”生物統(tǒng)計學(xué)家Leesa Wockner說,他在QIMR/RBWH部門的統(tǒng)計部門工作。
“以前,我們的科學(xué)家們在各自的工作站上運行他們的計算進程,這樣可能需要幾個星期才能得到他們所需要的結(jié)果,”Jonathan Davies說,“現(xiàn)在作業(yè)的周轉(zhuǎn)時間只需幾個小時或幾分鐘。”
即使是遺傳學(xué)和計算生物學(xué)部門,他們曾經(jīng)自己維護著一套Condor的集群,目前也已經(jīng)切換到了PBS Professional系統(tǒng)進行管理。
“中央集群的最大特點是速度更快,并且研究人員有更多的可用計算資源”統(tǒng)計遺傳學(xué)實驗室研究助理Yi Lu說。
QIMR的系統(tǒng)管理員喜歡的是PBS Professional易于管理的作業(yè)調(diào)度系統(tǒng),提供了任務(wù)和資源管理的靈活控制。
隨著越來越多的研究人員了解到這套共享系統(tǒng)的可用性和對用戶的好處,QIMR計劃擴大集群的規(guī)模。
在一個例子中,系統(tǒng)神經(jīng)科學(xué)實驗室的運行MATLAB作為其心理健康研究的一部分。“MATLAB為我們提供了一個易于使用的界面包括了GPU計算和與PBS Professional的通訊使用,使我們能夠便利地從臺式機轉(zhuǎn)到利用的機群的資源,而無需重新編寫所有的代碼。”在實驗室的博士生Anton Lord說,“這為我們節(jié)省了時間和精力。”
部分計算需從中央集群擴展到多個節(jié)點,需要判斷用戶的需求,如NVIDIA特斯拉通過Altair的系統(tǒng)調(diào)用中央戴爾的系統(tǒng)。“戰(zhàn)略上,我們選擇一個支持GPU(圖形處理器)的作業(yè)管理系統(tǒng),”Jonathan Davies解釋。
QIMR期望PBS Works成為他們的HPC增長所選平臺,為醫(yī)學(xué)研究提供全球頂級的計算環(huán)境。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.oesoe.com/
本文標題:PBS Professional助力QIMR提升HPC能力和支持高質(zhì)量的研發(fā)能力
本文網(wǎng)址:http://www.oesoe.com/html/solutions/14019315309.html