1、集群就是一組計(jì)算機(jī)或者工作站以特定的方式連結(jié)起來，它們作為一個(gè)整體向用戶提供一組網(wǎng)絡(luò)資源和計(jì)算資源。通過集群系統(tǒng)，可以獲得接近于超級(jí)并行計(jì)算機(jī)的計(jì)算能力和處理能力。隨著分布式技術(shù)和并行計(jì)算的快速發(fā)展，用戶對(duì)集群系統(tǒng)的需求日益增長(zhǎng)。集群系統(tǒng)提供強(qiáng)大計(jì)算能力的同時(shí)，面對(duì)結(jié)構(gòu)復(fù)雜、節(jié)點(diǎn)繁多的實(shí)際狀況，其系統(tǒng)管理是一個(gè)值得深入研究的領(lǐng)域。
　　 本文研究的主要內(nèi)容為日本富士通公司的超級(jí)集群系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的一個(gè)作業(yè)文件傳輸調(diào)度器。調(diào)度器主要

2、完成作業(yè)運(yùn)行所需文件傳輸調(diào)度優(yōu)化任務(wù)，以保證系統(tǒng)穩(wěn)定、資源負(fù)載平衡、作業(yè)按時(shí)執(zhí)行的情況下，且使得作業(yè)依賴文件傳輸?shù)臅r(shí)間最短，為作業(yè)高效執(zhí)行提供強(qiáng)大的支撐。
　　 論文通過對(duì)當(dāng)前集群環(huán)境下文件傳輸方案的研究和分析，并結(jié)合實(shí)際的集群架構(gòu)，提出了文件分時(shí)間段傳輸優(yōu)化算法，并設(shè)計(jì)實(shí)現(xiàn)了集群系統(tǒng)模擬實(shí)驗(yàn)。模擬系統(tǒng)包含三大模塊，即主控制模塊、通信接口模塊和文件傳輸調(diào)度器模塊。在主控制模塊中，實(shí)現(xiàn)了客戶端管理、節(jié)點(diǎn)的管理、用戶提交作業(yè)的管理以

3、及對(duì)集群系統(tǒng)中作業(yè)的監(jiān)控和調(diào)度功能；在接口模塊中，主要實(shí)現(xiàn)了系統(tǒng)控制、共享內(nèi)存管理以及實(shí)現(xiàn)兩個(gè)模塊之間的數(shù)據(jù)通信功能；在文件分段傳輸調(diào)度模塊中，實(shí)現(xiàn)了作業(yè)依賴文件分段傳輸?shù)墓芾砗驼{(diào)度。調(diào)度算法在采用經(jīng)典調(diào)度算法的同時(shí)，實(shí)時(shí)地根據(jù)作業(yè)請(qǐng)求信息，引入時(shí)間片機(jī)制，通過各個(gè)節(jié)點(diǎn)之間占用時(shí)間片的時(shí)間值的比較，得出可以最早時(shí)間內(nèi)完成傳輸任務(wù)的調(diào)度方案。另外，通過編程還實(shí)現(xiàn)了進(jìn)程間的數(shù)據(jù)通信，利用互斥鎖機(jī)制保障了進(jìn)程間數(shù)據(jù)同步與安全性。最后通過一些典