高速網絡環境下的分佈式大型文件分發系統中調度子系統的設計與實

隨着科學技術的發展,科學計算和生產,以及人們生活,娛樂對於高速網絡環境下大規模的數據分發的要求日益提高.傳統的基於c/s模型的分發方法,如http,ftp等服務,由於其固有的限制,不可能從根本上解決服務器端的帶寬和計算能力瓶頸問題;現有的基於p2p模型的各種數據分發方法,則存在着性能不好,可靠性差,安全性差等諸多嚴重的問題,難以勝任真實的,嚴肅的科學研究實踐.

為了解決這些問題,我們設計了一套全新的,基於p2p模型的,用於高速網絡環境中分發大型文件的分佈式文件分發系統.這套系統希望能夠通過科學,合理的設計來消除現有p2p系統中存在的諸多問題,汲取c/s模型和p2p模型中的優點,並能夠勝任較大規模的數據分發任務的需要.

調度的好壞是決定一個系統能否有效地運轉的重要因素.對於我們正在設計的這套系統來説,其調度子系統不僅需要合理地處理來自本地的各種調度請求,還需要與網絡上的其他節點配合,以期在整個網絡的全局範圍內,達到最佳的執行效率;通過有效而合理地安排任務執行和請求的先後次序,調度子系統不僅要在本地達到充分利用網絡帶寬和磁盤高速緩存等資源,而且,以全局的觀點看,它還需要實現整個網絡範圍內的負載平衡和故障轉移,在保證數據正確傳輸的前提下,儘可能地縮短整體的響應時間,以期提高傳輸效率,併合理地利用網絡帶寬和計算資源.

正確地設計調度子系統需要對現有的基於單處理器,多處理器,numa等不同體系結構下的調度器進行深入的瞭解,以及對於前人在這一方面研究成果的深入理解和認識.除此之外,需要建立一系列可實現的評估模型,以便讓計算機能夠有效地完成調度任務.

調度算法中可能會涉及一些np-完全問題,因此,調度器的實現中很可能會不可避免地選擇一些折衷的算法以給出這些問題的近似解.如何在這些近似的算法中選出最合理的那些,同樣需要設計正確的評估模型,並進行試驗和論證.

二、注意要點:

系統整體設計中要充分考慮性能,可伸縮性,可靠性和安全性,並在設計中予以體現.

建立並選取可能的評估模型,對於系統的執行給出合理的論證,並確保選定的評估模型的可實現性和正確性.

作為系統的核心部件,調度子系統的實現必須正確.調度子系統在設計時,同時實現對應的單元測試代碼,並使用這些代碼對調度子系統進行壓力測試.

使用c++語言進行開發.為了保證系統整體的可移植性,這部分的實現必須完全符合c++98以及posix等相關規範.

系統的編碼過程必須規範,通過合理地使用版本控制,確保軟件的質量.

總結測試數據,撰寫畢業設計論文

三、時間安排:(XX-02-10 – XX-05-30)

2.10---3.25 閲讀相關文獻,設計系統的整體架構,編寫架構文檔並實現初步的原型.(佔全部時間的大約40%)

3.26---4.27 精細的原型實現,這一階段調度子系統和其他子系統的每日構建和聯調應能夠正確通過.(佔全部時間的大約30%)

4.28---5.19 系統的穩定化和測試,撰寫《畢業設計論文》.這一階段,整個系統的每日構建和聯調必須能夠正確通過.(佔全部時間的大約20%)

5.20---5.30 總結畢業設計中出現過的問題,完成《畢業設計論文》.這一階段,整個系統應能夠正確運行.(佔全部時間的大約10%)

四、參考文獻:

"distributed systems: concepts and design (3rd edition)" george coulouris, et al, XX. (isbn: 0201619180)

the design and implementation of the 4.4 bsd operating system, mckusick, et al, 1996. (isbn: 0201549794)

the art of computer programming, volume 1 and 3, donald e. knuth, 1997, 1998(isbn 0-201-89683-4, isbn 0-201-89685-0)

the darknet and the future of content distribution, peter biddle, et al, XX ttp://]