本站小編為你精心準(zhǔn)備了氣象數(shù)據(jù)共享服務(wù)網(wǎng)絡(luò)技術(shù)論文參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

1P2P技術(shù)的解決方案

1.1P2P傳輸模型在P2P傳輸模型中，各個節(jié)點(diǎn)所起的作用是對等的，一個節(jié)點(diǎn)（同一時(shí)刻）既可以是資源的提供者，也可以是資源的需求者，如圖2所示。P2P技術(shù)將各節(jié)點(diǎn)互相結(jié)合成一個網(wǎng)絡(luò)，共享其間的帶寬、共同處理其中的信息。

1.2P2P協(xié)議P2P技術(shù)發(fā)展至今，產(chǎn)生了許多不同的文件共享協(xié)議，根據(jù)拓?fù)浣Y(jié)構(gòu)的關(guān)系可分為4種形式。（1）以Napster為代表的中心化拓?fù)?，所有?jié)點(diǎn)的位置關(guān)系依然需要中心節(jié)點(diǎn)的參與，可擴(kuò)展性差。（2）以Gnutella為代表的全分布式非結(jié)構(gòu)化拓?fù)?，是一種純粹的P2P網(wǎng)絡(luò)，網(wǎng)絡(luò)節(jié)點(diǎn)可以隨意擴(kuò)展，但可靠性較差。（3）以KaZaA為代表的半分布式拓?fù)洌邆湟唤M超級節(jié)點(diǎn)提供服務(wù)，支持復(fù)雜查詢但是可維護(hù)性不高。（4）以BitTorrent為代表的全分布式結(jié)構(gòu)化拓?fù)?，自適應(yīng)節(jié)點(diǎn)的變化，可擴(kuò)展性、可維護(hù)性好。氣象寬帶網(wǎng)是一個結(jié)構(gòu)穩(wěn)定的網(wǎng)絡(luò)，為了在減小中心節(jié)點(diǎn)壓力的同時(shí)保證網(wǎng)絡(luò)系統(tǒng)的可擴(kuò)展性和可維護(hù)性，最適合采用BitTorrent協(xié)議。另外，BitTorrent協(xié)議采用數(shù)據(jù)塊傳輸機(jī)制，支持?jǐn)帱c(diǎn)續(xù)傳，這種方式能夠保障數(shù)據(jù)的完整性。

1.3P2P技術(shù)的優(yōu)缺點(diǎn)P2P技術(shù)可以充分利用氣象寬帶網(wǎng)MPLS－VPN的網(wǎng)狀結(jié)構(gòu)，將中心節(jié)點(diǎn)分發(fā)壓力分?jǐn)偟礁鱾€節(jié)點(diǎn)上，利用所有節(jié)點(diǎn)的參與實(shí)現(xiàn)數(shù)據(jù)從單數(shù)據(jù)源到多目標(biāo)節(jié)點(diǎn)的共享，如圖3所示，針對國家級節(jié)點(diǎn)A需要向若干省級節(jié)點(diǎn)（至少大于1）共享數(shù)據(jù)，國家級節(jié)點(diǎn)會將數(shù)據(jù)拆分成若干數(shù)據(jù)包，分別傳輸給廣東、湖北、河北3個省級節(jié)點(diǎn)，然后這3個節(jié)點(diǎn)再分別進(jìn)行交換傳輸直到數(shù)據(jù)包接收完整。然而，在氣象通信業(yè)務(wù)中直接使用現(xiàn)有的互聯(lián)網(wǎng)P2P軟件存在著一些不足：一是節(jié)點(diǎn)的可控性、可管理性差，網(wǎng)絡(luò)中各個節(jié)點(diǎn)隨時(shí)可能退出系統(tǒng)，共享交換的信息隨時(shí)可能被刪除或者被終止共享；二是節(jié)點(diǎn)間傳輸不可控，容易造成骨干網(wǎng)擁塞、網(wǎng)絡(luò)流量風(fēng)暴等問題。

1.4解決方案（1）內(nèi)容可靠性。為了解決傳統(tǒng)P2P傳輸中內(nèi)容可靠性的問題，需要融合CDN網(wǎng)絡(luò)［8］的思想，CDN的全稱是ContentDeliveryNetwork，即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的是通過在現(xiàn)有的網(wǎng)絡(luò)中增加一層新的網(wǎng)絡(luò)架構(gòu)，將中心節(jié)點(diǎn)的內(nèi)容到最接近用戶且服務(wù)能力最好的節(jié)點(diǎn)（即超級節(jié)點(diǎn)），使用戶可以從超級節(jié)點(diǎn)取得所需的內(nèi)容，解決網(wǎng)絡(luò)擁塞問題，提高用戶訪問節(jié)點(diǎn)的響應(yīng)速度。為了將P2P和CDN有機(jī)融合，設(shè)計(jì)了一種基于節(jié)點(diǎn)－服務(wù)器的模型（P2SP）：在一個共享網(wǎng)絡(luò)環(huán)境中，保證有足夠的服務(wù)能力較好的超級節(jié)點(diǎn)已經(jīng)具備初始數(shù)據(jù)源能力，然后與所有節(jié)點(diǎn)進(jìn)行共享。如圖4所示，當(dāng)國家級節(jié)點(diǎn)A需要向各省提供共享數(shù)據(jù)時(shí)，首先選擇向國家級節(jié)點(diǎn)B和服務(wù)能力較好的北京節(jié)點(diǎn)進(jìn)行數(shù)據(jù)拷貝，生成BitTorrent協(xié)議中的數(shù)據(jù)源，然后由這3個數(shù)據(jù)源節(jié)點(diǎn)同時(shí)向其他省級節(jié)點(diǎn)服務(wù)，各省級節(jié)點(diǎn)會根據(jù)實(shí)際網(wǎng)絡(luò)狀態(tài)選擇優(yōu)先連接的節(jié)點(diǎn)。這樣做的好處在于解決傳統(tǒng)Bit－Torrent協(xié)議可靠性差的問題。（2）傳輸控制。為了解決P2P技術(shù)中節(jié)點(diǎn)間傳輸不可控的問題，需要在BitTorrent協(xié)議基礎(chǔ)上，在軟件中合理設(shè)置和調(diào)整節(jié)點(diǎn)間傳輸?shù)淖畲笊闲泻拖滦兴俾?，避免網(wǎng)絡(luò)流量風(fēng)暴和擁塞問題。

2應(yīng)用實(shí)現(xiàn)

2.1功能組成基于P2P的氣象數(shù)據(jù)共享應(yīng)用主要目標(biāo)是實(shí)現(xiàn)從單一資料源節(jié)點(diǎn)以BitTorrent協(xié)議將資料共享給網(wǎng)絡(luò)中所有的節(jié)點(diǎn)。從邏輯上由以下幾部分構(gòu)成：（1）數(shù)據(jù)服務(wù)器，保存需要共享氣象數(shù)據(jù)的一份原始拷貝，又稱為種子。該數(shù)據(jù)服務(wù)器和業(yè)務(wù)系統(tǒng)存在接口，實(shí)時(shí)獲取并更新種子，氣象數(shù)據(jù)可以按照指定的目錄進(jìn)行存儲。每一組共享傳輸試用特定的P2P通信端口。（2）torrent文件，即種子文件，記載BitTorrent協(xié)議的相關(guān)信息。BitTorrent軟件負(fù)責(zé)制作和生成種子文件，邏輯上把將要共享的數(shù)據(jù)文件重新編排，然后按照議約定的256KB大小進(jìn)行切割，最后將編排和切割后的索引信息存放入torrent文件中。（3）Web服務(wù)器，用于存放和分發(fā)種子文件。（4）Tracker服務(wù)器，保存整個P2P網(wǎng)絡(luò)信息的中心服務(wù)器。（5）節(jié)點(diǎn)客戶端，負(fù)責(zé)定時(shí)或根據(jù)需要從Web服務(wù)器下載并解析torrent文件，實(shí)現(xiàn)P2P方式數(shù)據(jù)的共享傳輸。節(jié)點(diǎn)客戶端通過與Tracker服務(wù)器以HTTP協(xié)議進(jìn)行交互，能夠得知網(wǎng)絡(luò)中已下載完成的節(jié)點(diǎn)數(shù)以及正在下載的節(jié)點(diǎn)數(shù)，每個節(jié)點(diǎn)的IP地址和端口號等。節(jié)點(diǎn)客戶端（A）與另一個節(jié)點(diǎn)客戶端（B）建立TCP連接過程如下：A首先向B發(fā)送握手消息，等待B返回相同格式的握手反饋信息，達(dá)到完全握手狀態(tài)。與此同時(shí)每個節(jié)點(diǎn)客戶端都需要維護(hù)一張所有與自己連接節(jié)點(diǎn)的鏈表。

2.2應(yīng)用流程基于P2SP的氣象數(shù)據(jù)共享應(yīng)用流程如下。（1）中心節(jié)點(diǎn)源數(shù)據(jù)制作并：中心節(jié)點(diǎn)從邏輯上包括數(shù)據(jù)服務(wù)器、Tracker服務(wù)器和WEB服務(wù)器，中心節(jié)點(diǎn)需要將所有需要共享的數(shù)據(jù)組織成torrent文件并到Web服務(wù)器上，如圖5中流程①②③。（2）超級節(jié)點(diǎn)獲取torrent文件并獲得原始拷貝：中心節(jié)點(diǎn)臨近的超級節(jié)點(diǎn)會首先獲得種子文件和完整的共享數(shù)據(jù)從而成為超級節(jié)點(diǎn)。如圖5中流程④⑤。（3）所有節(jié)點(diǎn)參與共享：各節(jié)點(diǎn)客戶端會實(shí)時(shí)下載torrent文件并進(jìn)行解析，然后從中心節(jié)點(diǎn)或超級節(jié)點(diǎn)下載數(shù)據(jù)片段并從其他節(jié)點(diǎn)獲取余下的片段，如圖5中流程⑥⑦⑧。

3業(yè)務(wù)試驗(yàn)和比較

考慮到實(shí)時(shí)氣象業(yè)務(wù)的不可中斷性，不可能在全國31個省級節(jié)點(diǎn)實(shí)際業(yè)務(wù)環(huán)境開展大規(guī)模的試驗(yàn)。針對P2SP技術(shù)在氣象業(yè)務(wù)中應(yīng)用的性能評估，采用網(wǎng)絡(luò)仿真和小規(guī)模的比較試驗(yàn)成了最佳可供選擇的測試和驗(yàn)證方法。

3.1可行性模擬驗(yàn)證PeerSim是意大利博洛尼亞大學(xué)開發(fā)的基于生物啟發(fā)技術(shù)的P2P模擬器［16］。PeerSim由配置管理器、網(wǎng)絡(luò)拓?fù)鋵ο?、結(jié)點(diǎn)對象、協(xié)議對象、動態(tài)對象、觀察對象以及模擬引擎對象等組成。PeerSim是一個模擬P2P覆蓋網(wǎng)絡(luò)的軟件，支持結(jié)構(gòu)化和非結(jié)構(gòu)化P2P網(wǎng)絡(luò)模擬。通過BitTorrent協(xié)議的修改和部署，實(shí)現(xiàn)了基于P2P的仿真試驗(yàn)。使用PeerSim模擬BitTorrent協(xié)議從1個中心節(jié)點(diǎn)向固定的30個節(jié)點(diǎn)共享100000KB數(shù)據(jù)的表現(xiàn)情況。100000KB的文件將被拆分成391塊（390×256KB＋160KB＝100000KB），限制上傳、下載速率不超過100KB／s。在試驗(yàn)的時(shí)候，為了模擬P2SP場景，隨機(jī)選取了部分節(jié)點(diǎn)作為超級節(jié)點(diǎn)。試驗(yàn)結(jié)果表明，在1800s內(nèi)這些數(shù)據(jù)完成了全部節(jié)點(diǎn)的共享拷貝。經(jīng)過10次的模擬，所獲得的試驗(yàn)結(jié)果相似。

3.2性能比較試驗(yàn)為了評估該應(yīng)用在實(shí)際業(yè)務(wù)中效率以及穩(wěn)定性，搭建了一個利用中國氣象局局域網(wǎng)環(huán)境的試驗(yàn)平臺，有針對性的開展一系列試驗(yàn)。由于P2P需要多節(jié)點(diǎn)的參與，因此在試驗(yàn)中除中心節(jié)點(diǎn)外至少選擇2個節(jié)點(diǎn)參與?，F(xiàn)在國內(nèi)通信傳輸業(yè)務(wù)比較多的使用AFD，它是一個自動的支持多協(xié)議的本地和遠(yuǎn)程數(shù)據(jù)收發(fā)軟件，在氣象通信系統(tǒng)中目前使用較多的還是AFD的FTP協(xié)議。AFD支持并發(fā)傳輸，因此在進(jìn)行單數(shù)據(jù)源多目標(biāo)節(jié)點(diǎn)分發(fā)時(shí)，會通過消耗中心節(jié)點(diǎn)的資源獲得傳輸效率。為了使兩種應(yīng)用具備可比性，通過軟件功能限制中心節(jié)點(diǎn)平均速率，并且AFD的傳輸并發(fā)數(shù)設(shè)置為1，P2SP傳輸應(yīng)用也設(shè)置為1個TCP連接。（1）數(shù)據(jù)總量對于傳輸效率的影響。在測試中選擇文件大小為1MB至300MB的數(shù)據(jù)文件。當(dāng)子節(jié)點(diǎn)個數(shù)為4時(shí)，兩種應(yīng)用傳輸效率結(jié)果如圖6，測試次數(shù)為3次，結(jié)果取平均值。當(dāng)數(shù)據(jù)量逐步增大時(shí)，在中心節(jié)點(diǎn)同等網(wǎng)絡(luò)流量條件（不超過1MB）下，當(dāng)數(shù)據(jù)文件大于10MB時(shí)，P2P應(yīng)用傳輸效率優(yōu)于AFD應(yīng)用。從理論上分析，P2P應(yīng)用通過子節(jié)點(diǎn)之間的網(wǎng)絡(luò)流量消耗換取了效率的提高。在數(shù)據(jù)總量較小時(shí)，由于P2P應(yīng)用還存在節(jié)點(diǎn)相互握手和與Tracker服務(wù)的交互訪問導(dǎo)致效率低于AFD應(yīng)用，而當(dāng)傳輸大文件時(shí)，P2P應(yīng)用對提升多節(jié)點(diǎn)互傳的效率起到明顯的作用。（2）節(jié)點(diǎn)個數(shù)對于傳輸效率的影響。為了與實(shí)際業(yè)務(wù)場景更接近，進(jìn)行大量小文件在不同節(jié)點(diǎn)數(shù)條件下的傳輸測試，選擇單個文件大小在50B～150KB的總大小約28MB的1000個小文件，這些文件被打散分布在至少3級層次的目錄中。子節(jié)點(diǎn)個數(shù)分別設(shè)定為2～6個，將3次測試的平均結(jié)果記錄在圖7中，可以看出：當(dāng)節(jié)點(diǎn)個數(shù)逐步增大時(shí)，在中心節(jié)點(diǎn)相同網(wǎng)絡(luò)流量條件下（不超過30KB），AFD應(yīng)用的傳輸時(shí)間成線性增長，而P2P應(yīng)用隨節(jié)點(diǎn)增多產(chǎn)生了明顯的加速效應(yīng)。

3.3小規(guī)模業(yè)務(wù)試用通過可行性模擬驗(yàn)證和性能比較試驗(yàn)，基于P2P的氣象數(shù)據(jù)共享應(yīng)用可以滿足單數(shù)據(jù)源多目標(biāo)節(jié)點(diǎn)的氣象數(shù)據(jù)共享需求，并且在不增加中心節(jié)點(diǎn)資源消耗的情況下隨著數(shù)據(jù)量和目標(biāo)節(jié)點(diǎn)增加，P2P的傳輸效率也隨之提高?？紤]實(shí)際業(yè)務(wù)應(yīng)用效果，我們將該應(yīng)用部署在氣象寬帶網(wǎng)的部分省級節(jié)點(diǎn)上開展小規(guī)模業(yè)務(wù)試用。選取北京、四川、河北、廣東、湖北、內(nèi)蒙等省級節(jié)點(diǎn)，在MPLS－VPN網(wǎng)絡(luò)中使用PC服務(wù)器進(jìn)行試驗(yàn)，操作系統(tǒng)為SUSELinux，選擇實(shí)時(shí)衛(wèi)星資料進(jìn)行傳輸，各節(jié)點(diǎn)傳輸速率控制在1MB／s內(nèi)，試驗(yàn)結(jié)果表明，全部數(shù)據(jù)在150s內(nèi)完成了176MB文件在所有省級節(jié)點(diǎn)的傳輸。此外，在相同的網(wǎng)絡(luò)環(huán)境下，我們還進(jìn)行了氣候模式數(shù)據(jù)文件的傳輸試驗(yàn)，模式數(shù)據(jù)量為2GB，在各節(jié)點(diǎn)傳輸速率控制在1MB／s內(nèi)時(shí)，P2P用時(shí)20min完成了全部數(shù)據(jù)在6個省級節(jié)點(diǎn)的共享傳輸。而對于AFD應(yīng)用，采用單線程方式，即使不限制中心節(jié)點(diǎn)傳輸速率，全部共享完所有數(shù)據(jù)耗時(shí)也超過了1h。利用P2P技術(shù)的一個附加好處是：不需要對共享的目錄結(jié)構(gòu)進(jìn)行傳輸配置，因?yàn)镻2P應(yīng)用將所有目錄信息都記錄在torrent文件中，接收端的目錄結(jié)構(gòu)和發(fā)送端的目錄結(jié)構(gòu)在默認(rèn)情況下會保持一致。而AFD應(yīng)用必須逐一配置指定路徑來保證資料傳輸?shù)侥繕?biāo)節(jié)點(diǎn)的對應(yīng)目錄，當(dāng)目錄數(shù)過大時(shí)容易導(dǎo)致中心節(jié)點(diǎn)配置錯誤。

4結(jié)論

為解決單一數(shù)據(jù)源節(jié)點(diǎn)向多目標(biāo)節(jié)點(diǎn)共享傳輸氣象資料業(yè)務(wù)的中心節(jié)點(diǎn)性能瓶頸，設(shè)計(jì)并實(shí)現(xiàn)了一種基于P2SP模式的氣象數(shù)據(jù)共享應(yīng)用，采用BitTorrent協(xié)議以充分利用各節(jié)點(diǎn)間的網(wǎng)絡(luò)資源來提高傳輸效率。同時(shí)，通過節(jié)點(diǎn)流量控制來保證整個傳輸對網(wǎng)絡(luò)帶寬資源消耗的可控。在單源多目標(biāo)共享場景中，消耗中心節(jié)點(diǎn)相同資源，基于P2P的應(yīng)用效率高于傳統(tǒng)的C／S模式，并且隨著共享節(jié)點(diǎn)數(shù)的增多以及數(shù)據(jù)量的增大，效率的提升越明顯。盡管基于P2P的氣象數(shù)據(jù)共享應(yīng)用在特定場景試驗(yàn)中取得了比較好的結(jié)果，但是氣象實(shí)時(shí)數(shù)據(jù)共享傳輸業(yè)務(wù)是一個復(fù)雜場景的時(shí)效和安全要求均很高的業(yè)務(wù)，P2P的實(shí)際業(yè)務(wù)應(yīng)用仍需要進(jìn)行深入的研究和更廣泛的試驗(yàn)，才有可能成為現(xiàn)有業(yè)務(wù)通信傳輸?shù)囊环N有效補(bǔ)充。致謝：感謝北京市、湖北省、河北省、廣東省、內(nèi)蒙古自治區(qū)、四川省等氣象信息相關(guān)單位對本文研究工作的大力支持。

作者：王甫棣王鵬何恒宏單位：國家氣象信息中心通信臺