2014-10-08 13:37:20 來源：CIO時代網(wǎng)
1、問題的提出
前不久，工業(yè)和信息化部某官員在一個公開場合對我國信息化發(fā)展的態(tài)勢進(jìn)行了總結(jié)，在他看來，當(dāng)前影響IT技術(shù)和產(chǎn)業(yè)發(fā)展的重要要素有五個，分別為：“云、物、移、大、智”,即云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、大數(shù)據(jù)、智慧城市?！?】這是目前我國官方就此作出的權(quán)威性概述。
官方的概述是綜合全局各方面情況，經(jīng)分析歸納而得出的。行業(yè)間的差異、各部門專業(yè)特點及側(cè)重點的不同，使得這五個要素在各個行業(yè)和部門間的作用和地位彼此存在不小的差異。對于已有近百年歷史的中國氣象部門而言，這五個要素在氣象現(xiàn)代化進(jìn)程中究竟起到哪些作用，其中哪些要素是目前信息化工作中所急需，因而需要重點研究和應(yīng)用的，這些問題都需要考察、分析和思考后給出相應(yīng)的答案。
2、氣象部門信息化發(fā)展趨勢分析
2.1 “五大要素”對當(dāng)前氣象業(yè)務(wù)建設(shè)的影響初析
對于“云、物、移、大、智”這五大要素，讀者皆耳熟能詳，為節(jié)省篇幅，不再展開介紹。
這里物聯(lián)網(wǎng)概念和相關(guān)技術(shù)以及配套的數(shù)據(jù)質(zhì)量檢測等數(shù)據(jù)清洗技術(shù)的成熟和有效運(yùn)用，以及類似“眾包”等形式的新的信息采集模式的引入，有可能給常規(guī)觀測（地面觀測、高空觀測等）的手段和方法帶來幾近革命性的變革，從而大大豐富信息的獲取渠道、提高信息采集的時空密度?！?】此外，資產(chǎn)管理領(lǐng)域?qū)鞲屑夹g(shù)及綜合信息管理方法的深度引入，是近年來物聯(lián)網(wǎng)技術(shù)開始有效應(yīng)用于氣象業(yè)務(wù)的典型例證之一。
移動互聯(lián)的廣泛普及和應(yīng)用，將大大豐富業(yè)務(wù)及科研人員的工作方式，使其從辦公室和寫字臺邊解放出來，實現(xiàn)工作場所和工作平臺的移動化和泛在化，從而大幅提高工作效率。此內(nèi)容在下文中將有所提及。
綜合有效應(yīng)用有關(guān)技術(shù)，以智慧推進(jìn)新型城鎮(zhèn)化的“智慧城市”,其概念、思路和方法應(yīng)用于氣象部門，也可搭建起以“感知敏銳、判斷準(zhǔn)確、反應(yīng)及時、效果滿意”為基本特征的“智慧氣象”模式。這是另一個話題，本文中不做詳述。
較之上面這三個因素而言，云計算和大數(shù)據(jù)在技術(shù)層面上對氣象業(yè)務(wù)基礎(chǔ)架構(gòu)的影響更為直接和深入，圍繞該主題，下文將就氣象業(yè)務(wù)基礎(chǔ)架構(gòu)未來的框架以及云計算和大數(shù)據(jù)在這方面的作用展開討論。
注：下文中所提的業(yè)務(wù)系統(tǒng)，是除需要高性能計算環(huán)境的數(shù)值預(yù)報系統(tǒng)以外的所有氣象業(yè)務(wù)系統(tǒng)。
2.2 對“云計算”、“大數(shù)據(jù)”的分析和理解
筆者之所以強(qiáng)調(diào)云計算和大數(shù)據(jù)對于氣象業(yè)務(wù)基礎(chǔ)架構(gòu)的影響，是由這兩者的技術(shù)構(gòu)成以及業(yè)務(wù)目標(biāo)所決定的。
（1）相關(guān)核心技術(shù)比較
目前業(yè)界大致認(rèn)可的云計算核心技術(shù)大體上有以下幾部分【3】：
虛擬化技術(shù)：可提高資源的利用率，并能根據(jù)用戶業(yè)務(wù)需求的變化，快速靈活地進(jìn)行資源配置和部署。
分布式編程模型與計算：可將用戶的程序分解為高效的分布式計算模式并高效運(yùn)行，使服務(wù)方能有效利用所轄各類資源，在用戶的容忍時效內(nèi)將結(jié)果返回給用戶。
海量數(shù)據(jù)分布式存儲技術(shù)：可滿足大量用戶對服務(wù)端海量數(shù)據(jù)的并發(fā)存取需求，并保證高可用、高可靠和經(jīng)濟(jì)性。
海量數(shù)據(jù)管理技術(shù)：滿足對以分布式存儲形式管理的海量數(shù)據(jù)的高效管理，實現(xiàn)對分布式存儲的海量數(shù)據(jù)進(jìn)行處理和分析的需求。
虛擬資源的管理與調(diào)度：可使大量的虛擬化資源協(xié)同工作，方便地進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動化、智能化手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)行。
相應(yīng)地，Mckinsey全球研究機(jī)構(gòu)給出的大數(shù)據(jù)所涉及的核心技術(shù)如下表所列【4】：
其中需要重點關(guān)注的是：
分布式存儲技術(shù)：保障在海量數(shù)據(jù)高速增長的情況下，系統(tǒng)能夠持久地滿足用戶的檢索時效，以及管理者對數(shù)據(jù)的有效管理。
分布式處理技術(shù)：使得系統(tǒng)在海量數(shù)據(jù)高速增長的情況下能夠持久地滿足用戶的處理時效。
（2）各自的目標(biāo)、適用范圍及基本核心技術(shù)分析
我們知道，（1）中所開列的核心技術(shù)，事實上都不是為“云計算”或“大數(shù)據(jù)”特意量身定制的，而是在技術(shù)市場需求的前提下，首先由一些獨立的技術(shù)精英小組或團(tuán)隊獨自研發(fā)，在技術(shù)市場的錘煉中逐步發(fā)育成熟，然后被一些有卓越洞察力和綜合分析判斷能力的技術(shù)專家按照對特定問題的技術(shù)解決方案組合而成的。
這里，“云計算”用來解決的問題是計算資源的去私有化和社會服務(wù)化，而解決的核心途徑是計算資源成本的盡可能低廉以及服務(wù)的精細(xì)化和合理化。為此，以Google為代表的新興互聯(lián)網(wǎng)公司選用眾多廉價的PC服務(wù)器集群來替代昂貴的大型計算機(jī)機(jī)組，以滿足資源自身的低廉化，以及可線性擴(kuò)展能力；同時，選用虛擬化技術(shù)，以進(jìn)一步實現(xiàn)計算資源服務(wù)計量單位的最小化（微?；贿x用分布式存儲和處理技術(shù)，以實現(xiàn)在滿足時效的前提下，在盡可能低廉的計算資源（虛擬服務(wù)器）上解決此前需要昂貴的大型機(jī)方可解決的大規(guī)模處理和計算需求；選用虛擬資源管理調(diào)度技術(shù)，以彈性計算的形式解決計算資源的合理化管理問題。
對“大數(shù)據(jù)”而言，雖然不同的專家對其核心意義給出了不同的詮釋，但其最核心的首要目的依然是解決海量數(shù)據(jù)的有效管理和應(yīng)用問題；正如人類在解決了動力和機(jī)械工具的第一次工業(yè)革命之前無法實施大規(guī)模礦山開采一樣，離開了對海量數(shù)據(jù)的高時效處理應(yīng)用技術(shù)，人們面對著呈爆炸式增長的海量數(shù)據(jù)便將始終束手無策，其它所有的諸如信息分析、知識學(xué)習(xí)等對海量數(shù)據(jù)價值的增值性應(yīng)用便全都是無根之木，完全無從談起。只有在礦藏被開采出來、動力和有關(guān)機(jī)械裝置全部齊備的前提下，礦石的篩選、提煉、加工、合成等各種工藝環(huán)節(jié)方才能夠得以運(yùn)轉(zhuǎn)；而開采以及處理海量數(shù)據(jù)這一礦藏的技術(shù)解決途徑便是--分布化，即：海量數(shù)據(jù)的分布式存儲和分布式處理。
所以，對于云計算而言，最核心的技術(shù)是虛擬化，最具特征的效果是彈性計算；而對大數(shù)據(jù)來說，最核心的基礎(chǔ)技術(shù)是分布式存儲管理和分布式處理，最具特征的效果則是海量數(shù)據(jù)的高時效檢索和處理。
（3）對“大數(shù)據(jù)”在氣象部門作用的理解
體現(xiàn)礦藏價值的最終是產(chǎn)品，而完成礦藏產(chǎn)品制作過程的不單是動力、機(jī)械裝置以及開采技術(shù)，開采之后的冶煉和精加工等工藝環(huán)節(jié)的核心技術(shù)至關(guān)重要甚至是決定性的，因為如果沒有這些核心技術(shù)，開采出來的礦石與渣土無異--對大數(shù)據(jù)而言也是如此。為此，Gartner公司曾有過較為經(jīng)典的論述：
“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”.
所以，對于大數(shù)據(jù)而言，處理能力是基礎(chǔ)，而處理方法則是靈魂。
筆者曾經(jīng)介紹過，在氣象界，作為氣象大數(shù)據(jù)主體的氣象觀探測數(shù)據(jù)，早在幾十年前，專家們就一直在對這些海量氣象觀探測數(shù)據(jù)進(jìn)行著全面深入的分析，目前業(yè)界所津津樂道的那些大數(shù)據(jù)成功案例中的數(shù)據(jù)分析方法，幾十年前就已經(jīng)是氣象業(yè)務(wù)部門的傳統(tǒng)業(yè)務(wù)手段了。【5】因此，在有效的處理技術(shù)已大體具備的背景下，能否挖掘出海量氣象觀探測數(shù)據(jù)的新的價值，取決于能否提出創(chuàng)新的數(shù)據(jù)分析方法；而這絕非IT技術(shù)人員可獨立完成的，它需要卓越的氣象學(xué)家天才的創(chuàng)意、富有經(jīng)驗的氣象業(yè)務(wù)人員的縝密印證與熟悉氣象業(yè)務(wù)的IT技術(shù)人員完美的技術(shù)實現(xiàn)三者一道共同完成。
然而必須理性地看到：創(chuàng)意不可能總是正確的，創(chuàng)意的產(chǎn)生也不可能像生產(chǎn)流水線那樣源源不斷。因此對于氣象學(xué)科而言，Gartner公司定義的“大數(shù)據(jù)”真正價值是難以通過純技術(shù)手段予以經(jīng)常性的發(fā)掘的。因此，我們需要探討的是，在科學(xué)家們提出創(chuàng)意并被有效地實現(xiàn)之前，“大數(shù)據(jù)”對于氣象部門而言，其有價值的作用和意義究竟在何處。
3、核心基礎(chǔ)技術(shù)分析和方案選擇
欲尋找上述問題的答案，首先需對大數(shù)據(jù)及云計算的核心技術(shù)進(jìn)行必要的分析。
3.1 云計算和大數(shù)據(jù)的基礎(chǔ)技術(shù)分析
“大數(shù)據(jù)”面對的是呈指數(shù)倍瘋狂增長的數(shù)據(jù)，因此盡管與大數(shù)據(jù)有關(guān)的技術(shù)令人眼花繚亂，但其中最核心的基礎(chǔ)技術(shù)依然是分布式技術(shù)（分布式存儲/處理），因為該技術(shù)可以有效地實現(xiàn)對海量數(shù)據(jù)的存儲和處理，并可以平滑線性擴(kuò)容的方式應(yīng)對數(shù)據(jù)量的不斷增長以及對處理時效的更高要求。與大數(shù)據(jù)相關(guān)的其它技術(shù)的成功實現(xiàn)，都是建立在可有效處理海量數(shù)據(jù)的分布式技術(shù)之上的。因此，大數(shù)據(jù)核心基礎(chǔ)技術(shù)的作用，是對海量數(shù)據(jù)的高效存儲、檢索和處理。
與此相對應(yīng)地，由于“云計算”需要解決的是IT資源的服務(wù)化（或“經(jīng)營”）問題，即所謂“讓人們像目前使用水電一樣地使用IT資源”.為達(dá)到可持續(xù)經(jīng)營的目的，必須剔除所有無價值成本，在保證經(jīng)營成本并略有盈利的前提下，使資源使用成本盡可能降低，并以規(guī)模化的方式，積微利為鴻利。而欲達(dá)此目的，資源（主要指計算資源）單位的微粒化是最為基本的，因為只有將資源微?；峁┙o用戶的資源方才可能做到既充分滿足用戶的需求，又不會因提供多余的資源而導(dǎo)致無價值成本的出現(xiàn)。因此，從云計算的業(yè)務(wù)目標(biāo)分析，在其眾多核心技術(shù)中，虛擬化技術(shù)是基礎(chǔ)性的；而其作用，是與彈性計算等技術(shù)一起，實現(xiàn)IT資源利用率的最大化。
值得注意的是：云計算技術(shù)中雖也包含了分布式存儲和處理技術(shù)，但由于其關(guān)注點在于IT資源（特別是計算資源）的利用率最大化，因此在資源管理方式上仍然延續(xù)著計算資源區(qū)和數(shù)據(jù)資源區(qū)各自獨立存在的格局；就計算方式而言，仍然是將需要處理的數(shù)據(jù)從數(shù)據(jù)資源區(qū)取出后，移送到計算資源區(qū)，由該區(qū)中劃歸該用戶的被虛擬化的微粒型計算資源來處理這些數(shù)據(jù)，這一點與此前已沿用五十余年的傳統(tǒng)方式?jīng)]有實質(zhì)性區(qū)別。分布式存儲和處理技術(shù)在這里分別應(yīng)用于數(shù)據(jù)資源區(qū)和計算資源區(qū)，在各自所在區(qū)域中發(fā)揮著提高檢索時效和提高處理時效的作用。
而由于大數(shù)據(jù)技術(shù)首先面對的是龐大的數(shù)據(jù)處理量問題，首先需要達(dá)到的目標(biāo)是那些處理數(shù)據(jù)系統(tǒng)的高效運(yùn)行，以達(dá)到在規(guī)定時效內(nèi)對海量數(shù)據(jù)的處理要求；而數(shù)據(jù)管理和數(shù)據(jù)處理目前所采用的性價比最高的技術(shù)分別是分布式存儲和分布式處理；因此，做為分布式存儲物理構(gòu)成的各個數(shù)據(jù)節(jié)點（服務(wù)器），可以同時被應(yīng)用為分布式處理的計算節(jié)點。這種將計算節(jié)點與存儲節(jié)點合二而一的方法，可減少數(shù)據(jù)資源區(qū)與計算資源區(qū)相分離時，數(shù)據(jù)由數(shù)據(jù)區(qū)向計算區(qū)傳輸時的網(wǎng)絡(luò)開銷和延時。同時，由于分布式存儲方式的數(shù)據(jù)節(jié)點一般采用物理上完整的服務(wù)器整機(jī)，將其作為計算節(jié)點，比經(jīng)虛擬化處理而呈微粒狀的云計算計算節(jié)點的計算能力要強(qiáng)大十余倍以上。
因此，理想的大數(shù)據(jù)平臺，應(yīng)當(dāng)是采用分布式技術(shù)，并將計算節(jié)點與數(shù)據(jù)節(jié)點相合的兼具海量數(shù)據(jù)存儲和處理的MPP架構(gòu)平臺；該平臺最鮮明的特點，是在其上運(yùn)行的應(yīng)用系統(tǒng)的運(yùn)行時效達(dá)到了最大化，而之所以能夠達(dá)到這一效果，除在數(shù)據(jù)管理和數(shù)據(jù)處理環(huán)節(jié)分別采用了效率最高的分布式技術(shù)外，還因為它改變了以往傳統(tǒng)的信息系統(tǒng)運(yùn)行模式，將“計算”移到了“數(shù)據(jù)端”.
3.2“氣象云”和“大數(shù)據(jù)平臺”方案分析
（1）集約化整合--近期信息化的主要內(nèi)容之一
由于總體規(guī)劃、總體設(shè)計以及統(tǒng)一管理的長期缺失，十余年來氣象部門信息化建設(shè)在蓬勃發(fā)展的同時，也出現(xiàn)了以“三化”為基本特征的負(fù)面效應(yīng)，即：業(yè)務(wù)功能碎片化、業(yè)務(wù)系統(tǒng)煙囪化和業(yè)務(wù)流程復(fù)雜化?！?】這種現(xiàn)象目前雖然有所收斂，但并未得到有效遏制。政策法規(guī)的缺位、職能部門間溝通的不順暢、現(xiàn)有基礎(chǔ)設(shè)施支撐能力的薄弱、以及業(yè)務(wù)單位間競爭的無序等因素，致使信息孤島的增速雖然有所回落，但總量依然在不斷增加。這種狀況如果不予以徹底扭轉(zhuǎn)，氣象業(yè)務(wù)體系就將呈現(xiàn)出系統(tǒng)日漸增多、規(guī)模日漸臃腫、流程日益復(fù)雜、成本逐年攀升、效率連年下降的局面；氣象信息化就將最終淪為徒耗國家資金，于事業(yè)發(fā)展無補(bǔ)的空談。
為此，對氣象業(yè)務(wù)系統(tǒng)在統(tǒng)一規(guī)劃設(shè)計下進(jìn)行集約化整合，優(yōu)化業(yè)務(wù)流程，已成為目前及未來一段時間內(nèi)氣象信息化的重要工作之一【7】。
（2）氣象云平臺：資源整合的實現(xiàn)
痛感于前些年氣象部門業(yè)務(wù)建設(shè)過程中“三化”問題的突出，及其將對未來氣象事業(yè)發(fā)展所產(chǎn)生的越來越明顯的負(fù)面效應(yīng)，自2012年起，國家氣象信息中心自籌經(jīng)費(fèi)，開始建設(shè)“氣象云”（CMACloud）。目前，“氣象云”以20余臺物理服務(wù)器的基礎(chǔ)資源，對外提供210余臺虛擬服務(wù)器，在其上運(yùn)行了100余套應(yīng)用系統(tǒng)。據(jù)初步測算，CPU利用率較此前提高了6倍以上，電力消耗節(jié)省88.7%,場地空間（機(jī)柜）節(jié)省88%【8】，成效好于“氣象云”建設(shè)前的預(yù)期。
然而在令人滿意的效果面前，必須客觀地承認(rèn)，由于“氣象云”的建設(shè)初衷是國家級各業(yè)務(wù)單位的業(yè)務(wù)應(yīng)用系統(tǒng)整合，而目前尚處于這些業(yè)務(wù)應(yīng)用系統(tǒng)向“氣象云”移植的階段，采取的方法是在“氣象云”中為各應(yīng)用系統(tǒng)分別分配一塊足以滿足其運(yùn)行時效要求的計算和存儲資源，以適應(yīng)各系統(tǒng)擁有單位的運(yùn)行習(xí)慣。因此移植后的各業(yè)務(wù)應(yīng)用系統(tǒng)依然分別獨占資源，只是規(guī)模和物理對象有所變化而已，前后比較參見下表：
此外，由于“氣象云”的建設(shè)目標(biāo)是系統(tǒng)整合，而非業(yè)界對“云計算”作用的定義--經(jīng)營性資源服務(wù)（基礎(chǔ)資源、平臺資源、軟件資源），因此就其對“云計算”技術(shù)的選擇方面，也很具特色（參見下表）：
所以，“氣象云”的廣泛應(yīng)用，解決的是國家級各業(yè)務(wù)應(yīng)用系統(tǒng)IT資源的整合（高效應(yīng)用）問題，“云化”后的各系統(tǒng)仍永久性地獨占資源（觀探測數(shù)據(jù)實現(xiàn)共享），系統(tǒng)并未因之而被整合，業(yè)務(wù)流程也并未因之而優(yōu)化。換言之，依目前“氣象云”的技術(shù)形態(tài)，“三化”現(xiàn)象難以因其存在而得以根本改變。
（3）大數(shù)據(jù)平臺：解決“三化”問題的有效途徑
從前面分析可知，分布式技術(shù)是“大數(shù)據(jù)”不可或缺的基礎(chǔ)核心技術(shù)。也正是由于“大數(shù)據(jù)”追求高效，以及分布式技術(shù)的特點，使得有可能將計算、存儲和數(shù)據(jù)三種資源在物理和邏輯上合而為一，形成一個無論性能還是性價比都達(dá)到最優(yōu)的應(yīng)用系統(tǒng)運(yùn)行平臺。之所以稱其為“最優(yōu)”,是因為其將計算移到數(shù)據(jù)端，從而避免了連云計算也無法避免的因數(shù)據(jù)資源與計算資源分離所導(dǎo)致的數(shù)據(jù)在數(shù)據(jù)庫和計算資源之間的頻繁流動，以及由于這種流動而產(chǎn)生的延時。此外，由于大數(shù)據(jù)的計算節(jié)點一般同為數(shù)據(jù)節(jié)點，而數(shù)據(jù)節(jié)點以服務(wù)器為最小單位，因此就單位計算資源而言，大數(shù)據(jù)也比云計算強(qiáng)大許多。
此外，那些規(guī)模較大，時效要求較高，大數(shù)據(jù)平臺的單位計算節(jié)點無法滿足其運(yùn)算時效要求的應(yīng)用系統(tǒng)，可經(jīng)過分布式并行化處理，由多個計算節(jié)點協(xié)同完成其計算過程。而計算資源管理調(diào)度技術(shù)和方法的有效應(yīng)用，可使大數(shù)據(jù)平臺同樣具備“彈性計算”功能。
因此，實現(xiàn)了彈性計算的、以分布式技術(shù)為核心搭建的大數(shù)據(jù)業(yè)務(wù)平臺，具有以下優(yōu)勢：
1）運(yùn)行效率達(dá)到最優(yōu)，且有良好的性價比。
2）性能和規(guī)?？筛鶕?jù)需求線性擴(kuò)展。
3）在其上運(yùn)行的各業(yè)務(wù)應(yīng)用系統(tǒng)可按需靈活配置資源。
由于平臺囊括了業(yè)務(wù)應(yīng)用系統(tǒng)所需要的所有資源（計算、存儲、數(shù)據(jù)），且實現(xiàn)了彈性計算，在其上運(yùn)行的各系統(tǒng)不再需要永久性獨占資源，從而能夠成為由所有運(yùn)行在該平臺之上相關(guān)業(yè)務(wù)系統(tǒng)組成的“綜合業(yè)務(wù)系統(tǒng)”中的一個“業(yè)務(wù)功能”,依時啟動并獲得所需各種資源，按時結(jié)束后將資源釋放；于是平臺的資源因之可以得到更有效的利用。
由于各相關(guān)業(yè)務(wù)應(yīng)用系統(tǒng)運(yùn)行在同一個邏輯和物理平臺上，業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)交換可方便地通過類似“數(shù)據(jù)交換池”的公用存儲空間而實現(xiàn)，數(shù)據(jù)流程的優(yōu)化變得簡單而易行。
因此，實現(xiàn)了彈性計算的、以分布式技術(shù)為核心搭建的大數(shù)據(jù)業(yè)務(wù)平臺，是目前解決“三化”問題的最佳的外在途徑。
[page] 4、綜合“云計算”和“大數(shù)據(jù)”特點的業(yè)務(wù)基礎(chǔ)平臺
4.1 “氣象云”和“大數(shù)據(jù)”平臺之間的互補(bǔ)
相對于建設(shè)，業(yè)務(wù)系統(tǒng)的整合更加困難，因為這需要很強(qiáng)的專業(yè)知識背景、技能及良好的試驗環(huán)境。所以，對于解決“三化”問題而言，先移植后整合是較為穩(wěn)妥的實施方案。“氣象云”由于其鮮明的資源整合目標(biāo)，承擔(dān)著業(yè)務(wù)系統(tǒng)向大數(shù)據(jù)業(yè)務(wù)平臺移植過程中的跳板和橋頭堡作用。原本呈煙囪式發(fā)展的各業(yè)務(wù)應(yīng)用系統(tǒng)，可在幾乎不改變運(yùn)行和使用方式的情況下平穩(wěn)地遷移到“氣象云”平臺上，然后再由業(yè)務(wù)人員與技術(shù)人員一道，在云平臺上對業(yè)務(wù)系統(tǒng)從容穩(wěn)妥地進(jìn)行向大數(shù)據(jù)業(yè)務(wù)平臺移植的各種處理工作，而云平臺在資源分配方面的靈活性，也為處理工作提供了良好的工作環(huán)境。
此外，“氣象云”平臺還可為新研發(fā)的國家級業(yè)務(wù)和科研系統(tǒng)靈活地提供滿足其需求的計算和存儲資源，大數(shù)據(jù)業(yè)務(wù)平臺則可為云平臺上運(yùn)行的所有系統(tǒng)提供數(shù)據(jù)支持。
所以，即便實現(xiàn)了彈性計算的、以分布式技術(shù)為核心搭建的大數(shù)據(jù)平臺建立起來并實現(xiàn)業(yè)務(wù)運(yùn)行，“氣象云”也將以其特有的資源的靈活配置和高利用率、以及業(yè)務(wù)遷移和試驗環(huán)境的簡單易用等特點，始終具有其必需的存在價值。兩者的有機(jī)結(jié)合和優(yōu)勢互補(bǔ)，將成為未來國家級理想的綜合業(yè)務(wù)基礎(chǔ)平臺。
4.2省、地、縣三級業(yè)務(wù)基礎(chǔ)設(shè)施的整合趨勢
省、地、縣三級業(yè)務(wù)單位為履行各自承擔(dān)的業(yè)務(wù)職責(zé)，擁有著各自的業(yè)務(wù)系統(tǒng)及相關(guān)設(shè)備。隨著所在地對氣象服務(wù)需求的不斷增加，各氣象業(yè)務(wù)單位的業(yè)務(wù)功能也在不斷豐富。由于各種原因，不少單位在發(fā)展自身業(yè)務(wù)的同時，多年來一直沿用傳統(tǒng)的信息建設(shè)發(fā)展模式，即：增加新的業(yè)務(wù)功能意味著增加新的業(yè)務(wù)系統(tǒng)，而增加新的業(yè)務(wù)系統(tǒng)意味著增加新的配套IT設(shè)備。于是經(jīng)過多年積累，這些單位（尤其是縣級氣象單位）用于運(yùn)行業(yè)務(wù)系統(tǒng)的各類IT設(shè)備日漸增多（其中包括完整的信息系統(tǒng)所必不可少的數(shù)據(jù)庫系統(tǒng)），儼然需要具有一定專業(yè)水平的技術(shù)人員對系統(tǒng)進(jìn)行專業(yè)化維護(hù)，同時配備具有一定水平和規(guī)模的專業(yè)化場地環(huán)境供系統(tǒng)設(shè)備運(yùn)行，方才可能確保這些系統(tǒng)的穩(wěn)定可靠；以至于為全面提高縣級氣象業(yè)務(wù)的綜合水平，在計劃向縣級氣象業(yè)務(wù)單位統(tǒng)一配置符合縣級氣象業(yè)務(wù)特點的規(guī)范化業(yè)務(wù)系統(tǒng)的同時，一些“專家”乘勢提出了“把數(shù)據(jù)中心建到縣氣象局”的口號。
然而現(xiàn)實情況是：相當(dāng)數(shù)量的縣級氣象部門（尤其是經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)）人力資源十分有限，當(dāng)?shù)氐腎T服務(wù)業(yè)亦不發(fā)達(dá)，這些系統(tǒng)、設(shè)備及場地環(huán)境的專業(yè)化維護(hù)已經(jīng)成為縣級氣象業(yè)務(wù)單位一個十分棘手的問題和負(fù)擔(dān)。
事實上，目前一些縣級單位業(yè)務(wù)系統(tǒng)之所以較多較雜，是幾十年的發(fā)展過程中，由于當(dāng)時通信能力無法滿足需求等歷史原因造成的。而在近十余年公共通信基礎(chǔ)設(shè)施以超摩爾定律的速度飛速發(fā)展，通信能力已可完全滿足氣象業(yè)務(wù)需求的情況下，仍然延續(xù)以往傳統(tǒng)的業(yè)務(wù)建設(shè)方式，即：增加業(yè)務(wù)功能意味著增加業(yè)務(wù)系統(tǒng)和配套IT設(shè)備，便顯得沒有與時俱進(jìn)，其效果弊大于利；因為系統(tǒng)和設(shè)備的擁有者同時也必然是系統(tǒng)和設(shè)備的維護(hù)責(zé)任者，而系統(tǒng)和設(shè)備的專業(yè)化維護(hù)問題得不到解決，意味著業(yè)務(wù)工作的穩(wěn)定性和可靠性必然存在隱患，不少縣氣象局的實際業(yè)務(wù)情況充分印證了這一點。
從本質(zhì)上看，氣象業(yè)務(wù)系統(tǒng)是典型的以信息加工處理并提供信息服務(wù)為特征的信息系統(tǒng)，計算、存儲、數(shù)據(jù)和網(wǎng)絡(luò)構(gòu)成了信息系統(tǒng)所需的全部資源。從業(yè)務(wù)職責(zé)和屬性等方面考察，位于省局的信息系統(tǒng)資源是全省最為豐富和齊全的，縣級和地市級單位所需的所有資源，均為省級所轄資源中的一部分。因此從理論上看，至少在資源方面，縣級和地市級的業(yè)務(wù)系統(tǒng)完全可以運(yùn)行在省級所轄的資源池中，而不必運(yùn)行在當(dāng)?shù)亍＿@樣做的一個最大的優(yōu)點，便是實現(xiàn)了縣級（包括地市級）業(yè)務(wù)功能與業(yè)務(wù)系統(tǒng)和IT設(shè)備的分離，業(yè)務(wù)人員可方便地使用桌邊設(shè)備（PC機(jī)、可觸摸式電視）或智能移動終端（ipad、平板手機(jī)），通過使用運(yùn)行在省局的業(yè)務(wù)系統(tǒng)的業(yè)務(wù)功能來完成業(yè)務(wù)工作，而無需承擔(dān)因擁有這些系統(tǒng)而必須承擔(dān)的對這些系統(tǒng)的維護(hù)責(zé)任--因為業(yè)務(wù)系統(tǒng)均運(yùn)行在省局的資源池中，由位于省局的專業(yè)技術(shù)人員對其進(jìn)行集約化專業(yè)維護(hù)；從而使得基層業(yè)務(wù)單位擺脫了系統(tǒng)維護(hù)負(fù)擔(dān)，實現(xiàn)了業(yè)務(wù)系統(tǒng)的“0維護(hù)”.此外，由于這種資源集約化管理和系統(tǒng)專業(yè)化研發(fā)維護(hù)模式所具有的獨特優(yōu)勢，對此后縣和地市級單位新業(yè)務(wù)功能的快速部署、本地化改進(jìn)和新業(yè)務(wù)拓展等方面，均具有目前業(yè)務(wù)形態(tài)所無法具備的優(yōu)勢。
因此，有計劃地將縣級乃至地市級的各業(yè)務(wù)系統(tǒng)的運(yùn)行地點由當(dāng)?shù)刂饾u向省局集中，實現(xiàn)業(yè)務(wù)系統(tǒng)運(yùn)行環(huán)境的集約化整合，是今后一段時間內(nèi)需要重點考慮并逐步推行的工作。
5、理想的基礎(chǔ)架構(gòu)：國省兩級綜合業(yè)務(wù)平臺
5.1 省級“綜合業(yè)務(wù)平臺”
縣和地市級業(yè)務(wù)系統(tǒng)逐步向省級匯聚的前提，是省級業(yè)務(wù)單位已擁有可充分容納全省各級業(yè)務(wù)單位業(yè)務(wù)系統(tǒng)運(yùn)行的綜合運(yùn)行平臺（即4.2中提到的“資源池”）；歸納起來，該平臺至少應(yīng)具備以下特點
（1）數(shù)據(jù)資料完備，該平臺應(yīng)為全省所需所有氣象資料的總集，且使用便利。
（2）系統(tǒng)性能優(yōu)良，可在全省所有業(yè)務(wù)系統(tǒng)同時運(yùn)行時保持穩(wěn)定的運(yùn)行時效。
（3）資源配置靈活，可為用戶快速配置資源，并保持資源利用率的最大化。
（4）擴(kuò)展能力良好，可根據(jù)需求線性地擴(kuò)展系統(tǒng)規(guī)模，使系統(tǒng)能力按需線性增長。
（5）維護(hù)充分保障，配備專業(yè)技術(shù)團(tuán)隊，對平臺實行全方位技術(shù)維護(hù)。
由前面的分析可知，4.2中所構(gòu)想的綜合了虛擬化、分布式和彈性計算等核心技術(shù)的綜合業(yè)務(wù)平臺具備了上述所有技術(shù)特點，是目前承擔(dān)這一重要崗位最合適的選擇。而目前各省局所轄的省局氣象信息中心，有條件承擔(dān)平臺的專業(yè)技術(shù)維護(hù)職責(zé)。因此，在省級業(yè)務(wù)單位構(gòu)建省級綜合業(yè)務(wù)平臺，是完成縣和地市級業(yè)務(wù)系統(tǒng)逐步向省局匯聚的必要條件，同時省局也具備一定的物質(zhì)和團(tuán)隊基礎(chǔ)。
5.2 Cimiss系統(tǒng)的作用和意義
經(jīng)過五年充滿坎坷的研發(fā)，Cimiss系統(tǒng)（第一版）今年終于將通過測試進(jìn)入業(yè)務(wù)試運(yùn)行階段，這意味著Cimiss1.0版即將上線。Cimiss1.0的意義在于實現(xiàn)了全省氣象資料在省局的匯聚、規(guī)范化管理和服務(wù)；它在省局的部署和業(yè)務(wù)運(yùn)行，為省局大數(shù)據(jù)業(yè)務(wù)平臺的數(shù)據(jù)資源以及規(guī)范化的數(shù)據(jù)服務(wù)接口，提供了現(xiàn)實的解決方案。
基于各種原因，Cimiss1.0核心目前仍采用IOE技術(shù)架構(gòu)，資源配置的靈活度以及規(guī)模擴(kuò)展能力等存在一定問題，倘以它做為省級綜合業(yè)務(wù)平臺的建設(shè)基礎(chǔ)，首先需要對其核心進(jìn)行有針對性的技術(shù)改造，否則恐難以勝任。
5.3需要解決的關(guān)鍵技術(shù)
在構(gòu)建大數(shù)據(jù)業(yè)務(wù)平臺過程中，相比較氣象IT技術(shù)團(tuán)隊所熟悉的傳統(tǒng)技術(shù)而言，有二項關(guān)鍵技術(shù)需要解決：
（1）海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲管理
地面自動氣象站的觀測數(shù)據(jù)目前日增量已約80GB（未來有可能增加到約TB/日），該資料是典型的結(jié)構(gòu)化數(shù)據(jù)，也是所有氣象業(yè)務(wù)及科研工作所最為重視的觀探測資料之一。由于其在日常業(yè)務(wù)科研中結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用特點，采用關(guān)系型數(shù)據(jù)庫管理是最為有效的方法；然而基于IOE架構(gòu)的傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)已無法處理增量如此迅猛的地面自動站觀測數(shù)據(jù)。目前可滿足應(yīng)用需求的解決途徑是采用分布式關(guān)系型數(shù)據(jù)庫技術(shù)，且國內(nèi)已有類似的產(chǎn)品，經(jīng)嚴(yán)格測試，基本滿足要求【9】。
（2）交互式業(yè)務(wù)系統(tǒng)的應(yīng)用虛擬化
除數(shù)值預(yù)報業(yè)務(wù)系統(tǒng)外，相當(dāng)數(shù)量的氣象業(yè)務(wù)系統(tǒng)是基于C/S架構(gòu)的人機(jī)交互式系統(tǒng)，這類系統(tǒng)對客戶端的系統(tǒng)配置以及客戶端與服務(wù)端間的通信條件有較為嚴(yán)格的要求。如果將位于縣局的業(yè)務(wù)系統(tǒng)的服務(wù)端由目前的局域網(wǎng)環(huán)境遷移到省局，形成廣域網(wǎng)通信方式，則系統(tǒng)的技術(shù)架構(gòu)需要進(jìn)行相應(yīng)的改造。北京市氣象局的竇以文等近年來就這方面問題進(jìn)行了業(yè)務(wù)系統(tǒng)應(yīng)用虛擬化試驗，將某業(yè)務(wù)系統(tǒng)所有計算和處理操作全部限制在服務(wù)端運(yùn)行，客戶端只顯示系統(tǒng)界面及用戶操作，而兩端間的通信則只傳輸屏幕刷新、鍵盤敲擊及鼠標(biāo)移動等內(nèi)容；試驗效果良好。【10】
除上述兩項關(guān)鍵技術(shù)外，業(yè)務(wù)系統(tǒng)的分布式并行化、大數(shù)據(jù)業(yè)務(wù)平臺計算資源高效調(diào)度（彈性計算）等，也都是需要重視并從現(xiàn)在起就要開始著手掌握的重要技術(shù)。
5.4 未來理想的業(yè)務(wù)基礎(chǔ)架構(gòu)
系統(tǒng)和資源適度規(guī)模的集約化整合，有利于應(yīng)用系統(tǒng)的快速部署、資源的靈活配置和高效應(yīng)用，同時集約化的系統(tǒng)和資源便于對其進(jìn)行專業(yè)化維護(hù)，可大幅提高系統(tǒng)的可靠性、大量節(jié)約能耗和各類成本；這一切可使得氣象業(yè)務(wù)體系逐漸變得強(qiáng)健而敏捷。所以，國家級業(yè)務(wù)系統(tǒng)逐步向“氣象云”遷移并最終移植并運(yùn)行在國家級綜合業(yè)務(wù)平臺，縣級和地市級業(yè)務(wù)系統(tǒng)的服務(wù)端逐步向省級綜合業(yè)務(wù)平臺匯聚，最終以國省兩級綜合業(yè)務(wù)平臺構(gòu)成支撐整個氣象部門業(yè)務(wù)系統(tǒng)的基礎(chǔ)平臺體系，是目前可以預(yù)期的最為理想和合理的氣象業(yè)務(wù)基礎(chǔ)架構(gòu)。整合和匯聚過程中對業(yè)務(wù)系統(tǒng)的應(yīng)用虛擬化處理，可使氣象部門的業(yè)務(wù)應(yīng)用逐步實現(xiàn)移動互聯(lián)化，從而擺脫桌邊系統(tǒng)的局限，使用移動智能終端實現(xiàn)移動業(yè)務(wù)。而這里的綜合業(yè)務(wù)平臺，是充分合理地采用虛擬化和分布式技術(shù)、有效實現(xiàn)彈性計算、兼具云計算和大數(shù)據(jù)平臺特點、集數(shù)據(jù)、計算和存儲資源于一身的、集約高效且高性價比的綜合業(yè)務(wù)平臺。Cimiss系統(tǒng)做為國省兩級規(guī)范化管理氣象數(shù)據(jù)的基礎(chǔ)平臺，可做為發(fā)展國省兩級綜合業(yè)務(wù)平臺基礎(chǔ)的選擇對象之一，但需要對其核心進(jìn)行技術(shù)改造。
需要指出的是，國省兩級綜合業(yè)務(wù)平臺的建立，不僅解決了困擾發(fā)展已久的“三化”問題，也為“氣象大數(shù)據(jù)”的數(shù)據(jù)分析處理提供了性能良好的運(yùn)行平臺，是實現(xiàn)氣象學(xué)家采用“第四范式”進(jìn)行科學(xué)研究發(fā)現(xiàn)的良好試驗環(huán)境。
實現(xiàn)上述目標(biāo)，“云計算”和“大數(shù)據(jù)”這兩個要素在其中起著技術(shù)基礎(chǔ)和應(yīng)用范式等作用，已不存在無法逾越的技術(shù)障礙。
6、結(jié)語
綜上所述，為解決“三化”問題，逐步實現(xiàn)資源集約化、業(yè)務(wù)平臺化和流程最優(yōu)化，適當(dāng)?shù)臉I(yè)務(wù)及資源整合是必由之路；而未來理想且合理的部門業(yè)務(wù)基礎(chǔ)架構(gòu)，應(yīng)當(dāng)是國省兩級綜合業(yè)務(wù)平臺架構(gòu)。在實現(xiàn)過程中，“五大要素”中的“云計算”和“大數(shù)據(jù)”可提供滿足需求的集約化平臺技術(shù)，而“移動互聯(lián)”的合理實現(xiàn)可徹底改變延續(xù)數(shù)十年的工作方式，大大提高工作效率并降低成本。這三者的有效結(jié)合，為目標(biāo)的最終實現(xiàn)奠定了技術(shù)基礎(chǔ)。
信息技術(shù)是自上世紀(jì)中葉以來全球最為活躍、最具活力、對全社會影響最廣最深的技術(shù)，是第三次工業(yè)革命的基本特征和核心。在2014年2月27日舉行的中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組第一次會議上，國家主席習(xí)近平指出：“沒有信息化就沒有現(xiàn)代化”,從而將信息化提高到了前所未有的高度，也重新喚起了因近年來逐漸被邊緣化而感到困惑、彷徨、無奈和尷尬的氣象部門IT工作者的熱情。
熱情固然可貴，但熱情不足依恃，對于再度燃起希望之火的氣象IT人，在激情的鼓蕩之余，必須理性地思考這個已被征詢無數(shù)遍的問題：什么是氣象部門的信息化，它在目前氣象現(xiàn)代化過程中究竟承擔(dān)什么角色？如何具體落實？目前的首要工作集中在哪些區(qū)域？穩(wěn)妥可行的路線在哪里？尤其是“五大要素”中的“智慧城市”,對于未來我國氣象綜合業(yè)務(wù)的發(fā)展趨向和發(fā)展模式究竟具有哪些啟示性作用？
這需要全體氣象工作者共同探討并給出符合實際的答案
所有關(guān)注我國氣象事業(yè)發(fā)展的人們也都在期待著答案。
【參考文獻(xiàn)】：
【1】工信部：“云物移大智”推動IT技術(shù)和產(chǎn)業(yè)發(fā)展，http://www.iotworld.com.cn/html/News/201304/8fd8ab28a2097ef2.shtml
【2】“我國氣象探測引入智能傳感與物聯(lián)網(wǎng)技術(shù)”,中國氣象報，2013年1月17日。
【3】吳朱華：云計算核心技術(shù)剖析，人民郵電出版社，2011年5月，第一版。
【4】麥肯錫報告大數(shù)據(jù)：下一個創(chuàng)新、競爭和生產(chǎn)力的前沿，賽迪譯叢，2012年6月18日，第25期，總第57期。
【5】沈文海：“氣象數(shù)據(jù)的‘大數(shù)據(jù)應(yīng)用’淺析”,《中國信息化》雜志，2014年6月，第11期，總第235期。
【6】沈文海：“對氣象信息化的理解和再認(rèn)識”,《氣象科技進(jìn)展》，2013,第五期。
【7】中國氣象局關(guān)于印發(fā)《全國氣象信息網(wǎng)絡(luò)系統(tǒng)總體設(shè)計（2012年版）》的通知，（氣發(fā)[2012]115號。
【8】“氣象私有云建設(shè)報告”,2014年，未刊稿。
【9】“引跑、歐冠虛谷兩家產(chǎn)品性能測試報告”,2014年，未刊稿。
【10】竇以文等：“區(qū)縣氣象站虛擬桌面的應(yīng)用”,《氣象科技》，2014年，待刊稿。
免責(zé)聲明：本網(wǎng)站（http://www.www.gypb.net/）內(nèi)容主要來自原創(chuàng)、合作媒體供稿和第三方投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容（包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等）版權(quán)歸原作者所有。任何單位或個人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，請及時通知本站，予以刪除。
搶沙發(fā)
