今天給各位分享san框架的知識(shí),其中也會(huì)對(duì)san框架能用flex嘛?
今天給各位分享san框架的知識(shí),其中也會(huì)對(duì)san框架能用flex嘛?進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!
本文目錄一覽:
- 1、hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
- 2、基于SAN存儲(chǔ)的國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)
- 3、存儲(chǔ)技術(shù)是純屬系統(tǒng)的框架里面的么
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu)
It may take a whils to crawl a site ...
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawler.class.php");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
資料區(qū)域性性(data locality):這是Hadoop的主要特性,指的是直接在儲(chǔ)存資料的節(jié)點(diǎn)上做CPU密集型計(jì)算。顯然,SAN/NAS不適用于任何形式的CPU密集型計(jì)算。
RAID:SAN/NAS采用RAID磁碟陣列進(jìn)行儲(chǔ)存,而Hadoop框架通過復(fù)本來確保資料的可靠性和容錯(cuò)性。
DAS采用JBOD磁碟陣列進(jìn)行儲(chǔ)存,如果Hadoop節(jié)點(diǎn)的內(nèi)建儲(chǔ)存容量較小,可以采用DAS做擴(kuò)充套件。如果只是想通過Hadoop做資料歸檔,沒有計(jì)算,好吧,SAN/NAS是個(gè)選擇。
hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu),適宜采用哪些raid
配置資訊在gridmix_config.xml檔案中。gridmix中,每種作業(yè)有大中小三種類型:小作業(yè)只有3個(gè)輸入檔案(即3個(gè)map);
中作業(yè)的輸入檔案是與正則表示式{part-0000,part-0001,part-000*2}匹配的檔案;
大作業(yè)會(huì)處理處有資料。
分析hadoop叢集的儲(chǔ)存架構(gòu)一般適宜采用das,nas,san或其他什么架構(gòu),適宜采用哪些ra
Hadoop提供非常方便的方式來獲取一個(gè)任務(wù)的統(tǒng)計(jì)資訊,使用以下命令即可作到:
$ hadoop job -history all job output directory
這個(gè)命令會(huì)分析任務(wù)的兩個(gè)歷史檔案(這兩個(gè)檔案儲(chǔ)存在job output directory/_logs/history目錄中)并計(jì)算任務(wù)的統(tǒng)計(jì)資訊。
NAS,DAS和SAN三種儲(chǔ)存架構(gòu)的區(qū)別
NAS儲(chǔ)存特點(diǎn)(網(wǎng)路直連儲(chǔ)存) DAS儲(chǔ)存特點(diǎn)(直連儲(chǔ)存)SAN儲(chǔ)存(光纖儲(chǔ)存)
svn叢集使用什么樣的儲(chǔ)存架構(gòu)
Svn命令
1、將檔案checkout到本地目錄
svn checkout path(path是伺服器上的目錄)
例如:svn checkout svn:192.168.1.1/pro/domain
簡(jiǎn)寫:svn co
2、往版本庫中新增新的檔案
svn add file
amazon云端儲(chǔ)存采用什么架構(gòu)
這個(gè)具體還是要根據(jù)儲(chǔ)存的資料型別和資料量的大小來決定的!有很多型別的云端儲(chǔ)存軟體。比如:云創(chuàng)儲(chǔ)存的Minicloud迷你云,這是一款適合中小企業(yè)的云端儲(chǔ)存系統(tǒng),是一個(gè)超安全的私有云計(jì)算資料中心,采用高可靠的云端儲(chǔ)存技術(shù),檔案資料塊始終以雙副本方式在不同節(jié)點(diǎn)上存放,絕不丟失資料。同時(shí),迷你云海量?jī)?chǔ)存空間支援靈活使用,既可作為應(yīng)用軟體(如郵箱、視訊監(jiān)控)的海量?jī)?chǔ)存空間,又可作為員工的私密儲(chǔ)存空間,還可以作為資料共享空間,為了確保資料安全,公室內(nèi)部共享資料與通過網(wǎng)際網(wǎng)路共享資料采用完全隔離的兩套系統(tǒng)。在公室內(nèi)部,可通過逗我的電腦地直接訪問自己的私有資料空間,在公室外部,可通過PCWeb介面和移動(dòng)終端(安卓手機(jī)、iPhone以及iPad)等訪問minicloud,實(shí)現(xiàn)移動(dòng)公。同時(shí),還提供豐富多彩的應(yīng)用系統(tǒng),系統(tǒng)自帶企業(yè)郵箱、內(nèi)部虛擬磁碟、網(wǎng)路云盤*、FTP等應(yīng)用,使用者還可按需安裝配置其它應(yīng)用;可選配超強(qiáng)的桌面虛擬化系統(tǒng):?jiǎn)嗡欧髦г?00多個(gè)瘦終端流暢共享各類應(yīng)用軟體和上網(wǎng)。
網(wǎng)路儲(chǔ)存架構(gòu)是什么呀?
網(wǎng)路儲(chǔ)存有兩大要件,一者為儲(chǔ)存裝置,一者為網(wǎng)通裝置。企業(yè)的網(wǎng)路儲(chǔ)存已行之有年,大致分為兩種架構(gòu):儲(chǔ)存區(qū)域網(wǎng)絡(luò)(SAN, Storage Area Neork)和網(wǎng)路附加儲(chǔ)存(NAS, Neork Attach Storage)。前者為支援伺服器和儲(chǔ)存裝置的直接高速資料傳輸?shù)膬?chǔ)存網(wǎng)路架構(gòu),后者為直接聯(lián)機(jī)至區(qū)域網(wǎng)絡(luò) (LAN) 或廣域網(wǎng)路 (WAN),以方便由多臺(tái)伺服器存取資料的儲(chǔ)存架構(gòu)。
請(qǐng)教低成本型Hadoop叢集的網(wǎng)路架構(gòu)與華為網(wǎng)路裝置選型
云端計(jì)算和Hadoop中網(wǎng)路是討論得相對(duì)比較少的領(lǐng)域。本文原文由Dell企業(yè)技術(shù)專家Brad Hedlund撰寫,他曾在思科工作多年,專長(zhǎng)是資料中心、云網(wǎng)絡(luò)等。文章素材基于作者自己的研究、實(shí)驗(yàn)和Cloudera的培訓(xùn)資料。
基于SAN存儲(chǔ)的國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)
張定祥 戴建旺 李憲文 何歡樂
(中國(guó)土地勘測(cè)規(guī)劃院,北京,100035)
摘要:本文在對(duì)國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)建設(shè)項(xiàng)目背景分析的基礎(chǔ)上,提出了系統(tǒng)建設(shè)的總體目標(biāo)和任務(wù),全面闡述了系統(tǒng)的總體設(shè)計(jì)、運(yùn)行模式、系統(tǒng)功能設(shè)計(jì)思想,系統(tǒng)地介紹了各子系統(tǒng)的功能模塊設(shè)計(jì),最后本文對(duì)該管理與集成系統(tǒng)的應(yīng)用進(jìn)行了展望。
關(guān)鍵詞:土地調(diào)查;數(shù)據(jù)集成;SAN (Storage Area Network);數(shù)據(jù)倉庫
1 項(xiàng)目背景
目前,隨著我國(guó)土地調(diào)查技術(shù)水平不斷提高,數(shù)據(jù)的精度和現(xiàn)勢(shì)性不斷加強(qiáng),數(shù)據(jù)資源發(fā)揮了越來越重要的作用。但是,我國(guó)土地調(diào)查數(shù)據(jù)管理方面還存在一些問題。主要表現(xiàn)在:①數(shù)據(jù)管理手段落后、數(shù)據(jù)整合集成度差。大量調(diào)查監(jiān)測(cè)與評(píng)價(jià)數(shù)據(jù)以文件光盤或紙質(zhì)方式存放,大多數(shù)沒有建立集成化的空間數(shù)據(jù)庫;土地資源調(diào)查監(jiān)測(cè)數(shù)據(jù)內(nèi)容不統(tǒng)一,不同時(shí)期數(shù)據(jù)成果的可比性差,難以形成管理和研究分析需要的區(qū)域性時(shí)間系列數(shù)據(jù);土地?cái)?shù)據(jù)庫存在多種比例尺、多種格式等問題。②數(shù)據(jù)共享應(yīng)用存在障礙,數(shù)據(jù)信息挖掘不夠。由于多方面的原因,土地調(diào)查數(shù)據(jù)共享渠道還不夠通暢,大量數(shù)據(jù)資源還未納入管理,數(shù)據(jù)應(yīng)用潛力遠(yuǎn)沒有開發(fā)。
當(dāng)前,建立國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)的意義在于:①有效整合、集成土地資源調(diào)查工程數(shù)據(jù)成果,為工程提供系列化、標(biāo)準(zhǔn)化的展示成果;②為“金土工程”和“全國(guó)土地資源二次詳查”等新項(xiàng)目提供標(biāo)準(zhǔn)化、集成化數(shù)據(jù)產(chǎn)品;③加強(qiáng)數(shù)據(jù)基礎(chǔ)建設(shè),并進(jìn)行數(shù)據(jù)信息挖掘,形成土地管理科學(xué)決策的數(shù)據(jù)基礎(chǔ),提高土地科技創(chuàng)新能力和土地資源參與國(guó)民經(jīng)濟(jì)宏觀調(diào)控的科學(xué)性;④挽救土地資源調(diào)查歷史數(shù)據(jù),加快數(shù)據(jù)共享應(yīng)用,保護(hù)國(guó)家在土地調(diào)查多年巨額投資成果。鑒于以上考慮,“土地?cái)?shù)據(jù)存儲(chǔ)管理系統(tǒng)”采用現(xiàn)代數(shù)據(jù)倉庫數(shù)據(jù)集成技術(shù)思路,以三個(gè)數(shù)據(jù)庫(土地資料庫、土地成果庫、土地應(yīng)用庫)、數(shù)據(jù)整合集成工具包、數(shù)據(jù)分發(fā)和對(duì)內(nèi)對(duì)外發(fā)布等開發(fā)為主要內(nèi)容,將為國(guó)土資源大調(diào)查——土地調(diào)查原始數(shù)據(jù)管理、成果數(shù)據(jù)集成、應(yīng)用數(shù)據(jù)產(chǎn)品開發(fā)、數(shù)據(jù)分發(fā)服務(wù)一體化提供集成的網(wǎng)絡(luò)化管理與共享平臺(tái)。該系統(tǒng)的建設(shè)將大大提高土地調(diào)查數(shù)據(jù)管理和集成信息化水平。
2 系統(tǒng)建設(shè)目標(biāo)
本系統(tǒng)建設(shè)目標(biāo)為:在對(duì)國(guó)家級(jí)土地?cái)?shù)據(jù)現(xiàn)狀和預(yù)測(cè)分析基礎(chǔ)上,設(shè)計(jì)并建立基于SAN (Storage Area Network)存域網(wǎng)的土地?cái)?shù)據(jù)管理與集成系統(tǒng),實(shí)現(xiàn)客戶端、數(shù)據(jù)存儲(chǔ)中心和業(yè)務(wù)系統(tǒng)有機(jī)銜接,滿足海量土地?cái)?shù)據(jù)的動(dòng)態(tài)存儲(chǔ)、管理維護(hù)、更新、整合處理、查詢檢索等功能,實(shí)現(xiàn)土地?cái)?shù)據(jù)的分布式共享和應(yīng)用;能夠?qū)崿F(xiàn)對(duì)國(guó)家級(jí)土地調(diào)查、評(píng)價(jià)、規(guī)劃等數(shù)據(jù)進(jìn)行整合、編目、集成形成多層次專題數(shù)據(jù)建庫,并加入數(shù)據(jù)管理系統(tǒng);在此基礎(chǔ)上,構(gòu)建土地分中心對(duì)外服務(wù)共享平臺(tái),通過專題數(shù)據(jù)庫整合、集成、網(wǎng)上發(fā)布,實(shí)現(xiàn)土地調(diào)查數(shù)據(jù)社會(huì)化共享。
3 總體設(shè)計(jì)
3.1 系統(tǒng)總體框架設(shè)計(jì)
基于SAN存儲(chǔ)的國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)由基礎(chǔ)設(shè)施、數(shù)據(jù)和業(yè)務(wù)應(yīng)用三層技術(shù)體系,安全和整合集成兩個(gè)技術(shù)保障構(gòu)成,具體的土地?cái)?shù)據(jù)分中心總體設(shè)計(jì)架構(gòu)如圖1所示。
圖1 土地?cái)?shù)據(jù)分中心總體設(shè)計(jì)架構(gòu)
3.1.1 基礎(chǔ)設(shè)施層
基礎(chǔ)設(shè)施層是系統(tǒng)建立及日常運(yùn)行的基本軟硬件環(huán)境,其中硬件環(huán)境構(gòu)成了分中心的網(wǎng)絡(luò)環(huán)境、存儲(chǔ)環(huán)境及安全環(huán)境,軟件環(huán)境則包括操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、GIS軟件環(huán)境等。
3.1.2 數(shù)據(jù)層
數(shù)據(jù)層是系統(tǒng)建設(shè)的核心部分,該層構(gòu)成了分中心的數(shù)據(jù)基礎(chǔ)設(shè)施。全部數(shù)據(jù)通過建立統(tǒng)一的土地資料元數(shù)據(jù)實(shí)現(xiàn)集中管理與維護(hù)。數(shù)據(jù)層主要由土地資料數(shù)據(jù)庫、土地成果數(shù)據(jù)庫和土地應(yīng)用數(shù)據(jù)庫組成,數(shù)據(jù)庫內(nèi)所有土地資料信息在元數(shù)據(jù)庫中管理維護(hù)。
3.1.3 業(yè)務(wù)應(yīng)用層
業(yè)務(wù)應(yīng)用層是分中心的運(yùn)行層,所有具體的業(yè)務(wù)人員都在這個(gè)基礎(chǔ)上實(shí)現(xiàn)土地?cái)?shù)據(jù)分中心的應(yīng)用。根據(jù)應(yīng)用內(nèi)容的不同,應(yīng)用系統(tǒng)包括:土地?cái)?shù)據(jù)庫管理與維護(hù);土地?cái)?shù)據(jù)庫信息檢索與查詢;土地?cái)?shù)據(jù)的加工處理與整合;各種土地業(yè)務(wù)管理應(yīng)用;國(guó)土資源輔助決策支持;科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)站六部分職能。
3.2 運(yùn)行模式
國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng)日常運(yùn)行模式有三種,即分中心內(nèi)部運(yùn)行模式、院內(nèi)部運(yùn)行模式以及院外部運(yùn)行模式。分中心內(nèi)部運(yùn)行模式的核心是土地資料數(shù)據(jù)的匯交、存儲(chǔ)、管理、元數(shù)據(jù)庫維護(hù)、數(shù)據(jù)整合與整理等。院內(nèi)部運(yùn)行模式主要為非專業(yè)應(yīng)用系統(tǒng)的普通土地?cái)?shù)據(jù)用戶則可以通過元數(shù)據(jù)的檢索查詢完成土地?cái)?shù)據(jù)的信息瀏覽、數(shù)據(jù)下載、數(shù)據(jù)轉(zhuǎn)換及數(shù)據(jù)應(yīng)用工作;此外院內(nèi)運(yùn)行的各類土地專業(yè)應(yīng)用系統(tǒng)通過計(jì)算機(jī)網(wǎng)絡(luò),通過訪問、檢索元數(shù)據(jù)庫實(shí)現(xiàn)土地?cái)?shù)據(jù)倉庫的信息共享,從而達(dá)到不同格式的土地?cái)?shù)據(jù)在不同部門和業(yè)務(wù)系統(tǒng)間的流通、交換和共享利用的目標(biāo)。
規(guī)劃院外運(yùn)行模式涉及國(guó)務(wù)院各部委機(jī)關(guān)、國(guó)土資源部機(jī)關(guān)、相關(guān)數(shù)據(jù)中心及信息中心、各級(jí)省級(jí)國(guó)土資源數(shù)據(jù)中心、省級(jí)規(guī)劃院系統(tǒng)等不同層次和需求用戶。
3.3 系統(tǒng)功能設(shè)計(jì)
3.3.1 采用基于高性能的 SAN 的網(wǎng)絡(luò)結(jié)構(gòu)
SAN (Storage Area Network)是當(dāng)前最先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)方式,本系統(tǒng)數(shù)據(jù)存儲(chǔ)采用光纖布線的方式為用戶提高數(shù)據(jù)傳輸?shù)膸捄涂煽啃詳?shù)據(jù)。系統(tǒng)硬件設(shè)備主要包括P650小型機(jī)、H16 SAN光纖交換機(jī)、FastT600光纖磁盤陣列、3583光纖磁帶庫、IBM EXP400陣列、IBM X365服務(wù)器及IBM X445服務(wù)器等IBM的設(shè)備、SUN的Blade2500圖形工作站及Cisco的網(wǎng)絡(luò)交換機(jī)(數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)見圖2)。
圖2 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)圖
3.3.2 高可擴(kuò)展性存儲(chǔ)設(shè)計(jì)
從存儲(chǔ)容量來看,目前IBM FastT600磁盤陣列可以提供2 T的存儲(chǔ)空間,最大可以擴(kuò)展到16 T的存儲(chǔ)容量。IBM 3583-L36光纖磁帶庫內(nèi)有36個(gè)磁帶的艙位,配置了4個(gè)磁帶驅(qū)動(dòng)器和40盤200 GB的磁帶,正常情況下可以存儲(chǔ)8 TB的數(shù)據(jù),壓縮的狀態(tài)下可存儲(chǔ)16 TB的數(shù)據(jù)。3583磁帶庫驅(qū)動(dòng)器可以再增加2個(gè),磁帶的艙位可以增加到72個(gè)。離線磁帶的數(shù)量理論上是沒有限制的,只需更換新的磁帶就可以了。
3.3.3 基于數(shù)據(jù)倉庫設(shè)計(jì)思想的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)
針對(duì)國(guó)家級(jí)土地調(diào)查數(shù)據(jù)多源異構(gòu)情況復(fù)雜而應(yīng)用目標(biāo)不十分明確的矛盾,借鑒數(shù)據(jù)倉庫技術(shù)思想,設(shè)計(jì)了數(shù)據(jù)存儲(chǔ)管理系統(tǒng)中土地?cái)?shù)據(jù)整合集成技術(shù)流程。其核心思想在于國(guó)家級(jí)土地?cái)?shù)據(jù)通過數(shù)據(jù)集成工具逐步形成土地資料庫、土地成果庫、專題產(chǎn)品庫等系列產(chǎn)品。系統(tǒng)土地?cái)?shù)據(jù)整合集成技術(shù)體系在以下方面:①外部歷史數(shù)據(jù)進(jìn)入資料庫的元數(shù)據(jù)錄入和數(shù)據(jù)入庫規(guī)范,主要由人工處理和系統(tǒng)自動(dòng)完成;②數(shù)據(jù)從資料庫進(jìn)入成果庫之前的數(shù)據(jù)轉(zhuǎn)換、抽取、重組、建模、綜合和集成過程,主要由系統(tǒng)提供工具軟件或數(shù)據(jù)接口人工操作完成;③成果數(shù)據(jù)進(jìn)入應(yīng)用庫之前的數(shù)據(jù)裁減、融合、接邊、格式轉(zhuǎn)換等數(shù)據(jù)集成過程,以及數(shù)據(jù)成果庫數(shù)據(jù)挖掘、決策分析功能,此部分主要通過Arc/Engine開發(fā)工具的模塊和利用Oracle相應(yīng)的數(shù)據(jù)挖掘功能實(shí)現(xiàn)。
4 功能模塊設(shè)計(jì)
4.1 資料庫管理子系統(tǒng)
土地資料庫系統(tǒng)通過建立數(shù)據(jù)的管理元數(shù)據(jù)、數(shù)據(jù)命名、數(shù)據(jù)目錄規(guī)范入庫、構(gòu)建資料庫,實(shí)現(xiàn)基于元數(shù)據(jù)的檢索、數(shù)據(jù)查詢、數(shù)據(jù)預(yù)覽等功能。土地?cái)?shù)據(jù)資料進(jìn)入資料庫系統(tǒng)是數(shù)據(jù)資料的初步整合過程,紙質(zhì)資料和電子數(shù)據(jù)進(jìn)行分類管理,紙質(zhì)資料只錄入編目系統(tǒng),資料本身不進(jìn)入數(shù)據(jù)目錄管理系統(tǒng)。電子數(shù)據(jù)納入文件目錄管理范疇,需要進(jìn)行元數(shù)據(jù)錄入和文件重命名和數(shù)據(jù)入庫等過程。數(shù)據(jù)資料整合管理過程主要包括:數(shù)據(jù)內(nèi)容選擇、元數(shù)據(jù)錄入、文件進(jìn)入資料庫文件目錄系統(tǒng)(目錄資料不入庫)、文件的規(guī)范命名、元數(shù)據(jù)檢查修改、元數(shù)據(jù)查詢?yōu)g覽、數(shù)據(jù)分發(fā)和發(fā)布等過程。
土地資料庫管理子系統(tǒng)由數(shù)據(jù)庫、管理和維護(hù)應(yīng)用系統(tǒng)、土地?cái)?shù)據(jù)對(duì)外服務(wù)系統(tǒng)構(gòu)成。具體包括:①數(shù)據(jù)庫。根據(jù)數(shù)據(jù)層次的不同,土地資料庫管理子系統(tǒng)中含有經(jīng)過重新目錄組織和文件命名的土地資料數(shù)據(jù)和體現(xiàn)數(shù)據(jù)目錄信息及其他內(nèi)容的元數(shù)據(jù)。②數(shù)據(jù)管理維護(hù)系統(tǒng)。針對(duì)土地資料數(shù)據(jù)庫、元數(shù)據(jù)庫分別由土地資料管理維護(hù)系統(tǒng)、元數(shù)據(jù)管理維護(hù)系統(tǒng)提供相應(yīng)數(shù)據(jù)內(nèi)容的入庫、檢索、利用、存取控制、備份、恢復(fù)等。③土地?cái)?shù)據(jù)對(duì)外服務(wù)與數(shù)據(jù)分發(fā)系統(tǒng)。土地?cái)?shù)據(jù)對(duì)外服務(wù)系統(tǒng)基于互聯(lián)網(wǎng),向社會(huì)公眾提供元數(shù)據(jù)、土地資料數(shù)據(jù)的瀏覽、查詢、下載等土地?cái)?shù)據(jù)服務(wù)。
4.2 成果庫管理子系統(tǒng)
在數(shù)據(jù)庫結(jié)構(gòu)預(yù)先構(gòu)建前提下,在經(jīng)過數(shù)據(jù)整合和成果提取過程之后,成果數(shù)據(jù)存儲(chǔ)在Oracle Spatial中,數(shù)據(jù)管理工作包括空間數(shù)據(jù)本地瀏覽、數(shù)據(jù)內(nèi)容維護(hù)和數(shù)據(jù)庫結(jié)構(gòu)維護(hù)。具體包括以下幾個(gè)方面。
4.2.1 成果數(shù)據(jù)管理
成果最小的組織單位是縣,然后確定一個(gè)縣的土地專題,如縣級(jí)土地利用、縣級(jí)動(dòng)態(tài)監(jiān)測(cè)等,系統(tǒng)建庫標(biāo)準(zhǔn)參考相關(guān)國(guó)家建庫標(biāo)準(zhǔn)。成果數(shù)據(jù)的體現(xiàn)按照樹型來組織,第一級(jí)是成果主題,然后根據(jù)成果組織的類型分為分幅和行政區(qū)兩種方式。分幅方式主要是根據(jù)標(biāo)準(zhǔn)比例尺將全國(guó)區(qū)域分為相應(yīng)數(shù)量的邏輯尺寸,數(shù)據(jù)的組織采用這兩種方式相結(jié)合,主要是因?yàn)槟壳坝泻芏嘁延型恋財(cái)?shù)據(jù)成果,本身就是采用分幅來匯交數(shù)據(jù),在不改變?cè)袛?shù)據(jù)的數(shù)據(jù)范圍下就可以完成數(shù)據(jù)的拼接。另一方面,一般顯示數(shù)據(jù)采用行政區(qū)省—市—縣逐級(jí)索引的,便于數(shù)據(jù)檢索。
(1)成果分幅管理 標(biāo)準(zhǔn)百萬分幅、標(biāo)準(zhǔn)50 萬分幅、標(biāo)準(zhǔn)25 萬分幅、標(biāo)準(zhǔn)10 萬分幅、標(biāo)準(zhǔn)5萬分幅、標(biāo)準(zhǔn)2.5萬分幅、標(biāo)準(zhǔn)1萬分幅。
(2)成果行政區(qū)管理 省級(jí)索引圖、市級(jí)索引圖、縣級(jí)實(shí)際成果數(shù)據(jù) (圖3)。
圖3a 百萬分幅索引圖
圖3b 全國(guó)省界索引圖
圖3c 廣東省界索引圖
圖3d 縣級(jí)土地利用專題數(shù)據(jù)
4.2.2 成果空間數(shù)據(jù)瀏覽
此功能模塊主要用來實(shí)現(xiàn)對(duì)存儲(chǔ)在Oracle Spatial中的成果數(shù)據(jù)進(jìn)行預(yù)覽,主要包括如下空間圖形操作功能。放大、縮小、漫游、全圖、查閱屬性數(shù)據(jù)、查閱元數(shù)據(jù)。
4.2.3 成果整合管理
成果庫的建立是通過整合工具將目標(biāo)數(shù)據(jù)整合而成。成果的整合管理主要是指將數(shù)據(jù)整合到成果庫的過程管理,系統(tǒng)提供整合入庫向?qū)лo助完成這個(gè)整合過程。整合過程包括如下步驟:①選擇成果目標(biāo)庫;②查詢選擇整合數(shù)據(jù)源;③確定數(shù)據(jù)源與目標(biāo)庫(數(shù)據(jù)表)的對(duì)應(yīng)關(guān)系,系統(tǒng)支持多種格式的數(shù)據(jù)源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多種國(guó)內(nèi)外主流 GIS 平臺(tái)數(shù)據(jù)格式;④確定數(shù)據(jù)源屬性表與成果庫數(shù)據(jù)字段的對(duì)應(yīng)關(guān)系;⑤確定數(shù)據(jù)源元數(shù)據(jù)與成果庫元數(shù)據(jù)的對(duì)應(yīng)關(guān)系;⑥調(diào)用數(shù)據(jù)整合工具完成目標(biāo)數(shù)據(jù)源向成果庫的整合。
4.2.4 成果建庫管理
成果庫包括兩個(gè)部分,一個(gè)是核心庫,包括分幅信息、行政區(qū)索引信息、成果元數(shù)據(jù)、縣級(jí)標(biāo)準(zhǔn)主題庫;另一個(gè)部分是成果擴(kuò)展庫,主要為了實(shí)現(xiàn)系統(tǒng)的兼容性和用戶自定義。
由于成果核心數(shù)據(jù)庫結(jié)構(gòu)是預(yù)先生成,在系統(tǒng)正常運(yùn)行階段不提供用戶接口進(jìn)行調(diào)整,可提供根據(jù)預(yù)先生成的數(shù)據(jù)庫腳本重新創(chuàng)建數(shù)據(jù)庫框架;在不影響資料庫數(shù)據(jù)整合入庫和數(shù)據(jù)發(fā)布的情況下,通過和開發(fā)人員共同合作實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的調(diào)整。對(duì)于成果擴(kuò)展庫,系統(tǒng)提供建庫向?qū)лo助用戶完成自定義擴(kuò)展。擴(kuò)建庫建立向?qū)е饕瓿扇缦鹿δ埽孩俣x擴(kuò)展數(shù)據(jù)庫、數(shù)據(jù)表結(jié)構(gòu);②確定擴(kuò)展數(shù)據(jù)庫、數(shù)據(jù)表與核心庫關(guān)系;③定義數(shù)據(jù)獲取與更新機(jī)制。
4.3 應(yīng)用庫管理子系統(tǒng)
數(shù)據(jù)的最終目的很大程度上是為了應(yīng)用于專題中作為數(shù)據(jù)存儲(chǔ)系統(tǒng)的重要功能,要求實(shí)現(xiàn)根據(jù)專題用戶輸入應(yīng)用要求,實(shí)現(xiàn)數(shù)據(jù)提取。完成專題產(chǎn)品的來源可以來自于資料庫和成果庫,由于各種專題的要求并不一致,因此需要具有通用性且功能強(qiáng)大的通用工具,以便實(shí)現(xiàn)專題數(shù)據(jù)產(chǎn)品的生成。
4.4 數(shù)據(jù)發(fā)布管理子系統(tǒng)
土地?cái)?shù)據(jù)管理模式采用土地?cái)?shù)據(jù)存域網(wǎng)和土地?cái)?shù)據(jù)中心對(duì)外發(fā)布平臺(tái)的有機(jī)集成管理模式。中國(guó)土地勘測(cè)規(guī)劃院內(nèi)部土地?cái)?shù)據(jù)管理由對(duì)內(nèi)發(fā)布服務(wù)系統(tǒng)實(shí)現(xiàn),社會(huì)共享數(shù)據(jù)和信息管理通過土地?cái)?shù)據(jù)中心對(duì)外發(fā)布平臺(tái)實(shí)現(xiàn)。土地?cái)?shù)據(jù)資源要求可以被授權(quán)用戶使用,使用方式將改變以前通過文件復(fù)制的方式,而采用更加方便而且安全有效的方式,即通過信息發(fā)布——用戶下載的方式來實(shí)現(xiàn)。具體功能包括:①數(shù)據(jù)查詢;②數(shù)據(jù)分發(fā)申請(qǐng)登記;③數(shù)據(jù)分發(fā)申請(qǐng)審核;④數(shù)據(jù)分發(fā)授權(quán);⑤數(shù)據(jù)下載服務(wù);⑥數(shù)據(jù)下載備案。
圖4 數(shù)據(jù)產(chǎn)品下載申請(qǐng)登記
圖5 數(shù)據(jù)分發(fā)審核管理
4.5 數(shù)據(jù)整合環(huán)境與集成工具包
數(shù)據(jù)整合處理環(huán)境由多個(gè)數(shù)據(jù)提取工具構(gòu)成。利用數(shù)據(jù)模型構(gòu)建工具,面向土地專題應(yīng)用,構(gòu)建相應(yīng)的數(shù)據(jù)倉庫框架,逐步擴(kuò)充土地專題業(yè)務(wù)應(yīng)用數(shù)據(jù)庫所涵蓋的土地分析專題;通過開發(fā)面向特定土地成果數(shù)據(jù)庫或土地專題應(yīng)用的整合特定數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)提取工具,逐步充實(shí)數(shù)據(jù)整合處理環(huán)境的數(shù)據(jù)提取工具;通過運(yùn)行數(shù)據(jù)提取工具,逐步充實(shí)土地成果數(shù)據(jù)庫和土地專題數(shù)據(jù)倉庫的內(nèi)容。編寫數(shù)據(jù)提取工具,從各土地資料數(shù)據(jù)庫抽取數(shù)據(jù)到土地成果數(shù)據(jù)庫中,由土地成果數(shù)據(jù)抽取數(shù)據(jù)到土地專題應(yīng)用數(shù)據(jù)庫中。
基于 ESRI Arc/Engine 組件工具,開發(fā)服務(wù)于“土地?cái)?shù)據(jù)整合處理”的各種通用 GIS工具組件備用,同時(shí)開發(fā)具有友好圖形用戶界面,實(shí)現(xiàn)基于“土地資料庫”或“土地成果數(shù)據(jù)庫”及其元數(shù)據(jù)庫提取特定專題應(yīng)用產(chǎn)品數(shù)據(jù)庫的流程管理的專題產(chǎn)品數(shù)據(jù)庫提取與維護(hù)管理系統(tǒng)??紤]到數(shù)據(jù)產(chǎn)品數(shù)據(jù)庫創(chuàng)建的復(fù)雜性,在系統(tǒng)實(shí)現(xiàn)過程中,只實(shí)現(xiàn)可自動(dòng)化進(jìn)行的流程的管理,對(duì)于無法自動(dòng)化的過程,系統(tǒng)給出信息提示,實(shí)施手工處理。
圖6a 數(shù)據(jù)整合處理環(huán)境提取工具
圖6b 通用集成 GIS 工具組件
5 應(yīng)用展望
當(dāng)前,加快土地調(diào)查評(píng)價(jià)數(shù)據(jù)集成既是深化大調(diào)查成果的需要,也是國(guó)家土地管理新形勢(shì)對(duì)土地資源調(diào)查監(jiān)測(cè)數(shù)據(jù)集成提出的新要求。充分發(fā)揮土地調(diào)查評(píng)價(jià)數(shù)據(jù)的基礎(chǔ)性作用,促進(jìn)國(guó)家科技數(shù)據(jù)資源共享也必須對(duì)土地?cái)?shù)據(jù)進(jìn)行整合集成。如何對(duì)多年來取得的國(guó)家級(jí)土地調(diào)查評(píng)價(jià)數(shù)據(jù),特別是大調(diào)查數(shù)據(jù)進(jìn)行有效集成和管理,并為國(guó)家土地管理宏觀決策提供快速、準(zhǔn)確的信息服務(wù)是國(guó)家級(jí)土地調(diào)查評(píng)價(jià)數(shù)據(jù)集成面臨的首要問題?;?SAN 存儲(chǔ)的國(guó)家級(jí)土地調(diào)查數(shù)據(jù)管理與集成系統(tǒng),首次將土地?cái)?shù)據(jù)倉庫技術(shù)思想應(yīng)用于土地?cái)?shù)據(jù)管理系統(tǒng)建設(shè)中,提出資料庫、成品庫、應(yīng)用庫三庫一體的數(shù)據(jù)倉庫解決方案,對(duì)不同處理級(jí)別數(shù)據(jù)分級(jí)存儲(chǔ),為土地?cái)?shù)據(jù)挖掘提供可能,也為不同應(yīng)用目的數(shù)據(jù)集成提供實(shí)現(xiàn)有效途徑。通過該系統(tǒng)建設(shè)將能夠?qū)崿F(xiàn)土地?cái)?shù)據(jù)管理、土地?cái)?shù)據(jù)處理和信息發(fā)布網(wǎng)絡(luò)化,大大提高信息化建設(shè)水平。目前本系統(tǒng)已經(jīng)初步建成,并處于試運(yùn)行階段,正利用本數(shù)據(jù)管理集成系統(tǒng)平臺(tái)進(jìn)行全國(guó)城市土地利用動(dòng)態(tài)遙感監(jiān)測(cè)數(shù)據(jù)、1∶1 萬土地利用建庫、土地詳查1∶5 萬縣級(jí)土地利用柵格數(shù)據(jù)等土地調(diào)查監(jiān)測(cè)數(shù)據(jù)的整合集成工作。目前已經(jīng)完成2004年度全國(guó)土地利用動(dòng)態(tài)遙感監(jiān)測(cè)成果數(shù)據(jù)、“數(shù)字國(guó)土”工程1∶1 萬土地利用建庫200 多個(gè)縣區(qū)、土地詳查1∶5 萬縣級(jí)土地利用柵格數(shù)據(jù)全部數(shù)據(jù)(2000 多個(gè)縣)的整合入庫和元數(shù)據(jù)錄入,并可實(shí)現(xiàn)對(duì)元數(shù)據(jù)和數(shù)據(jù)的管理。系統(tǒng)建設(shè)已經(jīng)初見成效,實(shí)現(xiàn)了土地調(diào)查數(shù)據(jù)科學(xué)有效管理、避免重復(fù)投資,為國(guó)家寶貴的數(shù)據(jù)資源科學(xué)管理、有效集成和共享應(yīng)用打下了堅(jiān)實(shí)基礎(chǔ)。可以預(yù)見,本系統(tǒng)平臺(tái)將在國(guó)土資源大調(diào)查——土地資源調(diào)查數(shù)據(jù)整合集成發(fā)揮重要作用。當(dāng)然由于受人員、時(shí)間,特別是水平等各方面條件的限制,本系統(tǒng)還需要在國(guó)家級(jí)土地調(diào)查監(jiān)測(cè)的數(shù)據(jù)整合集成實(shí)踐中不斷地完善、提高。
存儲(chǔ)技術(shù)是純屬系統(tǒng)的框架里面的么
什么是存儲(chǔ)?
用于存放數(shù)據(jù)信息的設(shè)備或者系統(tǒng)
等同與計(jì)算機(jī)系統(tǒng)中的外部存儲(chǔ)
存儲(chǔ)是一個(gè)系統(tǒng)
是計(jì)算機(jī)技術(shù)發(fā)展的結(jié)果
在計(jì)算機(jī)系統(tǒng)中存儲(chǔ)分為外部存儲(chǔ)和內(nèi)部存儲(chǔ),這里我們談存儲(chǔ)主要指計(jì)算機(jī)系統(tǒng)中的外部存儲(chǔ)。
如果再把概念收縮一下,一般來講我們談存儲(chǔ)是指存儲(chǔ)系統(tǒng),并不是簡(jiǎn)單的談?dòng)脖P、軟盤等。
存儲(chǔ)系統(tǒng)是信息技術(shù)發(fā)展的結(jié)果。
為什么要了解存儲(chǔ)技術(shù)
很簡(jiǎn)單的原因,存儲(chǔ)變得越來越重要了,我們必須要了解存儲(chǔ)技術(shù),了解存儲(chǔ)技術(shù)的發(fā)展方向!
存儲(chǔ)系統(tǒng)中到底使用了什么技術(shù)?
SCSI/ATA
FC/iSCSI
RAID/JBOD
DAS/NAS/SAN
SCSI/ATA是存儲(chǔ)系統(tǒng)中最基本的技術(shù),其中SCSI是最重要的.
在存儲(chǔ)設(shè)備上,使用的SCSI/ATA/FC的硬盤,做成RAID或者JBOD,通過DAS、NAS、SAN的形式,中間使用SCSI、FC或者TCP/IP技術(shù)連接主機(jī)。存儲(chǔ)技術(shù)其實(shí)就是是計(jì)算機(jī)技術(shù)與通信技術(shù)的結(jié)合。iSCSI是將來的存儲(chǔ)形式,這里不做討論
存儲(chǔ)系統(tǒng)架構(gòu)—三種架構(gòu)介紹
DAS ( Direct Attached Storage)直接掛接存儲(chǔ)
SAN ( Storage Area Network )存儲(chǔ)區(qū)域網(wǎng)絡(luò)
NAS ( Network Attached Storage )網(wǎng)絡(luò)掛接存儲(chǔ)
存儲(chǔ)系統(tǒng)架構(gòu)—DAS
DAS-Direct Attached Storag-存儲(chǔ)設(shè)備(通常為磁盤或磁帶)通過電纜直接與計(jì)算機(jī)相連;
系統(tǒng)存取訪問I/O請(qǐng)求(又稱為協(xié)議或命令)直接在計(jì)算機(jī)和存儲(chǔ)設(shè)備間進(jìn)行.
存儲(chǔ)設(shè)備(通常為磁盤或磁帶)通過電纜直接與計(jì)算機(jī)相連,系統(tǒng)存取訪問I/O請(qǐng)求(又稱為協(xié)議或命令)直接在計(jì)算機(jī)和存儲(chǔ)設(shè)備間進(jìn)行。這是一種總線方式的存儲(chǔ),傳輸距離短,連接方式差。當(dāng)服務(wù)器在地理上比較分散,很難通過遠(yuǎn)程連接進(jìn)行互連時(shí),直接連接存儲(chǔ)是比較好的解決方案,甚至是唯一的解決方案。
存儲(chǔ)系統(tǒng)架構(gòu)—SAN
SAN- Storage Area Network
主要目的用于在計(jì)算機(jī)和存儲(chǔ)設(shè)備之間傳輸數(shù)據(jù)
IP-SAN,F(xiàn)C-SAN
SAN(Storage Area Network存儲(chǔ)區(qū)域網(wǎng)):是為連接服務(wù)器、磁盤陣列、帶庫等存儲(chǔ)設(shè)備專門而建立的高性能網(wǎng)絡(luò)。SAN技術(shù)中最具深遠(yuǎn)意義的并給SAN技術(shù)帶來最大好處的,即它由從前采用面向總線的存儲(chǔ)結(jié)構(gòu),轉(zhuǎn)而采用現(xiàn)在的面向網(wǎng)絡(luò)的存儲(chǔ)結(jié)構(gòu)。
存儲(chǔ)系統(tǒng)架構(gòu)—NAS
NAS-Network Attached Storage
一種直連到網(wǎng)絡(luò)(LAN or WAN)里的特殊用途的存儲(chǔ)設(shè)備
突出的文件服務(wù)性能
向異構(gòu)客戶端平臺(tái)提供高可用的數(shù)據(jù)共享
存儲(chǔ)產(chǎn)品
磁盤陣列柜
RAID技術(shù)
FC技術(shù)
SAS技術(shù)
iSCSI技術(shù)
IB技術(shù)
存儲(chǔ)服務(wù)器
服務(wù)器技術(shù)
RAID技術(shù)
…
關(guān)于san框架和san框架能用flex嘛?的介紹到此就結(jié)束了,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,記得收藏關(guān)注本站。