2015-11-27 09:42:33分類:行業資訊6156
一、大數據概念
“大數據”是一個體量特別大,數據類別特別大的數據集,并且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。智慧城市的核心“大數據”“大數據”首先是指數據體量大,指代大型數據集,一般在10TB?規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量;其次是指數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。最后一個特點是指數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。
二、大數據解決方案
大數據需要有不同于傳統的技術,以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術 ,包括大規模并行處理(MPP)數據庫,數據挖掘電網,分布式文件系統,分布式數據庫,云計算平臺 ,互聯網時代的大數據,和可擴展的存儲系統。
大數據解決方案,通常都是基于集群的物理設施平臺上,通過分布式處理系統來實現對海量數據的處理和分析。也正是如此,這種解決方案更多的是側重于軟硬一體或者分布式的軟件系統平臺來實現。
在大數據解決方案中,最為常見的當屬Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟件 框架。Hadoop項目包括三部分,分別是Hadoop Distributed File System(HDFS)、HadoopMapReduce 編程模型,以及Hadoop Common。
英特爾:作為與Linux具有一樣都具有革命性意義的Hadoop,英特爾還推出了基于該平臺的發行版(包括免費發行版),以幫助用戶更輕松地構建架構和使用分布式計算平臺,開發和處理海量數據。
在英特爾所提出的大數據方案之中,至強處理器將為大數據分析提供原動力。英特爾還展示了其即將發行的Hadoop發行版——Intel Hadoop Manager 2.0。英特爾的Hadoop發行版著重對英特爾平臺上的Hadoop進行了優化,企業可即時實施,安裝、配置都非常簡單。
微軟:為幫助企業快速采用其大數據解決方案,微軟將在 Microsoft Windows Azure平臺上提供基于云端的Hadoop服務,同時在 Windows Server 上提供基于本地的 Hadoop 版本。 Hadoop 的豐富洞察可以與 Microsoft Business Intelligence (BI) 平臺無縫結合,使客戶能夠借助Office和SharePoint以及公用的數據和服務來豐富他們的模型。
三、大數據分析工具
大數據分析是指對規模巨大的數據進行分析。大數據可以概括為4個V, 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、真實性(Veracity)。大數據作為時下最火熱的IT行業的詞匯,隨之而來的數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨,大數據分析也應運而生。
1、前端展現,用于展現分析的前端開源工具有JasperSoft,Pentaho, Spagobi, Openi, Birt等等。
用于展現分析商用分析工具有Style Intelligence、Cognos, BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 。
國內的有國云數據(大數據魔鏡),FineBI等等。
2、數據倉庫有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
3、數據集市有QlikView、 Tableau 、Style Intelligence等等。
隨著物聯網的演變和發展,所有可以想象到的東西(或事物)和產業都將變得更加智能:智能家居和智慧城市、智能制造機械、智能汽車、智能健康等等。無數被授權收集和交換數據的東西正在形成一個全新的網絡——物聯網——一個可以在云中收集數據、傳輸數據和完成用戶任務的物理對象網絡。
2019-10-22
隨著物聯網的演變和發展,所有可以想象到的東西(或事物)和產業都將變得更加智能:智能家居和智慧城市、智能制造機械、智能汽車、智能健康等等。無數被授權收集和交換數據的東西正在形成一個全新的網絡——物聯網——一個可以在云中收集數據、傳輸數據和完成用戶任務的物理對象網絡。
2019-10-14
做區塊鏈技術的公司,不是因為區塊鏈技術而被抓,而是因數據非法使用而被抓 ,其中的邏輯不由得引起我們深思: 商業數據如何保護?商業數據如何使用?這便是本文的主旨所在——“探討如何用區塊鏈技術保護大數據。”
2019-09-21
物聯網是一個很寬泛的概念,是指各種設備、機器都通過互聯網連接起來,車聯網、工業互聯網等都屬于物聯網范疇。根據Gartner報告,聯網的設備在2019年已經超過142億,預計2021年將達到250億,這是一個巨大的數量。毫無疑問,我們需要一個物聯網大數據平臺來處理這些聯網設備產生的海量數據。
2019-08-03
大數據作為時下火熱的IT行業的詞匯,隨之而來的數據開發、數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。隨著大數據時代的來臨,大數據開發也應運而生。
2019-03-12
物聯網就是利用局部網絡或互聯網等通信技術把傳感器、控制器、機器、人員和物等通過新的方式聯在一起,形成人與物、物與物相聯,實現信息化、遠程管理控制和智能化的網絡。物聯網其實就是互聯網的延伸,它包括互聯網及互聯網上所有的資源,兼容互聯網所有的應用,但物聯網中所有的元素都是個性化和私有化。
2018-08-30