互聯網時代,PC、Pad、智能手機等設備無處不在,數以億計的用戶通過微博、微信、SNS、博客等途徑產生大量的自媒體數據,電商、新聞類網站、 搜索引擎每時每刻都在記錄著豐富的用戶行為信息,海量的數據促進了云計算,分布式技術的發(fā)展,而這些技術反過來不僅推動了Web和移動互聯網的革新,也推動了物聯網的飛速前進。現在,我們正逐漸邁入物聯網時代,實現萬物互聯的愿景,如果說之前人是信息生產的主體,那么或許不久的將來設備將成為主角,它們將 源源不斷地產生與人相關的衣食住行信息,這些信息會通過云計算、數據挖掘等技術實現價值的升華從而為用戶提供更優(yōu)質、貼心的服務。那么物聯網時代會產生什 么樣的數據,應該采用什么樣的大數據策略呢?
THINKstrategies的總經理Jeff Kaplan在自己的博文《當物聯網遇見大數據》中寫道:“你不能使用現在的策略,因為可以被捕獲、管理并利用的數據將更加多樣化,同時用例也會更加豐富。附加到各種設備和對象上的傳感器會產生各種類型的數據。這些數據將會用于各種響應式的、主動的或者創(chuàng)造性的目的。IT部門的任務就是與業(yè)務部門一起工作,完全理解物聯網方面的用例,然后尋找滿足業(yè)務需求的技術。特別是,IT部門必須識別出最優(yōu)的分析平臺和工具,讓業(yè)務用戶能夠獲取到需要的數據,分析數據的含義并快速地做出響應。”
Gartner公司的副總裁、著名分析師Joe Skorupa認為:“分布在世界各地的物聯網設備將產生大量的輸入數據,將所有的數據傳送到一個位置進行處理無論從技術上還是從經濟上都是無法實現的。最近的趨勢—— 將應用程序集中起來以便于降低成本并增強安全性——并不適合物聯網。組織必須將數據集中到多個分布式的小型數據中心中,在此對數據進行初步的處理并發(fā)送到 一個中心站點進行額外的處理。數據中心管理員需要在這些區(qū)域部署更加具有前瞻性的容量以滿足業(yè)務發(fā)展的需要。”
Patrick McFadin則在自己的博文《物聯網:數據都去了哪里?》中闡述了一個具體的數據策略解決方案。他認為整個過程可以分為三個階段:產生數據并通過Internet傳遞、中央系統(tǒng)收集并組織數據、持續(xù)的數據分析與使用。
第一階段需要決定數據創(chuàng)建的標準以及如何通過網絡進行傳遞。Patrick McFadin認為可以通過HTTP、MQTT和CoAP三種常用的標準協議傳遞數據。HTTP通用程度高,但是它的頭中包含大量冗余信息,不太適合帶寬 比較低的場景。MQTT基于發(fā)布/訂閱模型,新的設備或者服務能夠非常容易地連到中央系統(tǒng)上消費消息。另外,它在消息大小上比HTTP更輕量,但是缺點是 不包含加密標準。CoAP適合于低功耗、低帶寬的場景,與MQTT的訂閱模式相比它更側重于一對一的連接。
第二階段則需要根據設備、網絡以及功耗的限制決定是實時地收集數據還是在某個時間批量收集,同時還需要決定如何存儲數據。如果是實時收集,那么必須要考慮數據庫的寫入速度,這對于傳統(tǒng)的數據庫而言可能是一個挑戰(zhàn),但是像Cassandra這樣的NoSQL數據庫卻能夠輕松應對。
一旦完成了數據的收集與存儲,接下來就是分析了,這才是整個過程最核心的部分。此時需要考慮需要何時使用分析結果,是否需要立即或近乎實時 的分析,還是僅僅需要對歷史數據進行處理。越來越多的人在使用Apache Spark分析大數據,使用Spark Streaming滿足近乎實時的要求,如果將這些技術與Cassandra這樣的NoSQL數據庫結合在一起使用,那么開發(fā)者就能夠處理并分析大規(guī)模、 快速移動的數據集。
那么是不是所有的物聯網廠商都需要自己去構建相關的數據解決方案呢?也不盡然,在云計算的時代大可以利用云服務提供商的資源,以降低相關的成本,對小公司或初創(chuàng)公司更是如此。Mike Kavis最近在自己的博文《物聯網將徹底改變你的大數據策略》中闡述了自己的方案,他認為:“在物聯網時代,面對PB級的數據,企業(yè)將難以以一己之力完成基礎設施的建設。物聯網所產生的大量數據不僅會驅動現在的數據中心發(fā)生根本性的變化, 同時也會驅動相關企業(yè)采用新的大數據策略。由于缺乏相關技能以及持續(xù)增長的數據對基礎設施采購的需求,企業(yè)將逐步放棄DIY模式,轉而使用PaaS和托管 的解決方案,借助于數據庫即服務(例如Amazon的Redshift、Hortonworks和Cloudera的企業(yè)級Hadoop)、托管的大數據 服務(例如Treasure Data)以及矩陣式的數據中心服務(例如GoGrid)實現自己的物聯網數據分析方案。
總之,物聯網的價值在于數據。企業(yè)對數據的分析工作啟動地越快,挖掘出的業(yè)務價值就越多。而云服務提供商的目的就是通過加大相關的投入,消除數據收集、管理的風險以及復雜性,讓客戶能夠專注于分析。”