江西新起航信息技術有限公司

一般談云計算的時候會提到大數據、談人工智能的時候會提大數據、談人工智能的時候會提云計算……感覺三者之間相輔相成又不可分割。

但如果是非技術的人員，就可能比較難理解這三者之間的相互關系，所以有必要解釋一下。

我們首先來說云計算。云計算目標是對資源的管理，管理的主要是計算絡資源、存儲資源三個方面。

管數據就像配電腦

什么叫計算、網絡、存儲資源？

比如你要買臺筆記本電腦，是不是要關心這臺電腦是什么樣的 CPU？多大的內存？這兩個就被我們稱為計算資源。

這臺電腦要上網，就需要有個可以插網線的網口，或者有可以連接我們家路由器的無線網卡。

您家也需要到運營商比如聯通、移動或者電信開通一個網絡，比如 100M 的帶寬。然后會有師傅弄一根網線到您家來，師傅可能會幫您將您的路由器和他們公司的網絡連接配置好。

這樣您家的所有的電腦、手機、平板就都可以通過您的路由器上網了。這就是網絡資源。 

您可能還會問硬盤多大？過去的硬盤都很小，大小如 10G 之類的；后來即使 500G、1T、2T 的硬盤也不新鮮了。(1T 是 1000G)，這就是存儲資源。

對于一臺電腦是這個樣子的，對于一個數據也是同樣的。想象你有一個非常非常大的機房，里面堆了很多的服務器，這些服務器也是有 CPU、內存、硬盤的，也是通過類似路由器的設備上網的。

這時的問題就是：運營數據的人是怎么把這些設備統一的管理起來的呢？

靈活就是想啥時要都有，想要多少都行

舉個例子來理解：比如有個人需要一臺很小的電腦，只有一個 CPU、1G 內存、10G 的硬盤、一兆的帶寬，你能給他嗎？

像這么小規格的電腦，現在隨便一個筆記本電腦都比這個配置強了，家里隨便拉一個寬帶都要 100M。然而如果去一個云計算的平臺上，他想要這個資源時，只要一點就有了。

想什么時候要就什么時候要，需要的時候一點就出來了。

想要多少就有多少。需要一個空間很小的電腦，可以滿足；需要一個特別大的空間例如云盤，云盤給每個人分配的空間動不動就很大很大，隨時上傳隨時有空間，永遠用不完，也是可以滿足的。
即我們常說的云計算的彈性。而解決這個彈性的問題，經歷了漫長時間的發展。

物理設備不靈活

物理設備當然是越來越牛：

例如服務器，內存動不動就是百 G 內存。

例如網絡設備，一個端口的帶寬就能有幾十 G 甚至上百 G。

例如存儲，在數據至少是 PB 級別的(一個 P 是 1000 個 T，一個 T 是 1000 個 G)。

不能夠達到想什么時候要就什么時候要。比如買臺服務器、買個電腦，都要有采購的時間。

如果突然用戶告訴某個云廠商，說想要開臺電腦，使用物理服務器，當時去采購就很難。與供應商關系好的可能需要一個星期，與供應商關系一般的就可能需要采購一個月。

用戶等了很久電腦才到位，這時用戶還要登錄上去慢慢開始部署自己的應用。

例如上述的用戶需要一個很小很小的電腦，但現在哪還有這么小型號的電腦？不能為了滿足用戶只要一個 G 的內存、80G 硬盤的，就去買一個這么小的機器。

但是如果買一個大的，又會因為電腦大，需要向用戶多收錢，可用戶需要用的只有那么小一點，所以多付錢就很冤。

虛擬化靈活多了

物理設備都很強大，我可以從物理的 CPU、內存、硬盤中虛擬出一小塊來給客戶，同時也可以虛擬出一小塊來給其他客戶。

每個客戶只能看到自己的那一小塊，但其實每個客戶用的是整個大的設備上的一小塊。

虛擬化的技術使得不同客戶的電腦看起來是隔離的。也就是我看著好像這塊盤就是我的，你看著這塊盤就是你的，可能我的這個 10G 和你的這個 10G 是落在同樣一個很大很大的存儲上。

而且如果事先物理設備都準備好，虛擬化軟件虛擬出一個電腦是非?？斓?，基本上幾分鐘就能解決。所以在任何一個云上要創建一臺電腦，一點幾分鐘就出來了，就是這個道理。 

 

在虛擬化階段它是實現虛擬化技術比較早的一家公司，可以實現計算、網絡、存儲的虛擬化。

這家公司很牛，性能做得非常好，虛擬化軟件賣得也非常好，賺了好多的錢，后來讓 EMC(世界五百強，存儲廠商第yi品pai)給收購了。

但這個世界上還是有很多有情懷的人的，尤其是程序員里面。有情懷的人喜歡做什么事情？開源。

這個世界上很多軟件都是有閉源就有開源，源就是源代碼。也就是說，某個軟件做的好，所有人都愛用，但這個軟件的代碼被我封閉起來，只有我公司知道，其他人不知道。

如果其他人想用這個軟件，就要向我付錢，這就叫閉源。但世界上總有一些大?？床粦T錢都讓一家賺了去的情況。大牛們覺得，這個技術你會我也會；你能開發出來，我也能。

我開發出來就是不收錢，把代碼拿出來分享給大家，全世界誰用都可以，所有的人都可以享受到好處，這個叫做開源。

比如蒂姆·伯納斯·李就是個非常有情懷的人。2017 年，他因“發明萬維網、****個瀏覽器和使萬維網得以擴展的基本協議和算法”而獲得 2016 年度的圖靈獎。

圖靈獎就是計算機界的諾貝爾獎。然而他令人敬佩的是，他將萬維網，也就是我們常見的 WWW 技術無償貢獻給全世界使用。

我們現在在網上的所有行為都應該感謝他的功勞，如果他將這個技術拿來收錢，應該和比爾蓋茨差不多有錢。

開源和閉源的例子有很多：例如在閉源的世界里有 Windows，大家用 Windows 都得給微軟付錢；開源的世界里面就出現了 Linux。

比爾蓋茨靠 Windows、Office 這些閉源的軟件賺了很多錢，稱為世界首富，就有大牛開發了另外一種操作系統 Linux。

再如有 Apple 就有安卓。Apple 市值很高，但是蘋果系統的代碼我們是看不到的，于是就有大牛寫了安卓手機操作系統。

所以大家可以看到幾乎所有的其他手機廠商，里面都裝安卓系統。原因就是蘋果系統不開源，而安卓系統大家都可以用。

在虛擬化軟件也一樣，有了 VMware，這個軟件非常貴。那就有大牛寫了兩個開源的虛擬化軟件，一個叫做 Xen，一個叫做 KVM，如果不做技術的，可以不用管這兩個名字，但是后面還是會提到。

虛擬化的半自動和云計算的全自動

其實并不全對。因為虛擬化軟件一般創建一臺虛擬的電腦，是需要人工這臺虛擬電腦放在哪臺物理機上的。

這一過程可能還需要比較復雜的人工配置。所以使用 VMware 的虛擬化軟件，需要考一個很牛的證書，而能拿到這個證書的人，薪資是相當高，也可見其復雜程度。

所以僅僅憑虛擬化軟件所能管理的物理機的集群規模都不是特別大，一般在十幾臺、幾十臺、百臺這么一個規模。

雖然虛擬出一臺電腦的時間很短，但是隨著集群規模的擴大，人工配置的過程越來越復雜，越來越耗時。

少的程度，很可能這點資源很快就用完了，還得去采購。

所以隨著集群的規模越來越大，基本都是千臺起步，動輒上萬臺、甚至幾十上百萬臺。如果去查一下 BAT，包括網易、谷歌、亞馬遜，服務器數目都大的嚇人。

這么多機器要靠人去選一個位置放這臺虛擬化的電腦并做相應的配置，幾乎是不可能的事情，還是需要機器去做這個事情。

發明了各種各樣的算法來做這個事情，算法的名字叫做調度(Scheduler)。

這個階段我們稱為池化或者云化。到了這個階段，才可以稱為云計算，在這之前都只能叫虛擬化。

云計算的私有與公有

云計算大致分兩種：一個是私有云，一個是公有云，還有人把私有云和公有云連接起來稱為混合云，這里暫且不說這個。

然而商用的虛擬化軟件實在是太貴了，亞馬遜總不能把自己在電商賺的錢全部給了虛擬化廠商。

于是亞馬遜基于開源的虛擬化技術，如上所述的 Xen 或者 KVM，開發了一套自己的云化軟件。沒想到亞馬遜后來電商越做越牛，云平臺也越做越牛。

由于它的云平臺需要支撐自己的電商應用；而傳統的云計算廠商多為 IT 廠商出身，幾乎沒有自己的應用，所以亞馬遜的云平臺對應用更加友好，迅速發展成為云計算的di一品牌，賺了很多錢。

在亞馬遜公布其云計算平臺財報之前，人們都猜測，亞馬遜電商云也嗎？后來一公布財報，發現不是一般的僅僅去年，亞馬遜 AWS 年營收達 122 億美元，運營利潤 31 億美元。

云計算的與情懷

我干不過老大怎么辦呢？開源吧。如上所述，亞馬遜雖然使用了開源的虛擬化技術，但云化的代碼是閉源的。

很多想做又做不了云化平臺的公司，只能眼巴巴的看著亞馬遜掙大錢。Rackspace 把源代碼一公開，整個行業就可以一起把這個平臺越做越好，兄弟們大家一起上，和老大拼了。

于是 Rackspace 和美國航空航天局合作創辦了開源軟件 OpenStack，如上圖所示 OpenStack 的架構圖，不是云計算行業的不用弄懂這個圖。

但能夠看到三個關鍵字：Compute 計算、Networking 網絡、Storage 存儲。還是一個計算、網絡、存儲的云化管理平臺。

技術也是非常棒的，有了 OpenStack 之后，果真像 Rackspace 想的一樣，所有想做云的大企業都瘋了，你能想象到的所有如雷貫耳的大型 IT 企業：IBM、惠普、戴爾、華為、聯想等都瘋了。

原來云平臺大家都想做，看著亞馬遜和 VMware 賺了這么多錢，眼巴巴看著沒辦法，想自己做一個好像難度還挺大。

現在好了，有了這樣一個開源的云平臺 OpenStack，所有的 IT 廠商都加入到這個社區中來，對這個云平臺進行貢獻，包裝成自己的產品，連同自己的硬件設備一起賣。

有的做了私有云，有的做了公有云，OpenStack 已經成為開源云平臺的事實標準。

隨著 OpenStack 的技術越來越成熟，可以管理的規模也越來越大，并且可以有多個 OpenStack 集群部署多套。

比如北京部署一套、杭州部署兩套、廣州部署一套，然后進行統一的管理。這樣整個規模就更大了。

在這個規模下，對于普通用戶的感知來講，基本能夠做到想什么時候要就什么時候要，想要多少就要多少。

還是拿云盤舉例子，每個用戶云盤都分配了 5T 甚至更大的空間，如果有 1 億人，那加起來空間多大啊。

其實背后的機制是這樣的：分配你的空間，你可能只用了其中很少一點，比如說它分配給你了 5 個 T，這么大的空間僅僅是你看到的，而不是真的就給你了。

你其實只用了 50 個 G，則真實給你的就是 50 個 G，隨著你文件的不斷上傳，分給你的空間會越來越多。

當大家都上傳，云平臺發現快滿了的時候(例如用了 70%)，會采購更多的服務器，擴充背后的資源，這個對用戶是透明的、看不到的。

從感覺上來講，就實現了云計算的彈性。其實有點像銀行，給儲戶的感覺是什么時候取錢都有，只要不同時擠兌，銀行就不會垮。

計算、網絡、存儲我們常稱為基礎設施 Infranstracture, 因而這個階段的彈性稱為資源層面的彈性。

管理資源的云平臺，我們稱為基礎設施服務，也就是我們常聽到的 IaaS（Infranstracture As A Service）。

云計算不光管資源，也要管應用

有了 IaaS，實現了資源層面的彈性就夠了嗎？顯然不是，還有應用層面的彈性。

這里舉個例子：比如說實現一個電商的應用，平時十臺機器就夠了。你可能覺得很好辦啊，有了 IaaS，新創建九十臺機器就可以了啊。

但 90 臺機器創建出來是空的，電商應用并沒有放上去，只能讓公司的運維人員一臺一臺的弄，需要很長時間才能安裝好的。

人們在 IaaS 平臺之上又加了一層，用于管理資源以上的應用彈性的問題，這一層通常稱為 PaaS（Platform As A Service）。

這一層往往比較難理解，大致分兩部分：一部分筆者稱為“你自己的應用自動安裝”，一部分筆者稱為“通用的應用不用安裝”。

自己的應用自動安裝：比如電商應用是你自己開發的，除了你自己，其他人是不知道怎么安裝的。

像電商應用，安裝時需要配置支付寶或者微信的賬號，才能使別人在你的電商上買東西時，付的錢是打到你的賬戶里面的，除了你，誰也不知道。

所以安裝的過程平臺幫不了忙，但能夠幫你做得自動化，你需要做一些工作，將自己的配置信息融入到自動化的安裝過程中方可。

比如上面的例子，新創建出來的 90 臺機器是空的，如果能夠提供一個工具，能夠自動在這新的 90 臺機器上將電商應用安裝好，就能夠實現應用層面的彈性。

例如 Puppet、Chef、Ansible、Cloud Foundary 都可以干這件事情，容器技術 Docker 能更好的干這件事情。

通用的應用不用安裝：所謂通用的應用，一般指一些復雜性比較高，但大家都在用的，例如數據庫。幾乎所有的應用都會用數據庫，但數據庫軟件是標準的，雖然安裝和維護比較復雜，但無論誰安裝都是一樣。

這樣的應用可以變成標準的 PaaS 層的應用放在云平臺的界面上。當用戶需要一個數據庫時，一點就出來了，用戶就可以直接用了。

有人問，既然誰安裝都一個樣，那我自己來好了，不需要花錢在云平臺上買。當然不是，數據庫是一個非常難的東西，光 Ore 這家公司，靠數據庫就能賺這么多錢。買 Ore 也是要花很多錢的。

然而大多數云平臺會提供 MySQL 這樣的開源數據庫，又是開源，錢不需要花這么多了。 

但維護這個數據庫，卻需要專門招一個很大的團隊。

比如您是一個做單車的，當然沒必要招一個非常大的數據庫團隊來干這件事情，成本太高了，應該交給云平臺來做這件事情。

要么是自動部署，要么是不用部署，總的來說就是應用層你也要少操心，這就是 PaaS 層的重要作用。

那么容器如何對應用打包呢？還是要學習集裝箱。首先要有個封閉的環境，將貨物封裝起來，讓貨物之間互不干擾、互相隔離，這樣裝貨卸貨才方便。好在 Ubuntu 中的 LXC 技術早就能做到這一點。

封閉的環境主要使用了兩種技術：

看起來是隔離的技術，稱為 Namespace，也即每個 Namespace 中的應用看到的是不同的 IP 地址、用戶空間、程號等。

用起來是隔離的技術，稱為 Cgroups，也即明明整臺機器有很多的 CPU、內存，而一個應用只能用其中的一部分。

所謂的鏡像，就是將你焊好集裝箱的那一刻，將集裝箱的狀態保存下來，就像孫悟空說：“定”，集裝箱里面就定在了那一刻，然后將這一刻的狀態保存成一系列文件。

這些文件的格式是標準的，誰看到這些文件都能還原當時定住的那個時刻。將鏡像還原成運行時的過程（就是讀取鏡像文件，還原那個時刻的過程），就是容器運行的過程。

有了容器，使得 PaaS 層對于用戶自身應用的自動部署變得快速而優雅。

大數據擁抱云計算

在 PaaS 層中一個復雜的通用應用就是大數據平臺。大數據是如何一步一步融入云計算的呢？

數據不大也包含智慧

一開始這個大數據并不大。原來才有多少數據？現在大家都去看電子書，上網看新聞了，在我們 80 后小時候，信息量沒有那么大，也就看看書、看看報，一個星期的報紙加起來才有多少字？

如果你不在一個大城市，一個普通的學校的圖書館加起來也沒幾個書架，是后來隨著信息化的到來，信息才會越來越多。

首先我們來看一下大數據里面的數據，就分三種類型：

結構化的數據：即有固定格式和有限長度的數據。例如填的表格就是結構化的數據，國籍：中華人民共和國，民族：漢，性別：男，這都叫結構化數據。

非結構化的數據：現在非結構化的數據越來越多，就是不定長、無固定格式的數據，例如網頁，有時候非常長，有時候幾句話就沒了；例如語音，視頻都是非結構化的數據。

半結構化數據：是一些 XML 或者 HTML 的格式的，不從事技術的可能不了解，但也沒有關系。

其實數據本身不是有用的，要經過一定的處理。例如你每天跑步帶個手環收集的也是數據，網上這么多網頁也是數據，我們稱為 Data。

數據本身沒有什么用處，但數據里面包含一個很重要的東西，叫做信息（Information）。

數據十分雜亂，經過梳理和清洗，才能夠稱為信息。信息會包含很多規律，我們需要從信息中將規律總結出來，稱為知識（Knowledge），而知識改變命運。

信息是很多的，但有人看到了信息相當于白看，但有人就從信息中看到了電商的未來，有人看到了的未來，所以人家就牛了。

如果你沒有從信息中提取出知識，天天看朋友圈也只能在互聯網滾滾大潮中做個看客。

有了知識，然后利用這些知識去應用于實戰，有的人會做得非常好，這個東西叫做智慧（Intelligence）。

有知識并不一定有智慧，例如好多學者很有知識，已經發生的事情可以從各個角度分析得頭頭是道，但一到實干就歇菜，并不能轉化成為智慧。

而很多的創業家之所以偉大，就是通過獲得的知識應用于實踐，做了很大的生意。

所以數據的應用分這四個步驟：數據、信息、知識、智慧。

的階段是很多商家都想要的。你看我收集了這么多的數據，能不能基于這些數據來幫我做下一步的決策，我的產品。

例如讓用戶看視頻的時候旁邊彈出廣告，正好是他想買的東西；再如讓用戶聽音樂時，另外推薦一些他非常想聽的其他音樂。

用戶在我的應用或者網站上隨便點點鼠標，輸入文字對我來說都是數據，我就是要將其中某些東西提取出來、指導實踐、形成智慧，讓用戶陷入到我的應用里面不可自拔，上了我的網就不想離開，手不停地點、不停地買。