您當前位置 : 首頁 電商百科 數據技術:資源、隊列與集群
前幾天,壯實在網上沖浪的時候,收到一個目瞪狗呆的提問邀請。
第一反應是,握草,這算法是把“身價”和“負債”整混了吧……
不過,定睛一看,好啊,這不就是人民大眾喜聞樂見的話題嗎?
好吧,看看你國凡爾賽文學的水平發展的如何。
當我津津有味的欣賞時,直到我看到最后一句:
好家伙, 2080的顯卡?不同意?
身價千萬的有錢人裝逼失敗,下一個。
還2080,愛他,就給他3090!
啥是2080?那今天文章你一定要看啊!
不然被假冒高富帥套娃啊!
好啦,今天壯實跟大家聊聊數據背后的底層技術:資源、隊列和集群。(內涵2080是啥)
1、資源每天,有大量的數據查詢任務需要在機器上完成運行,這就需要高功能的計算機——服務器來完成。
所以我們常說的資源就是服務器資源,物理表現形式就是物理機。如下圖:
那么:
廣泛定義上,資源包括服務器資源和網絡。
狹義定義上,資源是指服務器資源中的 內存、CPU、顯卡等。
CPU和內存是一組概念,GPU和顯存是一組概念。
CPU和GPU都是用于計算,內存和顯存都是用于存儲,相應的計算對應相應的存儲。
●CPU:CPU(Central Processing Unit,中央處理器)是解釋計算機指令和處理計算機軟件中數據的核心部件。
●內存:俗名是內存條。CPU在計算后會把數據存儲到內存中。如電腦上顯示的8G、16G,就是指內存條的容量。
CPU、內存和輸入/輸出設備是電子計算機三大核心部件。
●GPU:GPU(Graphics Processing Unit,圖形處理器)是顯卡上的一塊芯片,專門進行圖像運算工作的微處理器。因GPU強大的運算能力,還廣泛運用于密碼破解、機器學習、金融分析等領域。
●顯存:顯存是顯卡的組成部分,主要用來存儲GPU需要處理的各種數據、模型。
你知道顯卡是什么嗎?
顯卡包括GPU、顯存、電路板和BIOS固件,GPU是顯卡的核心。
如果你清楚口紅對于女生的意義,那你就能get到顯卡對于男生的嗨皮。
簡單來說,計算機按上顯卡,就會讓游戲畫質更清晰、操作更流暢。
雙12、圣誕節、元旦、新年、情人節就要到了,你可以挑一個好節日送給他顯卡。
好的,型號都給你準備好了!!!較好的配置就是3個sk2禮盒的價格!
2080和3090都在里面了……
2、隊列隨著公司的數據量越來越大,出于節省成本的考慮,就需要考慮 每個業務線需要多少機器(機器背后資源);這些資源如何分配;分配后,這些資源使用的先后順序等等問題。這時,就需要進行「資源管理」。
有的資源管理會用到「隊列」這種方式,隊列可以幫助劃分離線計算任務先后運行的順序,達到計算過程中使用的資源可管理。
如上圖所示,假設有4個離線計算任務同時在跑。如果隊列上只能跑3個任務,那么隊列就被跑滿了,第4個任務就需要等待隊列空余,才能繼續跑了。
除此之外,還有鏈式隊列、雙端隊列、循環隊列等等的隊列處理順序的方式,我們大致介紹一種符合FIFO(先進先出)的隊列處理方式,以供參考。
3、集群集群是一種多維度管理資源方式,它按業務線劃分,劃分方式跟公司對資源的管理方式有關。
1)計算集群實時計算集群
類型:storm、kafka、flink集群
離線計算集群
類型:hadoop集群
2)存儲集群3)機器學習集群綜上所述,我們簡單的來理解:
1.資源就是數據在計算、存儲所消耗的資源,物理表現進行就是機房中的物理機。
2.隊列就是資源消耗&使用如何分配的一種規則。
3.集群是多維管理資源的方式。
4、彩蛋:互聯網大廠耗電量秘史而根據Google曾經公布用電量數據,2010年Google用電量22.6億千瓦時。
對比2010年北京市年用電量為809.902億千瓦時。Google2010年的用電量會占到北京市一天總用電量的3%。
當然,據我所致,現在的大廠已經降低到%零點幾了,但是這些物理機器一天消耗的電量,還是可供3萬多人使用24小時。
所以,互聯網還真是講規模效應的一個行業~
要不,電費,也挺貴的……
引用數據:
《北京市統計局:2018年常駐人口2154.2萬人 同比下降0.8%》
《北京全社會用電量情況》
-End-
以上就是為大家介紹的數據技術:資源、隊列與集群,希望對大家有所幫助,現在互聯網已經進入到了短視頻時代,如果需要抖音廣告開戶,抖音直播間付費推廣開戶或者托管的,都可以找我們咨詢,現在開戶優惠多多,還有返點,添加微信了解:veteran88
上一篇: 上一篇:公眾號對視頻號的引流效果如何?我們研究了22160個公眾號...
下一篇: 下一篇:數據分析,如何支持管理層決策?