大數(shù)據(jù)工程師是做什么樣的工作？

大數(shù)據(jù)從概念到落地，在國內(nèi)的發(fā)展其實主要就是這幾年，而正是在這幾年當中，隨著大數(shù)據(jù)市場規(guī)模的進一步擴大，大數(shù)據(jù)人才需求還將進一步加大。大數(shù)據(jù)工程師是做什么樣的工作?

目前的大數(shù)據(jù)處理主要有兩個軟件框架，Hadoop和Spark。從各家公司的招聘要求來看，想要從事大數(shù)據(jù)開發(fā)，掌握Hadoop或者Spark是不可少的。

Hadoop三大件包括HDFS、Yarn和MapReduce。大數(shù)據(jù)量存儲用HDFS，Yarn是其自帶的一個資源管理框架，而MapReduce是一個分布式計算框架，跑在Yarn上，配合HDFS用來做分布式數(shù)據(jù)計算。

Spark相當于MapReduce的改進版，寫分布式計算任務(wù)時，從代碼上看更簡潔，而且它支持大家都喜歡的python，上手比較快。

從目前的技術(shù)趨勢來看，Spark風頭正勁，而Hadoop、Storm的一些組件則在消退。分布式計算框架Hadoop MapReduce，以其穩(wěn)定性著稱。但他是基于磁盤IO的計算框架，在迭代計算和交互式數(shù)據(jù)挖掘方面性能較差。正是因為MapReduce的痛點，基于內(nèi)存的計算框架Spark才應(yīng)運而生。

當然，這些技術(shù)框架的學(xué)習，對有技術(shù)開發(fā)基礎(chǔ)的小伙伴，直接開始上手學(xué)習也沒問題，但是沒有是基礎(chǔ)薄弱轉(zhuǎn)行的小伙伴，需要先從打好基礎(chǔ)

日常生活中的大數(shù)據(jù)

上下班地鐵站

在一些大都市，地鐵對每一個上班族來說，肯定是在熟悉不過的事情，地鐵的人流量大家也是深有體會的，通過一個小小的公交卡片就能非?？旖莘奖闶占矫恳粋€地鐵站，每個時間段的客流量，根據(jù)這些客流量也能準確的計算出平時的出現(xiàn)高峰期，以及從而做出正確的決策，比如在哪個時間段，那個站點需要進行人流的控制來緩解交通出行的壓力。

每日的閱讀數(shù)據(jù)

現(xiàn)在基本上每個人都有一部智能手機，不論是商場，還是在家里，還是在其他任何地方，相信好多低頭族都在不停的刷著手機，也在每時每刻的的產(chǎn)生著海量數(shù)據(jù)。

每日的購物數(shù)據(jù)

各種各樣的電商網(wǎng)站，各種各樣的物品，都在時時刻刻的產(chǎn)生著海量的數(shù)據(jù)，自從有了互聯(lián)網(wǎng)，每分鐘的交易數(shù)與傳統(tǒng)的生意相比提高了成千上萬倍(遠遠不止成千上萬)。

更多培訓(xùn)課程： 浦東新區(qū)大數(shù)據(jù) 更多學(xué)校信息： 上海浦東新區(qū)職坐標IT培訓(xùn) 咨詢電話：