大數(shù)據(jù)架構(gòu)師32-38萬(wàn)
發(fā)布人：
高邦獵頭 發(fā)布時(shí)間:2020-11-13
公司名稱：長(zhǎng)沙某網(wǎng)絡(luò)科技公司
工作地點(diǎn)：長(zhǎng)沙
崗位職責(zé)：
1. 參與規(guī)劃和實(shí)施公司數(shù)據(jù)平臺(tái)的搭建以滿足未來(lái)1-2年的數(shù)據(jù)分析要求；
2. 參與公司CDP平臺(tái)的整體數(shù)據(jù)架構(gòu)設(shè)計(jì)，完成從業(yè)務(wù)模型到數(shù)據(jù)模型的設(shè)計(jì)工作 ；
3. 負(fù)責(zé)基于Spark的數(shù)據(jù)平臺(tái)研發(fā)工作（包擴(kuò)離線計(jì)算，數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)和處理等）；
4. 對(duì)業(yè)務(wù)開發(fā)團(tuán)隊(duì)提供技術(shù)支持，協(xié)助方案規(guī)劃；
5. 維持線上服務(wù)高效穩(wěn)定，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張。
崗位要求：
1. 有java開發(fā)基礎(chǔ)，熟悉Spark相關(guān)技術(shù)，至少有3年以上的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)（有過帶教經(jīng)驗(yàn)優(yōu)先考慮，本崗?fù)鵏eader方向培養(yǎng)）；
2. 熟悉流式計(jì)算平臺(tái)的搭建，例如使用Flink / Spark Streaming和kafka結(jié)合的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)大屏；
3. 理解離線和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的治理方法和分層邏輯；
4. 熟悉Scala語(yǔ)言，對(duì)Scala原理、底層技術(shù)有深入研究者優(yōu)先；
5. 深入理解MapReduce工作原理，HDFS分布式文件系統(tǒng)架構(gòu)；
6. 熟練掌握Hadoop/Hive/HBASE的運(yùn)維和調(diào)優(yōu)方法；
6. 熟悉mysql, ElasticSearch, Redis等關(guān)系型或NoSQL數(shù)據(jù)庫(kù)，了解應(yīng)用場(chǎng)景和使用限制，有實(shí)際調(diào)優(yōu)經(jīng)驗(yàn)者更佳；
7. 熟悉Linux/Unix操作系統(tǒng),會(huì)寫Shell，會(huì)使用Git；
8. 了解大數(shù)據(jù)組件的使用限制和應(yīng)用場(chǎng)景，包括但不僅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等；
9. 了解掌握TensorFlow者優(yōu)先；
10. 熟練的英文技術(shù)文檔閱讀能力
