職位描述
該職位還未進(jìn)行加V認(rèn)證,請仔細(xì)了解后再進(jìn)行投遞!
【崗位職責(zé)】:
1、大數(shù)據(jù)平臺架構(gòu)設(shè)計與規(guī)劃
- 根據(jù)集團(tuán)業(yè)務(wù)需求及技術(shù)發(fā)展趨勢,主導(dǎo)大數(shù)據(jù)平臺的整體架構(gòu)設(shè)計,確保平臺具備高穩(wěn)定性、可擴(kuò)展性及高效性,制定長期技術(shù)演進(jìn)路線。
- 設(shè)計數(shù)據(jù)存儲、計算引擎、數(shù)據(jù)集成與治理等核心模塊的技術(shù)架構(gòu),優(yōu)化數(shù)據(jù)采集、清洗、存儲及分析流程。
2 、技術(shù)選型與平臺搭建
- 負(fù)責(zé)大數(shù)據(jù)技術(shù)棧的選型(如Hadoop/CDH、Spark、Flink、Kafka等),搭建并維護(hù)基于CDH的分布式大數(shù)據(jù)平臺,確保技術(shù)組件與業(yè)務(wù)場景高度適配。
- 主導(dǎo)數(shù)據(jù)倉庫建模、實(shí)時流計算框架開發(fā),支持BI分析及數(shù)據(jù)挖掘應(yīng)用。
3 、平臺運(yùn)維體系化構(gòu)建
- 建立全鏈路監(jiān)控體系,覆蓋硬件資源(CPU/存儲/網(wǎng)絡(luò))、系統(tǒng)服務(wù)(HDFS/YARN)、數(shù)據(jù)質(zhì)量(ETL任務(wù)、延遲率)等維度,制定標(biāo)準(zhǔn)化監(jiān)控指標(biāo)與告警規(guī)則。
- 設(shè)計自動化運(yùn)維工具與流程,處理平臺故障及預(yù)警事件,保障7×24小時高可用性。
4 、性能優(yōu)化與監(jiān)控
- 分析平臺性能瓶頸,優(yōu)化計算任務(wù)調(diào)度、存儲資源分配及集群負(fù)載均衡,提升數(shù)據(jù)處理效率(如Spark作業(yè)調(diào)優(yōu)、Hive查詢加速)。
- 定期開展壓力測試與容量規(guī)劃,預(yù)判資源需求并動態(tài)調(diào)整集群規(guī)模。
5 、數(shù)據(jù)安全機(jī)制建設(shè)
- 制定數(shù)據(jù)安全策略,包括敏感數(shù)據(jù)加密、訪問權(quán)限控制(基于RBAC模型)、審計日志追蹤等,防止數(shù)據(jù)泄露與非法訪問。
- 設(shè)計災(zāi)備方案與數(shù)據(jù)恢復(fù)機(jī)制,確保數(shù)據(jù)完整性與業(yè)務(wù)連續(xù)性。
【任職要求】:
1 、學(xué)歷與經(jīng)驗(yàn)
- 本科及以上學(xué)歷,計算機(jī)、數(shù)學(xué)、統(tǒng)計學(xué)或相關(guān)專業(yè),5年以上大數(shù)據(jù)架構(gòu)設(shè)計經(jīng)驗(yàn),3年以上大型分布式系統(tǒng)(PB級數(shù)據(jù))實(shí)戰(zhàn)經(jīng)驗(yàn)。
2 、技術(shù)能力
- 精通Hadoop生態(tài)技術(shù)(HDFS/Hive/HBase/Spark/Flink),熟悉CDH平臺部署與運(yùn)維,具備源碼級調(diào)優(yōu)能力。
- 掌握數(shù)據(jù)治理工具(如Apache Atlas)、實(shí)時計算框架(如Storm/Kafka Streams)及容器化技術(shù)(Docker/Kubernetes)。
- 熟悉數(shù)據(jù)安全標(biāo)準(zhǔn)(如GDPR),具備數(shù)據(jù)脫敏、權(quán)限管理及安全審計實(shí)施經(jīng)驗(yàn)。
3 、運(yùn)維與問題解決
- 具備全鏈路故障排查能力,熟悉運(yùn)維工具鏈(如Prometheus/Grafana/Zabbix),能快速定位并解決集群性能問題。
- 主導(dǎo)過大數(shù)據(jù)平臺從0到1的建設(shè),有金融、能源等高安全要求行業(yè)經(jīng)驗(yàn)優(yōu)先。
4 、軟技能
- 優(yōu)秀的跨部門溝通能力,能主導(dǎo)技術(shù)方案評審并推動落地,具備團(tuán)隊(duì)管理與技術(shù)培訓(xùn)經(jīng)驗(yàn)。
- 對技術(shù)前沿敏感,持續(xù)關(guān)注AI/機(jī)器學(xué)習(xí)與大數(shù)據(jù)融合趨勢(如TensorFlow在數(shù)據(jù)分析中的應(yīng)用)。
【豐厚福利,團(tuán)隊(duì)全方位關(guān)懷】
周末雙休、住房/通訊/交通/餐費(fèi)補(bǔ)貼、五險一金、補(bǔ)充商業(yè)險、年度體檢、帶薪病假、帶薪年假、節(jié)假日禮品、團(tuán)建基金等。
工作地點(diǎn)
地址:廣州番禺區(qū)廣州-番禺區(qū)海大科學(xué)園2號樓6樓


職位發(fā)布者
滿先生HR
廣東海大集團(tuán)股份有限公司

-
快速消費(fèi)品
-
1000人以上
-
股份制企業(yè)
-
番禺區(qū)番禺大道北555號天安節(jié)能科技園創(chuàng)新大廈213
相似職位