數(shù)據(jù)開發(fā)專家
25000-35000元
北京朝陽區(qū)
應(yīng)屆畢業(yè)生
本科
北京朝陽區(qū)
應(yīng)屆畢業(yè)生
本科
數(shù)據(jù)開發(fā)專家
25000-35000元
北京朝陽區(qū)
應(yīng)屆畢業(yè)生
本科
北京朝陽區(qū)
應(yīng)屆畢業(yè)生
本科
職位描述
該職位還未進行加V認(rèn)證,請仔細(xì)了解后再進行投遞!
1.負(fù)責(zé)基于 DataWorks EMR 集群搭建企業(yè)級數(shù)據(jù)開發(fā)平臺架構(gòu),結(jié)合業(yè)務(wù)場景設(shè)計分層數(shù)據(jù)模型(ODS、DW、DM 層),保障數(shù)據(jù)鏈路的穩(wěn)定性、可擴展性與高效性,支撐業(yè)務(wù)數(shù)據(jù)需求的快速落地。
2.主導(dǎo)大規(guī)模數(shù)據(jù) ETL 任務(wù)開發(fā)與優(yōu)化,基于 DataWorks 調(diào)度系統(tǒng)配置復(fù)雜任務(wù)依賴,運用 Hive、Spark、Flink 等計算引擎處理 TB/PB 級數(shù)據(jù),解決數(shù)據(jù)傾斜、任務(wù)延遲等性能問題,提升數(shù)據(jù)處理效率 30% 以上。
3.參與數(shù)據(jù)質(zhì)量體系建設(shè),基于 DataWorks 數(shù)據(jù)質(zhì)量模塊設(shè)計監(jiān)控規(guī)則(如空值校驗、一致性校驗、業(yè)務(wù)邏輯校驗),定期輸出數(shù)據(jù)質(zhì)量報告,推動數(shù)據(jù)問題溯源與整改,確保數(shù)據(jù)準(zhǔn)確率達 99.9% 以上。
4.負(fù)責(zé) DataWorks EMR 集群與上下游系統(tǒng)的集成對接,包括業(yè)務(wù)數(shù)據(jù)庫(MySQL、Oracle 等)的數(shù)據(jù)同步(通過 DataX、Sqoop 等工具)、數(shù)據(jù)服務(wù)接口開發(fā)(對接 API 網(wǎng)關(guān)),保障數(shù)據(jù)流轉(zhuǎn)的完整性與實時性。
5.主導(dǎo)數(shù)據(jù)開發(fā)領(lǐng)域技術(shù)難題攻關(guān),例如實時數(shù)據(jù)處理場景下的流批一體架構(gòu)設(shè)計、DataWorks 權(quán)限精細(xì)化管控方案落地、EMR 集群資源動態(tài)調(diào)度優(yōu)化等,形成可復(fù)用的技術(shù)方案與最佳實踐。
6.參與數(shù)據(jù)開發(fā)規(guī)范制定與推廣,包括 SQL 編碼規(guī)范、ETL 任務(wù)開發(fā)流程、DataWorks 項目管理規(guī)范等,組織技術(shù)培訓(xùn)與代碼 Review,提升團隊整體數(shù)據(jù)開發(fā)能力與協(xié)作效率。
7.支撐業(yè)務(wù)部門數(shù)據(jù)需求,深入理解業(yè)務(wù)邏輯(如電商交易、用戶行為分析、風(fēng)控模型等),提供定制化數(shù)據(jù)開發(fā)解決方案,輸出數(shù)據(jù)報表、數(shù)據(jù)接口等成果,助力業(yè)務(wù)決策與產(chǎn)品優(yōu)化。
8.負(fù)責(zé)數(shù)據(jù)開發(fā)相關(guān)系統(tǒng)的運維與應(yīng)急響應(yīng),監(jiān)控 DataWorks 任務(wù)運行狀態(tài)、EMR 集群資源使用率,制定應(yīng)急預(yù)案,快速解決任務(wù)失敗、集群故障等問題,保障數(shù)據(jù)服務(wù)可用性達 99.99%。
1.本科及以上學(xué)歷,計算機、大數(shù)據(jù)、統(tǒng)計學(xué)等相關(guān)專業(yè),5 年以上數(shù)據(jù)開發(fā)經(jīng)驗,其中至少 3 年基于阿里云 DataWorks EMR 集群的實戰(zhàn)經(jīng)驗,有大型互聯(lián)網(wǎng)、金融或零售行業(yè)數(shù)據(jù)平臺搭建經(jīng)驗者優(yōu)先。
2.精通 DataWorks 全流程操作,包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度配置、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)等模塊,能獨立完成復(fù)雜數(shù)據(jù)項目從設(shè)計到上線的全生命周期管理。
3.熟練掌握 EMR 集群常用組件(Hadoop、Hive、Spark、Flink、Hologres等)的原理與使用,能基于業(yè)務(wù)需求選擇合適的計算引擎,具備組件性能調(diào)優(yōu)與故障排查能力。
4.精通 SQL 語言(包括復(fù)雜查詢、窗口函數(shù)、存儲過程),熟練使用 Python/Scala 編寫數(shù)據(jù)處理腳本,具備基于 Flink/Spark Streaming 開發(fā)實時數(shù)據(jù) pipelines 的經(jīng)驗,能處理高并發(fā)、低延遲的數(shù)據(jù)場景。
5.深入理解數(shù)據(jù)倉庫理論(如星型模型、雪花模型、緩慢變化維度),具備從 0 到 1 搭建企業(yè)級數(shù)據(jù)倉庫的經(jīng)驗,能結(jié)合業(yè)務(wù)特點設(shè)計合理的數(shù)據(jù)分層與模型,保障數(shù)據(jù)的易用性與可維護性。
6.具備較強的技術(shù)方案設(shè)計能力與問題解決能力,能獨立分析并解決數(shù)據(jù)開發(fā)過程中的復(fù)雜技術(shù)問題(如數(shù)據(jù)一致性問題、大規(guī)模數(shù)據(jù)處理性能瓶頸),有技術(shù)難點攻關(guān)成功案例者優(yōu)先。
7.具備良好的團隊協(xié)作與溝通能力,能清晰理解業(yè)務(wù)需求并轉(zhuǎn)化為技術(shù)方案,主動推動跨部門協(xié)作(如與業(yè)務(wù)部門、運維部門對接),同時具備指導(dǎo)初級數(shù)據(jù)開發(fā)工程師的能力。
8.對數(shù)據(jù)安全與合規(guī)有深刻認(rèn)知,熟悉數(shù)據(jù)脫敏、權(quán)限管控、數(shù)據(jù)備份等相關(guān)規(guī)范,能在數(shù)據(jù)開發(fā)過程中落實數(shù)據(jù)安全要求,有參與過數(shù)據(jù)安全項目或持有相關(guān)認(rèn)證(如阿里云大數(shù)據(jù)認(rèn)證)者優(yōu)先。
工作地點
地址:北京朝陽區(qū)北京-朝陽區(qū)仰山公園朝陽仰山公園
??
點擊查看地圖
詳細(xì)位置,可以參考上方地址信息
以擔(dān)保或任何理由索取財物,扣押證照,均涉嫌違法,請?zhí)岣呔?
職位發(fā)布者
HR
天九共享控股集團有限公司

-
基金·證券·期貨·投資
-
1000人以上
-
國內(nèi)上市公司
-
秋實街秀菊園7號樓
相似職位
-
市場開拓崗 面議北京 應(yīng)屆畢業(yè)生 學(xué)歷不限中電科技國際貿(mào)易有限公司
-
班主任 7000-12000元北京 應(yīng)屆畢業(yè)生 大專北京健華體育文化發(fā)展有限公司
-
采購工程師(電子電氣物料) 面議北京 應(yīng)屆畢業(yè)生 學(xué)歷不限北京索英電氣技術(shù)股份有限公司
-
??月入8500電子廠 包吃住 可日周月結(jié) 當(dāng)天上崗 面議北京 應(yīng)屆畢業(yè)生 學(xué)歷不限北京山水眾和企業(yè)管理有限公司
-
月入8500 長白班 可日周月結(jié) 當(dāng)天上崗 面議北京 應(yīng)屆畢業(yè)生 學(xué)歷不限北京山水眾和企業(yè)管理有限公司
-
切蔬菜/裝盒長白班大齡工 管吃住過年雙薪 面議北京 應(yīng)屆畢業(yè)生 學(xué)歷不限北京山水眾和企業(yè)管理有限公司
2025-12-08 17:14:08
人關(guān)注
下載APP
關(guān)注今日招聘微信服務(wù)號