當前位置:萬佳範文網 >

文祕 >崗位職責 >

數據倉庫工程師的主要職責

數據倉庫工程師的主要職責

數據倉庫工程師負責數據質量問題的分析、跟進、解決,進行數據質量監測、校驗和提升。以下是本站小編整理的數據倉庫工程師的主要職責。

數據倉庫工程師的主要職責

數據倉庫工程師的主要職責1

職責:

1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市

2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。

3.負責數據倉庫平台相關數據管理工作,如研發規範、質量規範、保障規範的制定與推動實施落地

4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片

任職資格:

1. 本科或碩士以上學歷,計算機工程相關專業

2. 熟悉大數據相關技術能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數倉Hive建設和軟件架構,較強的數據抽象能力

3.精通SQL,具備海量數據處理和Hive/Spark性能調優經驗,3年以上大規模分佈式數據倉庫建設經驗

4.熟練使用Druid/Kylin之一進行數據挖掘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,瞭解腳本語言,如Python、Shell等

5.強烈的責任心,工作態度積極主動,有較好的團隊精神和溝通能力,工作細緻認真

數據倉庫工程師的主要職責2

職責:

1、負責ETL開發、作業調度和數據平台建設

2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的數據倉庫

3、設計並研發BI分析相關的數據產品

4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘

任職要求

1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗

2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗

3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗

4、邏輯清晰,對數據敏感,深入瞭解業務,具備自己獨特的想法並能提出合理的建議

數據倉庫工程師的主要職責3

職責:

1、負責制定數據倉庫平台技術體系架構、數據架構及規範;

2、負責設計和實施公司業務數據的實時/離線數據ETL架構方案;

3、負責調度架構設計與開發;

4、負責數據倉庫平台運維以及日常數據運營等管理;

5、負責關鍵技術攻關;

任職要求:

1、5年以上數據倉庫項目開發經驗,參與過數據倉庫架構設計,對ETL開發流程、調度架構有深入理解;

2、精通mysql、 oralce 、greenplum等至少一種數據庫,豐富的SQL性能調優經驗;

3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;

4、熟悉數據治理理論,數據質量、元數據管理流程和方法;

5、瞭解Hadoop/Hive/HBase/Spark/Storm等技術及其生態圈;

6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業精神;

數據倉庫工程師的主要職責4

職責:

1.參與傳統數倉和大數據數倉日常開發工作;

2.參與大數據倉庫設計、規劃和開發;

3.參與日常工作的優化,提出建設性意見;

4.負責管理項目,負責板塊內的資源協調、進度管理、交付管理;

5.參與數據倉庫、數據集市體系架構的設計、規劃與開發, 參與大數據、ETL開發,sql性能優化。

任職要求:

1.全日制本科,計算機等相關專業。3年以上數倉開發經驗,有銀行、金融從業經驗者優先。

2.2年以上項目管理經驗,具備PMP證書優先.

3.熟悉oracle/hive/spark,熟悉數據處理和性能優化,有UDF自定義函數、MR開發經驗優先;

4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語言。

數據倉庫工程師的主要職責5

職責:

1.建設公司級數據倉庫,並根據業務變化持續迭代和優化;

2.對業務數據進行梳理和抽象,建設數據倉庫的數據模型;

3.對業務數據進行採集、清洗、轉換和存儲;

4.支撐BI、用户數據、用户運營、用户畫像、房源數據、推薦系統等核心數據平台產品;

5.研究大數據前沿技術,不斷持續優化大數據平台,為業務提供價值。

任職資格:

1.本科及以上計算機、統計學、數據庫、機器學習等相關專業,5年以上數據相關工作;

2.對業務數據有敏鋭的理解能力,並能快速梳理和分析業務數據;

3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java(主要開發語言)、Python編程非常熟悉;

4.熟悉常用的ETL技術和原則;精通數據倉庫數據庫設計規範和實操;

5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平台者優先;

6.具有較強的分析和解決問題的能力,良好的學習能力和團隊合作精神,追求價值實現,認同目標管理和敏捷。

  • 文章版權屬於文章作者所有,轉載請註明 https://wjfww.com/wenmi/gangwei/mrdzy0.html
專題