大數據開發工程師崗位的主要職責概述

大數據開發工程師負責大數據平台的技術和產品的設計、開發、優化和維護。以下是本站小編整理的大數據開發工程師崗位的主要職責概述。

大數據開發工程師崗位的主要職責概述1

職責：

1、 規劃及建設大數據平台;

2、 負責大數據存儲系統、分佈式計算系統、挖掘算法等設計、研發以及維護、優化工作;

3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

4、 參與項目的系統設計和核心代碼開發，指導和培訓其他工程師;

5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。

崗位要求：

1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發相關經驗;

2、具有非常紮實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

3、算法基礎紮實，熟悉常見的數據結構，瞭解分佈式算法和分佈式系統的技術原理;

4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流雲計算，大數據相關軟件有充分的瞭解，並且有實踐經驗，能解決應用中的複雜問題;

5、熟悉大數據處理相關技術，包括但不限於Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業務中進行定製改造者優先;

7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。

大數據開發工程師崗位的主要職責概述2

職責：

1、參與大數據架構的規劃設計，參與業務建模及數據化運營平台的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;

2、完成基於大數據平台的業務項目的開發、實施和維護工作;

3、負責解決大數據平台建設過程中的技術難點和性能調優工作;

4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;

5、負責高吞吐高可用數據實時和離線採集，高併發的大數據業務架構設計

6、負責研發技術發展方向，新技術領域的探索，引入並驗證數據平台領域新技術，提供系統效能

7、對大數據技術及開源框架充滿熱情，具有鑽研精神，能自我學習。

任職資格：

1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。

2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分佈式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平台經驗者優先;

3、熟悉大數據組件的開發、搭建、維護以及性能優化;

4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關係數據庫和NOSQL數據庫、Linux等相關知識，能夠獨立完成並指導初級開發人員完成大數據相關的技術實現和調優;

5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閲讀源碼跟蹤問題。

6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，並有實際項目開發經驗。

7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發，必須熟悉複雜數據查詢性能調優，包括實時查詢和離線批處理查詢，服務器和生態組件的參數優化。

8、精通高級算法並有與業務結合落地優先;

9、紮實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善於從複雜的數據問題中找到關鍵路徑，並且擅於跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

大數據開發工程師崗位的主要職責概述3

職責：

1、參與大規模數據快速查詢系統的架構設計和開發;

2、大規模數據挖掘和機器學習算法的實現;

3、在線和離線海量數據分析平台的開發;

4、研究大數據前沿技術，提升系統的運維效率;

5、實現大數據基礎架構平台的自動化運維。

【任職要求】：

1、計算機相關專業,具有3年以上大數據開發經驗，熟悉Java,Linux;

2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先

3、熟練地處理數據模型、數據ETL以及存儲管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發者優先;

5、熟悉分佈式系統概念、架構，有大規模分佈式系統設計、實現、部署等經驗;

6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

大數據開發工程師崗位的主要職責概述4

職責：

1、 負責大數據平台架構的整體設計，承擔數據抽取、清洗、轉化等數據處理程序開發;

2、 為業務運營提供技術支持，完成應用系統的搭建、優化、升級工作，保證平台穩定運行;

3、 編寫系統的需求分析、設計、開發和部署文檔等。

崗位要求：

1、碩士及以上學歷，計算機、自動化、通信等相關專業;

2、熟練掌握Java語言，並熟悉Python語言，熟悉分佈式系統架構，有hadoop，spark系統架構經驗;

3、熟悉實時計算框架storm，flink，spark streaming其中之一;

4、熟練使用SQL，熟悉數據庫原理，熟練使用至少一種主流關係型數據庫;

5、熟悉軟件開發流程，能夠根據需求編寫需求、設計、開發手冊等項目過程文檔;

6、具有良好的溝通能力和主動性，抗壓能力強。

大數據開發工程師崗位的主要職責概述5

職責：

1. 對數據進行結構化、標準化處理，對處理流程進行自動化搭建

2. 通過ETL/Cube數據建模，構建基於數據倉庫的分析工具;

3. 參與數據與公司軟件產品及第三軟件的API對接;

4. 搭建與優化，數據採集、處理、可視化流程中所需的框架與模塊開發;

5. 協同內外部力量完成需求的表達與技術攻關。

任職要求：

1. 熟悉數據庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量數據經驗的優先;

3. 熟練使用ETL工具進行數據抽取，清洗，轉換，關聯等操作;

4. 熟練使用Linux操作系統,具備編寫shell的能力;

5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;瞭解過源碼的優先;

6. 具有2年以上數據倉庫(DW)、商務智能(BI)、大數據等方面的軟件或項目開發經驗;

7. 瞭解可視化及BI工具者優先;