大數據開發工程師的具體職責

大數據開發工程師負責公司項目應用監測數據，分析軟件大數據平台的代碼開發。下面是本站小編整理的大數據開發工程師的具體職責。

大數據開發工程師的具體職責1

職責:

1、 負責公司大數據平台數據處理工具ETL、流處理平台等建設，功能規劃，平台演進，維護調優等;

2、 結合公司業務特徵，負責公司數據倉庫規劃、數據倉庫建設、數倉管理等;

3、 負責大數據處理技術研究及新技術引進，參與超大規模實時/離線數據計算框架，存儲、查詢、可視化解決方案的設計，研發;

4、 負責公司業務數據倉庫模型建設及全業務數據域打通;

5、 負責BI報表和可視化項目，和客户深度溝通，理解客户的業務挑戰，提供解決方案，制定開發計劃並執行，支持各單位日常數據需求和任務;

任職資格:

1、 熟練掌握關係型數據庫,例如：Oracle、Mysql、Vertica等;熟悉NoSql數據庫，例如HBase、Redis、MongodDB等;具備豐富的數據庫管理和運維調優經驗;

2、 熟悉數據倉庫領域知識和技能者優先，包括但不侷限於：元數據管理、數據開發測試工具與方法、數據質量、主數據管理，數據打通等;

3、 有從事分佈式數據存儲與計算平台應用開發經驗，熟悉Hadoop生態相關技術並有相關實踐經驗着優先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通數據預處理、檢驗、清洗、分析方法，精通各種常用統計檢驗方法;熟練掌握一門或多門編程語言，並有大型項目建設經驗者優先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常運維、搭建常見服務器、定位解決日常問題的能力，具備ETL開發經驗優先;

6、 良好的語言溝通與表達能力，有豐富的數據開發經驗，較強的數據、平台、技術理解能力;

7、 具備數學類、計算機類等相關專業統招本科及以上學歷，具有3年及以上大數據開發工作經驗，有互聯網行業背景優先。

大數據開發工程師的具體職責2

職責：

1、在hadoop平台進行hive/hbase/spark開發;

2、處理公司大數據平台產品的技術工作，包括存儲、處理、分析、挖掘、架構設計、研發工作;

3、熟悉設計、構建和優化基於hadoop/Hbase的存儲平台架構;

4、熟悉整體提升hadoop/Hbase/Storm/Spark集羣的高可用性、高性能、高擴展特性;

5、部門相關工作。

崗位要求：

1、計算機等相關專業大專及以上學歷;

2、3年以上軟件開發經驗，精通Java開發，至少2年以上Hadoop相關開發經驗;

3、熟悉分佈式系統、分佈式計算系統的工作機制，具有大規模數據平台，高併發大型系統，大數據等架構設計和開發經驗;

4、熟悉sqoop、Hive、hbase、spark等大數據生態組件;

5、精通linux shell和sql腳本;

6、有java web開發經驗者優先;

7、良好的團隊精神和溝通能力，很強的邏輯思維能力和學習能力。

大數據開發工程師的具體職責3

職責

1. 負責大數據分析需求設計和開發工作，包括數據存儲、預處理、查詢、統計、實時分析、數據優化及配置等功能;

2. 對大數據分析系統存在的問題進行跟蹤和定位並及時解決;

3. 負責上級交辦的其他相關工作。

崗位要求：

1. 本科以上學歷，2年以上工作經驗;

2. Java基礎紮實，熟練使用Java IDE 進行代碼編寫和調試，熟悉JUnit單元測試框架;

3. 熟悉Linux操作系統，能在Linux上完成開發、調試工作;

4. 熟悉網絡IO、多線程併發編程、集合等基礎框架，精通數據結構和數據算法;

5. 參與過分佈式高性能服務的設計開發過程，有大規模分佈式系統的實踐經驗;

6. 熟悉數據庫操作和使用的基本技能，熟練一種關係型數據庫的使用;

7. 能獨立編寫詳細設計文檔;

8. 有大數據分析工具Hadoop、spark使用開發經驗優先;

9. 具有團隊精神與敬業精神，學習鑽研能力強，具有良好的協調溝通能力。

大數據開發工程師的具體職責4

職責：

1、大數據的分佈式採集與環境搭建和測試;

2、大數據存儲、處理和分析工作;

3、大數據相關產品線的改進和相關核心開發工作;

4、其他大數據相關工作。

任職要求：

1、本科及以上學歷，計算機相關專業;

2、2年以上Java開發及大數據相關開發經驗，java基礎紮實，熟練掌握多線程、集合、緩存、序列化、nio等技術;

3、熟悉Linux環境，熟悉Linux shell/python/perl任一腳本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大數據處理架構，並有1年以上Hadoop相關的實際開發、架構及調優經驗;

5、使用過阿里雲;

6、熟悉架構;

7、具有較好的學習能力、溝通表達能力及團隊合作能力。

大數據開發工程師的具體職責5

職責：

1、本崗位培養方向為證券基金行業數據架構師;

2、輔助大數據架構師制定項目開發流程、規範，輔助數據模型設計人員進行模型設計;

3、輔助技術架構師進行大數據平台調優(業務邏輯角度);

4、負責大數據平台開發，包括數據抽取、轉換和加載;

5、負責控制數據需求、管理項目開發進度，配合QA完成項目質量管理;

職位要求：

1、2年以上證券或者基金行業數據中心、大數據平台建設經驗;

2、具備較強的學習能力，對數據模型和大數據技術有濃厚的興趣;

3、熟練掌握基於ORACLE或MPP數據庫或Hadoop等開發技術;

4、至少掌握一種ETL開發工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的團隊合作精神、公司提供優厚待遇。