大數據開發工程師的基本職責

大數據開發工程師負責大數據平台各類環境的部署及運維、並參與架構優化、性能優化等工作。下面是本站小編整理的大數據開發工程師的基本職責。

大數據開發工程師的基本職責1

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對衝策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責2

職責：

1、大數據日誌分析系統的設計，選型和開發;

2、配合各業務給予數據支持，對產品和運營數據總結和優化;

3、處理用户海量數據，提取、分析、歸納用户屬性，行為等信息，完成分析結果;

4、發現並指出數據異常情況，分析數據合理性;

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性;

6、大數據基礎架構平台的監控、資源管理、數據流管理;

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗;

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力;

3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;

4、熟悉大數據周邊相關的數據庫系統，關係型數據庫和 NoSQL。

5、掌握 Linux 操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責3

職責：

1、負責數據分析、加工、清理、處理程序的開發;

2、負責數據相關平台的搭建、維護和優化;

3、負責基於Hadoop/Spark/Hive/kafka等分佈式計算平台實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟件及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行數據處理, 並具有SPARK SQL優化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責4

職責:

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分佈式調度、可視化報表等平台的架構與研發;

2、對各種開源框架進行深入的代碼剖析和優化;

3、參與大數據技術方案評審;

4、指導國中級大數據工程師工作;

崗位要求:

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分佈式計算平台研發工作經驗;

2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架;

3. 具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗;

4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的瞭解優先;

5. 工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

大數據開發工程師的基本職責5

職責：

1.參與大數據平台搭建以及項目技術架構。

2.數據分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎紮實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流數據庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用户行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟件，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力