大數據運維工程師崗位的工作職責概述

大數據運維工程師需要負責服務過程中問題現象和處理方案的收集撰寫，形成知識庫，並對知識庫進行維護更新。以下是本站小編整理的大數據運維工程師崗位的工作職責概述。

大數據運維工程師崗位的工作職責概述1

職責：

1，負責軟件系統的部署運行;

2、負責業務數據系統接入的規劃和實施;

3，理解行業業務，梳理業務數據模型;

4，完成項目實施過程中各類文檔的編寫、收集、整理、歸檔;

5，與客户保持密切溝通，建立良好的客户關係，保障良好的客户滿意度;

有效的分析和控制客户需求，解決項目實施過程中遇到的質量問題和管理問題。

崗位要求：

1、全日制本科以上學歷，軟件工程、計算機科學相關專業;

2、3年以上的軟件/項目管理實施經驗;

3、熟悉Linux操作，熟練編寫shell/python腳本;

4、瞭解常用開源分佈式系統Hadoop/Spark/Hive/Hbase;

5、熟練使用SQL語句，熟悉ETL工作;

6、熟悉Oracle，mysql等關係型數據庫;

7、具有強烈的責任感與團隊合作精神，出色的溝通及學習能力;

8、有較強的分析問題能力，獨立解決問題能力，能接受在客户公司辦公。

大數據運維工程師崗位的工作職責概述2

職責:

1. 管理公司數據庫，提供高可用、高性能數據庫系統，並保障系統穩定運行。

2. 負責數據庫性能監控與優化，故障處理，數據備份及災難恢復。

3. 負責數據庫自助平台的高可用架構設計和負載均衡的設計和實現。

4. 負責業務系統數據庫管理，包括數據庫日常維護，系統數據安全以及權限管理、故障處理、日常錯誤情況處理等。

5. 負責依據業務需求優化數據存儲結構，負責數據庫系統部署方案的計劃、設計和實施。

6. 負責系統數據庫定期檢查，進行性能分析與調優，充分保證信息系統數據的安全及系統高效運行。

任職資格:

1. 全日制本科及以上學歷，計算機或相關專業

2. 熟悉MySQL實現原理，InnoDB，MyISAM，Memory引擎，熟悉存儲過程和事務。

3. 熟悉數據庫原理、精通數據庫核心參數的設置和調整，有規劃、設計、部署以及數據庫性能優化經驗。

4. 具備數據庫設計、SQL優化能力，能根據業務需求，提供高可用、高性能、可擴展、穩定可靠的數據庫解決方案。

5. 瞭解MongoDB等非關係型數據庫的特點。瞭解Redis，Memcache等內存數據庫及緩存系統的原理及實現。

6. 熟悉Linux操作系統，對主機、存儲、網絡有一定的瞭解, 會使用Shell/Perl/Python中的一門腳本語言。

7. 有Hadoop/Kafka/Spark/ElasticSearch相關經驗的優先考慮。

大數據運維工程師崗位的工作職責概述3

職責：

I、負責Hadoop集羣的安裝部署、維護及調優:

2、負責spark的安裝郵署、維護及調優:

3、負責基於大數據平台開發的應用系統的部署、日常維護、調優和問題處理

4、負責ELK 平台的部署及維護。

技能要求：

1 、2年以上大數據運維工仵經驗;

2、熟悉Hadoop生態圈技術棧及各個組件原理:

⒊、熟練掌握HDFS、Hive、HBase、sρark、sqooρ 等組件，具備部署、維護、調優的能力:

4、熱悉kylin技術原理,有一定的維護經驗優先:

5、掌掇ELK的日常維護技能·有一定的維護.經驗優先:

6、有一定的HQL/sql 性能調優經驗;

7、具備基本的 java、python等語言開發能力優先:

8、有較強的溝通、團隊協作及學習能力。

大數據運維工程師崗位的工作職責概述4

職責：

1、負責公司大數據/Hadoop/hive/hbase/flink等離線實時數據平台運維保障;

2、負責內部大數據自動化運維以及數據化運營平台開發工作;

3、負責Hadoop/Hbase等系統的業務監控、持續交付、應急響應、容量規劃等;

4、深入理解數據平台架構，發現並解決故障及性能瓶頸，打造一流的數據平台;

5、持續的創新和優化能力，提升產品整體質量，改善用户體驗，控制系統成本。

6、善於表達、理解客户數據服務需求，具備數據需求轉化落地能力。

任職要求：

1、大學本科及以上學歷，計算機或者相關專業;

2、深入理解linux系統，運維體系結構，精於容量規劃、性能優化;

3、具備一定的開發能力，精通一門以上腳本語言;(shell/perl/python等)，熟悉java等開發語言一種及以上優先;

4、具備很強的故障排查能力，有很好的技術敏感度和風險識別能力;

5、能夠承受較大的工作壓力，以結果和行動為準則，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理並具備管理，配置，運維經驗;

7、熟悉分佈式系統設計範型，有大規模系統設計和工程實現的瞭解者優先。

8、具有運營商流量數據加工處理經驗者優先。

大數據運維工程師崗位的工作職責概述5

職責：

1. 負責大數據平台的規劃、部署、監控、系統優化及運維等工作，保障系統7*24小時運營;

2. 為線上服務高效穩定運行負責，支撐業務和數據量的快速擴張，發現並能解決重大故障及性能瓶頸;

3. 深入理解系統平台及大數據相關運維技術，持續優化集羣服務架構;

4. 對大數據體系下新技術的調研、應用、對內培訓。

職位要求：

1. 至少3年以上大數據運維經驗， 深入理解Linux系統，運維體系結構;

2. 深度優化HADOOP平台MR作業/計算框架/存儲技術，提升集羣吞吐並降低成本;

3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大數據系統的運維經驗，有開發經驗;

4. 熟悉HADOOP生態，有數據安全相關工作經驗， 並能對平台CPU/MEM/IO/網絡/調度中一個或多個方面的性能調優;

5. 熟練掌握shell/python中的任意一門腳本語言;

6. 強烈責任感、縝密的邏輯思維能力，良好的團隊協作能力，具備良好的項目管理及執行能力;