大數據運維工程師崗位的基本職責描述
- 崗位職責
- 關注:2.88W次
大數據運維工程師需要定期對所有服務問題進行分析,並對服務效率有影響的問題提供反饋意見,提升服務支撐團隊專業度。以下是本站小編整理的大數據運維工程師崗位的基本職責描述。
大數據運維工程師崗位的基本職責描述1
職責:
1、負責維護服務器的運行,包括巡檢、故障排除、數據備份等業務,保證服務器高質量、高效率運行狀態;
2、負責服務器漏洞整改及補丁升級;
3、負責hadoop運維相關工作;
4、負責大數據平台的日常部署、升級、擴容、遷移;
5、負責高併發,大存儲和實時流的Hadoop/spark大數據平台規劃,運維,監控和優化工作。
任職資格
1、2年左右服務器運維經驗;
2、對linux基礎運維命令熟悉,shell,python至少精通一種,如會scala語言可優先考慮;
3、熟悉Linux的維護和管理,熟悉bat及Shell腳本開發,能看懂Python/Scala優先;
4、做過大規模hadoop集羣優先;
5、大數據項目:包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平台搭建,監控,運維,調優、生產環境hadoop集羣trouble shooting 、hadoop版本升級管理及優化支持。
大數據運維工程師崗位的基本職責描述2
職責:
1、負責雲平台等基礎環境規劃及建設,虛擬化等技術實施;
2、負責機房物理設備的日常巡檢,對雲平台及大數據運行環境的日常維護,保證運行環境的安全和穩定,對突發事件進行快速處理和恢復;
3、負責Hadoop集羣的部署及日常維護,熟悉Hadoop生態圈組件的配置與調優;
4、負責硬件設備和系統軟件購買採購數的擬定,以及運維相關技術文檔的整理和維護。
任職要求:
1、***優先,30歲以下,計算機相關專業,統招本科及以上學歷,3年以上中、大型雲平台服務器運維經驗。
2、具備基本的機房建設及管理能力,能對機房內服務器、交換機、路由器等物理設備巡檢維護數據備份及恢復。
3、熟悉TCP/IP協議,熟練掌握CISCO路由器、防火牆、交換機配置,具備一定的網絡規劃和組網技術能力,負責VLan及子網劃分,提供內外網及VPN連接等網絡接入方式;
4、熟悉KVM/Docker等虛擬化技術,及基於VMWare/OpenStack雲平台的搭建及運維;
5、有豐富的Hadoop生態系統運維經驗,瞭解Hadoop、STorm、Spark、Kafka、zookeeper這些組件的原理,具備部署、實施、維護hadoop集羣及相關組件的能力。
6、熟悉Zabbix、Nagios等開源運維監控系統,熟悉通過LVS/Keepalived/Hearbeat技術實現負載均衡,瞭解CDN技術。
7、有中大型雲平台數據中心容災建設方案(一城兩中心、兩地三中心)實施經驗者優先;有思科認證(CCNA/CCNP/CCIE)證書者優先。
8、為人正直,有責任感,工作認真細心。
大數據運維工程師崗位的基本職責描述3
職責:
1.負責大數據業務集羣的運維工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大數據生態圈組件)確保高可用性。
2.負責集羣容量規劃、擴容及性能優化;
3.參入建設大規模分佈式集羣的運維、監控和管理平台;
4.參與業務架構設計,在設計階段給出可運維性改進建議;
5.深入研究大數據業務相關運維技術,持續優化集羣服務架構,探索新的大數據運維技及發展方向。
任職要求:
1.三年及以上大數據運維工作經驗,熟悉hadoop、hbase、hive、Solr、ES等分佈式相關技術,熟悉源碼尤佳,至少掌握java/python/shell中的一種語言。
2.瞭解大數據平台應用架構,具備常見問題的基本分析和解決能力。
3.熟悉Linux操作系統的配置、管理及優化,能夠獨立排查及解決操作系統層面的問題;
4.熟悉nginx、tomcat等web應用及中間件的使用和配置
5.強烈的責任心和使命感,執行力強,富有團隊合作精神;
6.對大數據方向運維有很高的熱情和興趣,能主動學習瞭解相關知識;
大數據運維工程師崗位的基本職責描述4
職責
1、維護基於Linux的系統和相應的組件;
2、維護Hadoop集羣,包括hdfs、hive、sqoop、kafka等核心生態系統,確保集羣運行平穩;
3、基於***實踐,根據業務需求設計和優化Hadoop生態系統;
4、設計和維護Hadoop相關基礎設施的監控;
5、維護技術文件;
6、根據業務需求設計和安裝新的生態系統或技術組件,並制定最終解決方案。
任職資格
1、本科及以上,信息技術或相關專業;
2、2年以上企業Linux系統和Hadoop經驗;
3、Hadoop生態系統的經驗和知識(必須具備:HDFS, Yarn, Hive, HUE;傾向具備:MapReduce、Spark、Kafka、Logstash、Flume);
3、較強的事故分析和故障排除能力,較強的shell腳本編寫能力;
4、瞭解HA機制者優先;有ITIL知識者優先;
5、有跨國工作經驗者優先;
6、願意學習新事物,解決問題。
大數據運維工程師崗位的基本職責描述5
職責:
1、負責大數據基礎架構平台(Hadoop/Spark/MPP DB)的自動部署;
2、負責線上數據平台的運維,保障服務的穩定性和可用性;
3、參與超大規模數據快速查詢系統的架構設計和開發;
4、研究大數據前沿技術,改進現有系統的服務和運維架構,提升系統的運維效率。
任職要求:
1. 熟悉linux shell及SQL語言
2. 瞭解Hadoop等分佈式技術,數據倉庫技術;
3. 熟悉數據倉庫數據流監控、故障自動化定位及運維;
4. 強烈的責任心與求知慾,願意學習新技術並能快速應用;
5. 有較強的書面與口頭溝通表達能力,獨立分析、解決問題的能力;
6、做事認真負責,自學能力較強。
- 文章版權屬於文章作者所有,轉載請註明 https://wjfww.com/wenmi/gangwei/wxdnn3.html