當前位置:萬佳範文網 >

文祕 >崗位職責 >

大資料運維工程師崗位的基本職責描述(通用20篇)

大資料運維工程師崗位的基本職責描述(通用20篇)

大資料運維工程師崗位的基本職責描述 篇1

職責:

大資料運維工程師崗位的基本職責描述(通用20篇)

1、負責維護伺服器的執行,包括巡檢、故障排除、資料備份等業務,保證伺服器高質量、高效率執行狀態;

2、負責伺服器漏洞整改及補丁升級;

3、負責hadoop運維相關工作;

4、負責大資料平臺的日常部署、升級、擴容、遷移;

5、負責高併發,大儲存和實時流的Hadoop/spark大資料平臺規劃,運維,監控和優化工作。

任職資格

1、2年左右伺服器運維經驗;

2、對linux基礎運維命令熟悉,shell,python至少精通一種,如會scala語言可優先考慮;

3、熟悉Linux的維護和管理,熟悉bat及Shell指令碼開發,能看懂Python/Scala優先;

4、做過大規模hadoop叢集優先;

5、大資料專案:包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大資料生態的平臺搭建,監控,運維,調優、生產環境hadoop叢集trouble shooting 、hadoop版本升級管理及優化支援。

大資料運維工程師崗位的基本職責描述 篇2

職責:

1.負責大資料業務叢集的運維工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大資料生態圈元件)確保高可用性。

2.負責叢集容量規劃、擴容及效能優化;

3.參入建設大規模分散式叢集的運維、監控和管理平臺;

4.參與業務架構設計,在設計階段給出可運維性改進建議;

5.深入研究大資料業務相關運維技術,持續優化叢集服務架構,探索新的大資料運維技及發展方向。

任職要求:

1.三年及以上大資料運維工作經驗,熟悉hadoop、hbase、hive、Solr、ES等分散式相關技術,熟悉原始碼尤佳,至少掌握java/python/shell中的一種語言。

2.瞭解大資料平臺應用架構,具備常見問題的基本分析和解決能力。

3.熟悉Linux操作系統的配置、管理及優化,能夠獨立排查及解決作業系統層面的問題;

4.熟悉nginx、tomcat等web應用及中介軟體的使用和配置

5.強烈的責任心和使命感,執行力強,富有團隊合作精神;

6.對大資料方向運維有很高的熱情和興趣,能主動學習瞭解相關知識;

大資料運維工程師崗位的基本職責描述 篇3

職責

1、維護基於Linux的系統和相應的元件;

2、維護Hadoop叢集,包括hdfs、hive、sqoop、kafka等核心生態系統,確保叢集執行平穩;

3、基於實踐,根據業務需求設計和優化Hadoop生態系統;

4、設計和維護Hadoop相關基礎設施的監控;

5、維護技術檔案;

6、根據業務需求設計和安裝新的生態系統或技術元件,並制定最終解決方案。

任職資格

1、本科及以上,資訊科技或相關專業;

2、2年以上企業Linux系統和Hadoop經驗;

3、Hadoop生態系統的經驗和知識(必須具備:HDFS, Yarn, Hive, HUE;傾向具備:MapReduce、Spark、Kafka、Logstash、Flume);

3、較強的事故分析和故障排除能力,較強的shell指令碼編寫能力;

4、瞭解HA機制者優先;有ITIL知識者優先;

5、有跨國工作經驗者優先;

6、願意學習新事物,解決問題。

大資料運維工程師崗位的基本職責描述 篇4

職責:

1、負責大資料基礎架構平臺(Hadoop/Spark/MPP DB)的自動部署;

2、負責線上資料平臺的運維,保障服務的穩定性和可用性;

3、參與超大規模資料快速查詢系統的架構設計和開發;

4、研究大資料前沿技術,改進現有系統的服務和運維架構,提升系統的運維效率。

任職要求:

1. 熟悉linux shell及SQL語言

2. 瞭解Hadoop等分散式技術,資料倉庫技術;

3. 熟悉資料倉庫資料流監控、故障自動化定位及運維;

4. 強烈的責任心與求知慾,願意學習新技術並能快速應用;

5. 有較強的書面與口頭溝通表達能力,獨立分析、解決問題的能力;

6、做事認真負責,自學能力較強。

大資料運維工程師崗位的基本職責描述 篇5

職責:

1、負責雲平臺等基礎環境規劃及建設,虛擬化等技術實施;

2、負責機房物理裝置的日常巡檢,對雲平臺及大資料執行環境的日常維護,保證執行環境的安全和穩定,對突發事件進行快速處理和恢復;

3、負責Hadoop叢集的部署及日常維護,熟悉Hadoop生態圈元件的配置與調優;

4、負責硬體裝置和系統軟體購買採購數的擬定,以及運維相關技術文件的整理和維護。

任職要求:

1、優先,30歲以下,計算機相關專業,統招本科及以上學歷,3年以上中、大型雲平臺伺服器運維經驗。

2、具備基本的機房建設及管理能力,能對機房內伺服器、交換機、路由器等物理裝置巡檢維護資料備份及恢復。

3、熟悉TCP/IP協議,熟練掌握CISCO路由器、防火牆、交換機配置,具備一定的網路規劃和組網技術能力,負責VLan及子網劃分,提供內外網及VPN連線等網路接入方式;

4、熟悉KVM/Docker等虛擬化技術,及基於VMWare/OpenStack雲平臺的搭建及運維;

5、有豐富的Hadoop生態系統運維經驗,瞭解Hadoop、STorm、Spark、Kafka、zookeeper這些元件的原理,具備部署、實施、維護hadoop叢集及相關元件的能力。

6、熟悉Zabbix、Nagios等開源運維監控系統,熟悉通過LVS/Keepalived/Hearbeat技術實現負載均衡,瞭解CDN技術。

7、有中大型雲平臺數據中心容災建設方案(一城兩中心、兩地三中心)實施經驗者優先;有思科認證(CCNA/CCNP/CCIE)證書者優先。

8、為人正直,有責任感,工作認真細心。

大資料運維工程師崗位的基本職責描述 篇6

職責:

1. 公司內部IT相關網路裝置,伺服器的管理和運維,保證系統正常運轉;

2. 伺服器,虛擬機器,應用程式資料的備份、還原以及資料同步;

3. 負責搭建各系統測試環境,組織專案實施;

4. 負責私有云虛擬化平臺及虛擬化伺服器管理。

5. 撰寫伺服器、網路裝置,應用程式操作說明、配置文件,GMP相關的計算機驗證工作等 。

任職要求:

1. 計算機或相關專業, 全日制本科及以上學歷;

2. 具有 2年以上IT系統運維,專案實施相關經驗;

3. 精通windows server 20xx、20xx作業系統,熟練linux作業系統;

4. 能夠對SQL SERVER/ORACLE數所庫進行日常維護;

5. 具有較強的網路安全意識、較強的資訊保安和保密意識;

6. 善於交流和溝通,具有良好的書面和語言表達能力。

大資料運維工程師崗位的基本職責描述 篇7

職責:

1、參與專案需求的調研、討論,提出優化建議;

2、負責對接專案方開展專案的研發、實施,確保專案按時保質完成;

3、負責對內開展系統相關的培訓工作;

4、及時響應並處理系統故障,保障系統的穩定執行;

5、負責公司的桌面運維工作;

6、完成領導交辦的其他工作。

任職要求:

1、計算機或相關專業的全日制本科及以上學歷;

2、1年及以上計算機軟體的工作經驗或優秀的應屆畢業生,有承擔軟體專案經理工作經驗者優先,有融資租賃行業經驗者優先;

3、精通j2ee平臺(webshpere,weblogic等),瞭解SSO,精通B/S體系架構下的應用開發技術;熟悉主流網路裝置的安裝和除錯,熟悉網路結構、伺服器、Oracel資料庫等技術;熟悉CMM軟體開發管理過程,有良好的程式設計規範及開發技能;

4、具有良好的職業道德,較強的溝通協調及語言表達能力;

5、工作認真、細緻、有責任心,待人熱情有耐心。

大資料運維工程師崗位的基本職責描述 篇8

職責:

1. 負責各區塊鏈節點的搭建部署。

2. 負責運維開發體系規劃,架構設計

3. 負責基礎設施運維平臺系統設計和開發,(包括基礎設施管理、構建釋出、配置管理、監控告警等系統);

4. 推進自動化運維體系建設,提升運維工作效率。

5. 提供高效區塊鏈節點服務。

任職要求:

1. 計算機相關專業,3-5年以上的工作經驗。(大型網際網路企業背景優先);

2. 有實際運維工作經驗,熟悉Saltstack/Puppet/confd/ansible等自動化運維、配置管理工具;

3. 掌握shell、python指令碼語言,並主導或參與過自動化運維平臺專案的開發;

4. 瞭解區塊鏈(btc,eth,eos等)技術,原理,編譯和搭建部署

5. 有亞馬遜平臺使用經驗。

6. 有高度網路安全防範意識。

7. 有較強的團隊協作能力,學習能力,溝通協調能力,並能自我驅動.

大資料運維工程師崗位的基本職責描述 篇9

職責:

1、負責資料中心伺服器作業系統日常管理與運維;

2、負責資料中心機房環境的日常巡檢與維護;

3、負責對資料中心伺服器、儲存日常運維;

4、負責管理與維護資料中心運維管理平臺;

5、負責資料中心網路安全與網路運維;

6、協助對資料中心建設進行規劃設計與實施;

任職資格:

1、熟悉Linux伺服器作業系統體系架構與日常運維管理;

2、熟悉Vmware虛擬化架構,熟悉Vmware虛擬化平臺日常管理與運維;

3、熟悉IBM(聯想)、DELL伺服器體系架構;

4、熟悉Zabbix、Nginx等相關應用服務;

5、對WindowsAD域、DFS、DHCP等應用相應工作經驗;

6、瞭解IBM、EMC、日立儲存的日常管理與維護;

7、有2年以上資料中心伺服器等裝置日常管理和運維經驗;

8、瞭解OSI七層模型和TCP/IP四層模型工作原理;

9、有較強的學習能力和語言表達能力;

10、具備一定的技術文件編寫能力。

大資料運維工程師崗位的基本職責描述 篇10

職責:

1、負責公司各業務線伺服器日常運維工作;

2、參與伺服器網路架構設計,制定公司的安全方案和規範;

3、負責專案伺服器安裝除錯,跟蹤、測試網路專案實施過程中的問題,完成專案實施方案的編寫及確認;

4、協助完善運維環境的安全建設和安全管理;

5、負責伺服器網路攻擊處理,及安全防護措施改進等;

任職要求:

1、211本科及以上,1年以上同崗位工作經驗;

2、深入理解Linux系統,運維體系結構,精於容量規劃、架構設計、效能優化,熟悉指令碼語言,如Python, Shell等;

3、對網站自動化運維有濃厚興趣,有大型網站自動化運維和抗惡意攻擊經驗者優先;

4、熟悉主流雲計算平臺,如阿里雲、AWS等;

5、較強的網路安全意識,對資訊保安技術(如:攻防、IDS、遠端掃描等技術)有一定了解,能夠熟練搭建有效的安全防護、監測工具系統;

6、具有大型網際網路公司、大型金融機構運維工作經驗,參與過電商、門戶、社交等業務線上運維者優先;

7、1年以上中大規模叢集環境下的Hadoop/Spark叢集相關運維管理經驗,熟悉基於Hadoop的大資料平臺應用開發及調優,擁有Hadoop/Spark等大資料開源社群開發經驗者優先;

大資料運維工程師崗位的基本職責描述 篇11

職責:

1、負責伺服器的配置、維護、監控、調優,故障排除等。

2、運維自動化及運維指令碼開發。

3、高可用性伺服器系統部署方案的制定及實施與監控。

4、及時響應並處理線上故障。

5、推動及開發高效的自動化運維、管理工具,提升運維工作效率。

任職要求:

1、大學專科以上學歷,有2年及以上網際網路公司運維方面經驗。

2、高度責任感,性格沉穩,心思縝密,有耐心,能積極應對壓力,能接受並完成高重複性的事情。

3、熟練使用Linux和Mysql,熟悉nginx、tomcat、redis、mq、git的安裝部署和優化。

4、至少掌握一種自動化運維工具(ansible、puppet、saltstack)。

5、熟悉TCP/IP、HTTP等協議,有良好的網路、資料傳輸、安全、計算機體系結構方面的知識。

6、高度的責任感,較強的故障分析及排查能力,善於在工作中學習,能承受工作壓力。

7、認同DevOps文化,積極瞭解和學習自動化方式處理各種問題。

大資料運維工程師崗位的基本職責描述 篇12

職責:

1、負責應用系統的效能分析與架構優化,不斷提高系統執行效率。

2、協同開發,測試,提高線上產品執行質量。

3、負責突發事件管理,問題跟蹤與管理;能夠運用主機監控,日誌分析等工具進行復雜問題定位。

4、主動發現生產環境的問題和隱患,通過自動化運維工具來降低維護成本。

5、總結工作中遇到的問題,探索、完善運維方法、流程、文件,提高運維的效率和效果。

6、負責運維體系及資訊保安制度建立,對網路安全、資料安全措施制定方案。

7、當發生資訊保安事件時,快速進行事件的分析、定位及處置,確保事件得到有效處置。

8、Mysql或Oracle資料庫日常管理,對資料備份及恢復。

9、負責系統容災規劃及搭建。

任職要求:

1、大專及以上學歷, 3年以上相關工作經驗。

2、熟悉Nginx,Redis,Tomcat,fpm, nodejs,等基礎元件及配置。

3、熟悉Docker容器技術及相關的作業系統基礎設施(檔案系統,網路,cgroups等), 熟悉微服務架構。

4、熟悉kubernetes相關技術及原理,或有其他雲平臺工作經驗。

5、系統工程能力紮實過硬,深入瞭解系統(linux)及上下游鏈路服務(網路/io等),具有很強技術敏感度和故障排查經驗。

6、熟悉Shell或python開發,能夠根據需要快速編寫各類伺服器維護指令碼。

7、熟悉Linux系統高可用叢集的部署及原理(LVS、Haproxy、keepalived等)。

8、熟悉jenkins/ansible 等自動化部署、運維工具的使用,根據不同業務進行自動化程式碼釋出,應用部署及運維。

9、熟悉TCP/IP和http協議,熟悉iptables原理及應用;熟悉網路安全知識,熟悉路由器,防火強配置。

10、熟悉雲端計算產品、有國內主流雲平臺如阿里雲,騰訊雲,金山雲等雲平臺之一的運維經驗者優先。

11、掌握WEB安全滲透和漏洞挖掘,瞭解漏洞的內在原理、檢測方法、利用手段以及對應解決方案,熟悉者優先。

12、熟悉常見黑客攻防方法,熟悉者優先。

13、對生產環境的資料庫進行全量和增量備份,在系統資料庫出現異常時能夠快速的進行資料恢復。

14、生產環境系統出現不可用時,系統可以自動切換到容災環境,對使用者無感知。

大資料運維工程師崗位的基本職責描述 篇13

職責:

1、負責軟體專案或整合專案的實施及售後維護工作,處理伺服器系統執行過程中的問題;

2、配合銷售人員進行售前諮詢、技術支援,引導使用者需求並提出諮詢建議方案,負責基本客戶需求調研、介紹演示等工作;

3、熟悉應用系統底層架構,能通過深度隱患排查對應用架構、資料庫架構或配置等進行優化;

4、有一定文件功底,能編寫各類專項工作文件、技術文件;

5、反饋專案中遇到的問題,並以文件形式提交歸檔 ,積極與客戶、專案管理人員溝通協調、彙報軟體系統執行情況,跟蹤執行狀態及客戶滿意度。

任職要求:

1、專科及以上學歷,計算機或相關專業。

2、具有良好的溝通協調能力和團隊合作精神,能承受壓力。

3、熟練掌握伺服器Windows/Linu系統安裝及系統日常運維、網路基礎環境配置及系統安全策略的配置,獨立操作伺服器硬raid初始化除錯,具備中介軟體(iis、redis、tomcat等)的安裝配置維護及優化經驗,包括中介軟體叢集的安裝配置和運維;

4、熟練使用資料庫操作如Oracle、MySQL、SqlServer,熟悉sql語句、增刪改查、聯合查詢、索引、表空間、表分割槽、儲存過程等知識;

5、具備2年或以上整合專案軟體實施、軟體開發經驗,智慧交通行業經驗者優先。

大資料運維工程師崗位的基本職責描述 篇14

職責:

1. 負責Linux伺服器、Windows伺服器,MySQL資料庫伺服器日常運維、優化等工作

2. 負責處理系統日常變更,控制突發情況,對疑難問題進行分析並解決,以及各類故障和事務的應急響應和技術支援

3. 監控伺服器的執行狀態、系統性能;保障產品伺服器的穩定性、可用性以及安全性

4. 負責伺服器及裝置的安裝、除錯、維護、監控、備份等日常工作

5. 負責對伺服器效能監測資料以及故障日誌等的分析,協助研發進行相關問題查詢

6.負責伺服器日常管理維護,對系統進行效能分析、優化、問題跟蹤

7.負責辦公裝置的日常維護及管理技術檔案維護

任職要求:

1. 計算機相關專業,本科及以上學歷.有2-3年以上伺服器運維經驗

2. 2年以上Linux系統運維工作經驗,熟悉Linux的常用服務配置,並能夠快速部署、配置

3. 熟悉linux平臺常用伺服器的部署,Apache Nginx Rync vsftp PHP MySQL Memcache Redis等,並且對伺服器的安全優化和效能調優有一定的研究

4. 熟悉MySQLRedisMongoDB等主流資料庫的基本應用、熟練編寫sql語句、有實際sql調優經驗優先,熟悉web中介軟體如WebLogic、Tomcat、Nginx等,對MySQL和web的高可用架構有一定的研究。

5. 對各類常用網路或系統檢測、分析工具有一定的瞭解(nagioscactizabbix)

6. 熟悉ShellPerlPython程式設計(至少一種),熟練使用指令碼來完成日常系統運維工作

7. 熟悉公有云,如阿里雲、AWS等。

8. 對網路安全和應用安全有一定的認知者優先

9. 要有耐心的工作態度,有很強的責任心,良好的溝通技巧和協調能力

10. 具有嚴密的邏輯思維能力,有進取心、團隊協作精神,良好的溝通表達能力

大資料運維工程師崗位的基本職責描述 篇15

職責:

1、機房伺服器監控

2、運維平臺搭建

3、為其他團隊提供伺服器資源

4、伺服器異常處理

5、持續改進提升運維團隊效率

崗位技能:

1、Linux/Windows常用服務配置,Python或Shell;

2、VMware/Docker/OpenStack/ELK至少會其中某一平臺實施;

3、本科及以上學歷,三年及以上相關工作經驗。

大資料運維工程師崗位的基本職責描述 篇16

職責:

1)負責桌面計算機軟硬體(計算機、印表機、掃描器等)

2)負責公司桌面計算機的安裝、配置、升級、執行維護與管理,保障桌面系統正常執行,滿足日常工作的需要;

3)負責常見網路故障的排查和處理;

4)負責日常視訊會議的除錯和開會保障工作;

5)負責桌面應用服務管理、加域、各種PC許可權管理;

6)負責對公司常用辦公應用系統(如OA系統、郵箱、浪潮、手機OA等)的安裝、配置、維護工作;

7)負責辦公環境(辦公區、會議室等)的例行巡檢;

8)負責撰寫相關操作手冊文件

9)完成公司領導安排其他相關任務。

任職要求:

1)大學本科及以上學歷;

2)熟 練 掌 握 windows xp 、 windows7 、 windows10等作業系統,能夠熟練安裝、除錯以上作業系統及相關軟體。

3)熟練掌握計算機軟硬體安裝、除錯、維護;

4)熟練掌握影印機、印表機、掃描器及家用路由器的安裝、除錯、維護;

5)掌握word,excel,PPT、PDF等辦公軟體的操作使用和故障處理;

6)掌握office的軟體中“巨集”的編寫和使用者優先;

7)掌握TCP/IP協議。熟悉IT機房裝置上下架,綜合佈線,有基本的網路運維經驗者優先;

8)做事耐心細緻,工作敬業,責任心強,組織紀律好,具有良好的溝通能力、理解能力、學習能力和團隊合作精神。

大資料運維工程師崗位的基本職責描述 篇17

職責:

1、負責系統運維,解答使用者疑問,處理異常;

2、負責系統使用者操作培訓;

3、負責收集並統計使用者系統需求及初步溝通及分析;

4、負責系統資料庫的基本維護檢查備份。

任職要求:

1、計算機或資訊化管理等專業本科及以上學歷;

2、熟悉SQL Server/Postgresql資料庫,熟練掌握SQL 語句的運用;

3、有一定軟體開發語言基礎,熟悉C#語言者優先;

4、熟悉製造企業的生產流程,熟悉鞋服制造企業生產流程者優先;

5、抗壓能力強;

6、良好的溝通及理解能力。

大資料運維工程師崗位的基本職責描述 篇18

職責:

1、協助計算機相關軟、硬體的故障診斷,排錯和升級工作;

2、協助外設裝置維護:印表機、傳真機、影印機裝置維護工作;

3、現場緊急事件支援與協助;

4、完成上級交辦的臨時事務。

任職要求:

1、大專及以上學歷,計算機相關專業;

2、具備基本的計算機硬體、網路配置等相關知識;

3、能對常見的電腦終端故障進行快速定位與排障;

4、具備良好溝通表達能力及團隊合作能力。

大資料運維工程師崗位的基本職責描述 篇19

職責:

1、負責公司各專案Docker與k8s叢集管理、監控及相關業務支撐;

2、負責容器雲平臺的監控、應急響應等,及時定位及解決效能瓶頸和疑難問題;

3、編寫各種運維指令碼,推動業務自動化運維,確保日常部署工具安全高效進行;

4、負責線上系統的監控報警系統的優化和開發,確保更佳準確及時的反映線上系統狀態;

5、和團隊成員共同承擔線上7x24小時服務質量保障工作;

任職要求:

1、熟悉伺服器、儲存、網路等基礎設施的管理和運維工作;

2、熟練使用Linux系統,具有Linux系統安裝配置和系統引數優化經驗,至少熟悉centos和ubuntu。

3、熟悉shell/python指令碼語言,有指令碼的開發經驗;

4、熟悉虛擬化技術,至少熟悉一種虛擬化管理平臺,如vmware、xen、kvm等;

5、熟悉容器化技術,熟悉docker的常用管理命令,熟悉docker的儲存、網路管理方式,熟悉映象倉庫的搭建和管理。

6、熟悉Apache、Nginx、MySQL、Tomcat、Redis、RabbitMQ、ZABBIX等常用服務的安裝、配置、維護、和調優;

7、熟悉Kubernetes、有生產環境kubernetes運維經驗者優先;

8、工作認真嚴謹,責任心強,抗壓能力強;

9、有阿里雲,騰訊雲,華為雲等至少一家公有云使用經驗優先考慮

大資料運維工程師崗位的基本職責描述 篇20

職責:

1、與開發團隊一起構建高可用,高度靈活和高可擴充套件性的系統平臺,參與系統架構設計;

2、及時響應並處理線上故障,快速處理運維事故,保障業務穩定執行;

3、負責運維體系的建立與完善,伺服器管理,應用監控、容災、備份機制,系統調優、安全方案,系統應急處理預案的制定等;

4、負責系統安全和資料安全相關的技術,並協助處理政策相關事務。

任職要求:

1、專科及以上學歷,計算機相關專業;

2、2年以上網際網路行業運維經驗;

3、熟悉Linux環境中nginx/jenkins/elk/mongodb/mysql/redis/kafka/hadoop/spark快取及佇列服務等工具的配置維護,並掌握工作原理;熟練並掌握至少一種指令碼程式語言;熟悉Docker,K8S 等容器技術;熟悉負載均衡技術,叢集技術等;

4、掌握 Zabbix/Promethus至少一種開源監控工具的使用;

5、瞭解網路原理,熟悉 TCP/IP 協議。

  • 文章版權屬於文章作者所有,轉載請註明 https://wjfww.com/zh-tw/wenmi/gangwei/7vyl86.html
專題