大資料開發工程師的主要職責(精選22篇)
- 崗位職責
- 關注:7.13K次
大資料開發工程師的主要職責 篇1
職責:
1. 負責機票酒店大資料專案的評估、設計及關鍵模組研發;
2. 參與公司大資料平臺及聯機分析系統的建設;
3. 機器學習演算法討論、評估及演算法的最終編碼實現;
4. 資料平臺開發規範制定,資料建模及核心框架研發;
任職要求:
1. 本科及以上學歷,計算機或數學相關專業,三年以上相關工作經驗;
2. 掌握Java、Python、Scala等 中的一到兩種語言;
3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL資料庫開發和調優;
4. 熟悉資料相關開源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin 等;
5. 對資料結構和機器學習演算法有一定的瞭解;
6. 具有海量資料處理、資料探勘、資料分析相關專案的工作經驗者優先;
7. 有機票酒店等旅遊行業資料開發經驗者優先。
大資料開發工程師的主要職責 篇2
職責:
1、 負責基於Hadoop/Spark平臺架構的開發、設計和佈局 ;
2、 完成系統框架的設計和核心程式碼的編寫;
3、 針對海量的使用者行為資料進行統計、分析與挖掘,不斷提高系統執行效率;
4、 負責對資料進行分析,為專案組提供大資料技術指導及分析手段支撐;
5、 負責大資料平臺的效能監控和持續優化;針對需求提供大資料分析技術解決方案 ;
6、 大資料平臺的運維工作,持續完善大資料平臺,保證穩定性、安全性;
7、 熟練使用大資料ETL資料抽取工具;
8、領導安排的其他工作。
任職資格:
1、 3年網際網路行業開發經驗,計算機或相關專業本科以上學歷;
2、 精通Hadoop大資料平臺架構,具有紮實的Java/Python等開發語言;並可以開發高效可靠的程式碼;
3、 具有較強的資料分析、資料探勘的能力;
4、 熟悉spark、Hive、storm等計算框架者優先,對分散式儲存和計算原理有較深的理解;
5、 嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能;
6、 個性開朗,對技術鑽研好學、邏輯思維能力強,溝通能力優秀,有團隊合作精神。
大資料開發工程師的主要職責 篇3
職責:
1、負責公司大資料平臺建設;
2、根據業務需求,制定資料倉庫和資料分析平臺的實施和持續更新;
3、攻克技術難關,保證大資料系統的穩定執行;
4、完成大資料產品的開發。
職位要求:
1、計算機相關專業全日制專科及以上學歷,大資料相關經驗;
2、熟悉Java或Scala語言,熟悉Spark,Hadoop,Kafka,Hive,HBase,ZooKeeper等大資料相關技術;
3、精通SQL語句並對Redis,Mongodb等NoSQL資料庫有一定經驗;
4、對於高併發、高穩定可用性、效能、大資料處理有過實際專案產品經驗者優先;
5、責任心強,工作踏實,有團隊協作精神,溝通能力強者優先。
大資料開發工程師的主要職責 篇4
職責:
1、負責公司專案應用監測資料,分析軟體大資料平臺的程式碼開發;
2、負責大資料體系架構設計和應用產品的研究;
3、負責大資料平臺及應用場景的構建、部署、測試;
4、編寫軟體研發相關技術文件;
5、編寫產品研發相關任務單計劃,階段性程式碼、技術方案和軟體產品及時提交至配置管理理庫;
6、Spark程式的研發,sqoop指令碼開發和商家使用者行為等離線分析資料;
7、kudu,kylin等技術調研,編寫軟體研發相關技術文件;
8、SUNMI數倉設計架構以及ETL流程開發;
9、建立多維度,多體系的使用者標籤體系以及使用者行為資料庫。
崗位要求 :
1、本科以上學歷,4年以上?工作經驗,2年以上Hadoop平臺的相關研發經驗,具有良好的需求分析,方案設計,架構設計,程式編寫、測試能力;
2、熟悉J2EE或Python平臺開發,有良好的Java或Python語言功底;
3、瞭解Linux/Unix作業系統,瞭解指令碼程式設計(Shell/Python其中一種);
4、具備資料中心資源管理(YARN)、監控(ClouderaManage)、排程(Azkaban)等系統研發經驗者優先,具備分散式系統研發經驗者優先;
5、熟悉hadoop以及其?生態圈系統上的hive、hbase、sqoop、spark、spark-streaming等技
術,懂hadoop原始碼者優先;
6、熟悉Kylin有OLAP平臺設計和開發經驗優先;
7、具有應用大資料技術處理TB級以上資料的專案開發經驗者優先;
8、有較清晰的程式碼編寫規範,邏輯性強,工作態度認真,良好溝通能力和團隊合作精神。
大資料開發工程師的主要職責 篇5
職責:
1.負責公司環保大資料平臺的架構與搭建;
2.負責需求分析,根據客戶應用需求規劃大資料平臺架構;
3.負責將大資料平臺部署至私有伺服器群、私有云或公有云;
4.負責在企業內部進行資料平臺原型開發與資料實時互動、儲存效能測試;
5.負責與資料探勘演算法互動的架構設計與開發。
任職要求:
1.計算機相關專業,全日制本科以上學歷;
2.具有3年以上大資料相關應用開發經驗,有Java開發經驗更佳;
3.至少熟悉一種流行的大資料程式設計框架,如Spark,Storm,Flink等;
4.熟悉大資料生態圈常用技術如RocketMQ,Kafka,Flume,Zookeeper等;
5.熟悉Hadoop安裝、除錯、釋出配置應用,熟悉Linux作業系統更佳;
6.至少熟悉TIDB,MySQL,SQLServer其中一種資料庫;
7.學習能力強,對技術有熱情,關注技術發展方向;
8.具有工業物聯網、智慧型環保專案背景者優先。
大資料開發工程師的主要職責 篇6
職責:
1、負責公司核心系統日常運維以及公共元件的設計、開發和維護;
2、負責開發、完善運維內部系統及輔助系統,提升運維質量及效率;
3、與開發團隊合作,收集與理解需求,提供解決方案,改善DevOps流程;
4、負責公司業務系統的部署架構優化、業務監控、持續交付、應急響應、容量規劃等。
【工作要求】
1、計算機相關專業,本科及以上學歷;
2、熟悉Kubernetes, Docker, RabbitMQ, Zookeeper, Mysql, PostgreSql, Git, Elasticsearch等開源元件的架構及實現;
3、熟練掌握PHP、Python、Go、Shell語言中任意一種;
4、熟悉典型網際網路架構、微服務維護實踐,和常見的分散式系統架構;
5、熟悉 Linux 作業系統原理、TCP/IP、網路程式設計以及常用RPC協議;
大資料開發工程師的主要職責 篇7
職責:
1、具有專案質量管理意識,在專案中主動貫徹執行質量管理規定,熟練使用Git/Junit/Arquillian/Maven(或者其他)進行測試 程式碼的編寫和版本控制,把控專案整體進度,管理JAVA小組日常工作協調。
2、參與系統詳細設計與實現、完整主體功能及相關文件的編寫;
3、負責核心業務的restful、web service等介面的開發,解決開發過程中遇到的技術問題,完成相應的業務功能文件、介面使用文件並及時更新;
4、維護和部署程式到執行環境;
5、參與專案的資料庫設計實現,對資料庫整體架構提出建議;
6、負責對應用程式進行審查,監控和優化系統的效能。
7、完成公司上級領導安排的其它工作內容。
職位要求:
1、3年以上JAVA網際網路專案管理工作經驗,抗壓能力強。
2、瞭解分散式系統的設計和架構,瞭解負載均衡策略實現;
2、精通Java語言開發,JAVA基礎紮實,精通io、多執行緒、集合等基礎框架,熟悉分散式、快取、訊息、搜尋等機制,熟練各種常用開源框架及搭建;(有分散式事務處理相關工作經驗者優先)
3、精通sql語句熟悉mysql以及 mysql 叢集;熟悉Linux下的常用命令;
4、有maven、cas、dubbo、restful相關工作經驗者優先考慮;
大資料開發工程師的主要職責 篇8
職責:
1、利用HTML5相關技術實現移動WEB端功能研發,實現邏輯功能和體驗優化;
2、根據需求,參與底層通訊、資料載入、基礎流程框架、UI元件的開發;
3、依據服務端制定的通訊、資料和檔案結構等技術開發對應模組;
4、完成程式效能的優化。
任職要求:
1、計算機、軟體等相關專業,2年或以上HTML5開發經驗,有百度、谷歌等引擎開發使用經驗;
2、熟悉Javascript、HTML/HTML5/XML、CSS3、Ajax、JQuery、VUE 等;
3、有良好的邏輯思維,積極主動,有強烈的責任心;
4、有網際網路金融開發經驗優先;
5、具備較好的溝通表達能力和團隊合作意識。
大資料開發工程師的主要職責 篇9
1、負責資料倉庫和大資料處理模組的架構設計和開發;
2、負責實現基於Spark框架的分散式計算框架的設計和開發工作;
3、負責Spark技術研究和通用資料平臺的效能調優;
4、負責大資料專案中,基於kafka、flume、spark streaming、Spark SQL等相關技術的海量資料的處理、分析、統計、挖掘工作。
5、熟悉Scala/Java語言,對Scala/Java原理、底層技術有深入研究者優先;
6、有過海量資料系統開發經驗者優先;
7、熟悉Hadoop/Spark生態系統元件的使用,至少有2年以上的Spark開發經驗;
8、寫過推薦系統的優先考慮
大資料開發工程師的主要職責 篇10
職責:
1、專案中資料庫系統的架構設計、開發、優化、安全;
2、根據專案需求設計資料庫表與資料庫結構。
3、資料庫效能優化:表、欄位、位元組規範設計,分庫分表,資料遷移;
4、資料庫規範化文件編寫及管理;
5、服務端的搭建,資料庫儲存和讀取資料介面的編寫。
任職要求:
1、本科以上學歷,計算機或數學相關專業,有紮實的資料庫基礎知識;
2、兩年以上資料庫開發經驗、熟練使用MySQL、SQLServer、Oracle等關係型資料庫;
3、 熟悉LINUX、UNIX作業系統,熟悉java、C#或其他開發語言;
4、精通資料庫基本理論及概念;
5、有大資料開發經驗優先考慮;
6、能承受工作壓力、有良好的團隊合作精神。
大資料開發工程師的主要職責 篇11
職責:
1、協助產品線負責人搭建資料庫,及資料分析、資料庫管理;
2、協助負責後臺系統需求分析和任務模組開發;
3、協助客戶端介面開發測試;
4、介面文件,技術文件以及測試用例文件的編寫。
任職資格:
1、23-28週歲,本科及以上學歷,計算機相關專業;
2、3年或以上同崗位相關工作經驗,有資料中心,資料倉庫建設經驗;
3、3年或以上J2EE開發經驗,有紮實的java基礎;
4、熟悉關係型資料庫(DB2、ORACLE、MYSQL、SQl Server),瞭解NoSQL、快取技術;
5、熟練掌握Spring、SpringMVC、iBatis等開源框架,熟練運用設計模式;
6、對技術有熱情,執行力責任心強且在醫療行業同崗位的優先。
大資料開發工程師的主要職責 篇12
職責:
1、負責PC網站、移動端網站後臺開發;
2、參與相關頁面的Web前後臺架構設計、核心程式碼的編寫;
3、協助測試和釋出系統,準備相關的技術文件,協助解決各種技術問題;
4、進行詳細設計、程式碼開發,配合測試,高質量完成專案;
5、按照專案計劃,按時提交高質量程式碼,完成開發任務。
任職資格:
1.大專以上學歷。參與公司PHP相關產品或專案需求的分析、架構設計與實現。
2.有3年以上PHP實際開發經驗,紮實的php開發功底。
3.精通PHP,至少熟悉Yii,YAF、CI、Thinkphp,Laravel其中一個主流開發框架,深入理解MVC與OOP。
4.精通MySQL資料庫,熟練掌握MySQL效能優化、語句優化 、主從複製、讀寫分離、防SQL注入等技術,具備PHP快取技術、靜態化設計方面的經驗。
5.熟練使用Nosql、例如Redis、MongoDB、等非關係型資料庫。
6.熟悉Linux環境下的專案開發和部署,熟悉Shell指令碼程式設計。
7.熟練掌握Jquery、HTML、XML、Javascript、AJAX等技術。
8.熟練使用SVN、Git等常見版本控制工具。
9.有專案規劃能力者、有辦公系統(OA)、資訊管理系統、CRM系統等大型軟體應用系統方面開發經驗者優先。
10.有已經上線的專案;熟悉微信開發者優先,有服務化架構開發經驗者優先,在github有開源專案維護者優先。
大資料開發工程師的主要職責 篇13
職責:
1、負責資料中心和大資料處理平臺的搭建
2、線上和離線海量資料分析平臺的開發;
3、研究大資料前沿技術,提升系統的運維效率;
4、參與大資料的採集、儲存、處理,分析等開發
5、參與資料探勘演算法的設計、對海量資料進行挖掘分析和發掘資料價值及演算法學習及實現
【任職要求】:
1、計算機或相關專業本科學歷及以上,2年工作經驗以上
2、熟悉Java/Scala等至少一門語言,能對分散式常用技術進行合理應用,解決實際架構問題
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark,Storm,Flume等大資料開發元件
4、熟悉整個大資料的完整處理流程,包括資料的採集、清洗、儲存、分析和視覺化及報表開發;
5、熟悉分散式系統概念、架構,有大規模分散式系統設計、實現、部署等經驗;
6. 具有優秀的學習能力、獨立分析和解決問題能力,良好的團隊合作精神。
7. 有BI開發經驗的優化考慮。
大資料開發工程師的主要職責 篇14
職責:
1、負責開放平臺應用系統/模組的程式編碼及單元測試;
2、配合系統整合測試、使用者驗收測試等測試過程;
3、協助進行需求分析文件的整理、協助進行產品歸檔管理等。
任職要求:
1、大學本科及以上學歷(統招、學信網可查),計算機或相關專業,4年及以上java開發經驗,有銀行專案經驗優先;
2、精通Java語法,熟悉J2EE架構,並能熟悉使用開發框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);
3、瞭解html、xml、css,瞭解Javascript, Ajax,webservice技術;
4、熟悉運用各種IDE開發工具(eclipse / Jbuilder,dream weaver);
5、瞭解應用伺服器的釋出與配置(Websphere,Tomcat)
6、對資料庫基礎知識及相關資料庫產品有一定的瞭解(db2,oracle),能熟練使用SQL語法;
7、熟悉UNIX/LIUNX常用命令;
8、具有良好的溝通能力與團隊合作精神。
大資料開發工程師的主要職責 篇15
職責:
1、 負責參與系統框架的設計和不斷優化,參與系統設計;
2、 根據使用者的需求,分析並給出最優的技術解決方案;
3、 根據開發規範與流程獨立完成模組的設計、編碼以及相關文件;
4、具有獨立分析和解決問題的能力。
任職要求:
1、全日制本科學歷,計算機相關專業。
2、有1年及以上J2EE開發經驗,充分掌握面向物件程式設計思想並有較好的設計模式基礎,熟悉常用演算法和資料結構;
2、熟悉Spring、Hiberate、jQuery等開發框架、瞭解其原理和實現機制;
3、熟悉MYSQL等關係型資料庫,掌握PL/SQL、儲存過程、觸發器、檢視的編寫;
4、熟悉Apache,Tomcat等主流Web應用伺服器;
5、精通HTML+CSS+JS程式設計,熟悉HTTP 協議以及瀏覽器原理;
6、熟悉主流前端框架,包括但不限於Bootstrap、Vue、Anglajs等;
7、有WebGIS開發經驗者優先;
8、具有大型網站開發經驗者優先。
大資料開發工程師的主要職責 篇16
1,協助開發RFID 應用系統;包含RFID標籤和RFID裝置的配合設計;
2,根據國外客戶的要求,開發新的應用軟體;整理和協調客戶的需求,提出RFID針對不同客戶需要的方案
3,對行業機構提出的應用技術需求做調研和開發,做產品技術儲備
大資料開發工程師的主要職責 篇17
職責:
1、負責公司產品前端頁面的開發;
2、負責相關HTML5遊戲的開發工作;
3、維護現有HTML5程式,處理使用者反饋的問題;
4、根據美工設計圖開發前端程式碼,解決瀏覽器及終端平臺的各種相容性問題;
職位要求:
1、計算機相關專業,大專以上學歷,有1年以上的相關工作經驗;
2、熟練掌握html5、css3、JavaScript、Ajax、jQuery等Web開發技術;
3、熟練掌握常用JS框架的使用,如Bootstrap、Vue、CreateJS、白鷺Egret、LayUI等;
4、熟悉頁面效能的優化,熟悉開發除錯、版本控制等基本研發技能;
5、擁有良好的編碼習慣,邏輯清晰、結構清晰、命名規範、程式碼冗餘率低;
6、工作認真負責,具有較強的發現問題並解決問題的能力;
7、有Construct2開發經驗者優先考慮;
8、具有良好的溝通能力及團隊合作精神,責任心強。
大資料開發工程師的主要職責 篇18
職責:
1、較強的邏輯思維及自學能力,做事有條理,具備較強的專案分析和解決問題的能力。
2、熟練使用PHP語言和開發技巧,精通面向物件程式設計,具有良好的程式設計風格、習慣,熟悉各種主流的MVC開發框架的使用及其原理,並有在MVC模式下進行中大型web開發的經驗.
3、熟練掌握mysql等資料庫應用、熟悉基本的sql語句,能優化表、優化sql語句,能為慢查詢建立相關索引。
5、有後端API開發經驗、熟悉API加密方式,有linux 操作經驗者且熟悉LNMP優先。
6、熟練redis,memcached等快取機制。
7、大專以上學歷,計算機相關專業畢業,3年以上工作經驗。
職位描述:
1、負責APP後端PHP_API介面開發工作。
2、負責MySQL資料庫維護,優化工作。
3、根據需求不斷修改完善專案功能
大資料開發工程師的主要職責 篇19
職責
1、負責公司自有專案的伺服器後端程式的技術研發工作,包括技術架構設計、重構、優化,根據產品規劃及技術規劃制定應用架構方案;
2、負責公司專案核心功能、資料匯流排解決方案及第三方介面的開發,主導技術難題攻關,持續提升核心系統在高併發、海量請求數下的高處理效能,編寫程式,單元測試,bug修復工作等;;
3、負責設計、編碼和除錯研發平臺後端技術框架,優化及提高後端程式碼的效能,稽核和評估相關方案與設計,以確保其符合架構規劃,滿足業務需求;
4、分析系統瓶頸,解決各種疑難雜症,對系統進行效能調優,指導程式設計師編寫程式,落實技術規範,與產品經理、測試工程師、其他成員溝通合作,保證產品研發工作的質量和進度;
崗位要求
1、軟體工程或計算機相關專業大專以上學歷,3年以上商業專案的實際開發經驗,有電商或短視訊專案的實際開發經驗;
2、精通ThinkPHP、Laravel、Yii等流行框架,熟練掌握LAMP,熟悉TP/SMARTY;
3、精通MySQL、NOSQL、MongoDB等資料庫,能夠編寫和優化複雜的SQL程式;
4、擅長訊息佇列、任務排程、負載均衡、併發控制,極具面向物件思維,懂得低耦合高複用封裝,擁有一絲不苟的程式碼編寫規範習慣;
5、熟悉Unix/Linux作業系統,熟練掌握shell、Python、Perl其中一種指令碼語言;
大資料開發工程師的主要職責 篇20
職責:
1、負責公司業務平臺功能模組的程式碼開發工作;
2、熟悉PHP開發,掌握主流框架,並擁有良好的面向物件編碼思想和註釋風格,;
3、參與需求分析、系統分析與架構設計方案,負責處理開發過程中的技術問題;
4、思維前瞻性,積極配合完成運維部門工作需求,完成上級要求各項任務;
任職要求:
1、能獨立完成一個專案的開發;
2、精通PHP程式設計,熟練運用MVC框架,thinkphp框架、larver框架;
3、熟練Mysql資料庫,具有MySQl索引優化、查詢優化和儲存優化經驗。
5、熟悉 div+css+js(jquery)等前端技術;
6、熟悉UNIX/LINUX作業系統的基本配置和命令,瞭解作業系統的體系結構,熟悉TCP/IP網路協議;
7、具備良好學習心態及團隊精神,抗壓能力強,並富有工作激情、創造力和責任感;
大資料開發工程師的主要職責 篇21
職責:
1、根據產品需求完成高質量高效能後端開發;
2、參與各產品的需求分析、規劃、系統設計;
3、負責各應用模組的編碼工作和文件編寫工作;
4、負責公司相關產品開發和維護工作。
職位要求
1、本科以上學歷;
2、3年以上PHP網站開發經驗;
3、精通Phalcon或其他PHP框架;
4、熟悉MYSQL資料庫,並對SQL優化有一定的經驗,能結合業務對複雜慢SQL進行優化;
5、熟練使用NoSQL、熟悉網際網路系統的效能優化、cache技術;
6、有良好的程式碼習慣,要求結構清晰,命名規範,邏輯性強;
7、關注新技術,較強的學習能力,具備良好的溝通、團隊合作能力
大資料開發工程師的主要職責 篇22
職責:
1、負責運維繫統、平臺的構建與開發工作
2、負責運維自動化、規範化解決方案的開發工作
3、深入理解系統,為其持續優化提供建設性意見
4、完成領導交代的其他臨時性工作。
崗位要求
1、具有5年以上開發經驗
2、本科及以上學歷,計算機相關專業優先
3、主動、正直、有責任心和團隊協作意識
4、精通Java語言、網路及多執行緒程式設計,掌握Spring、SpringCloud等常用框架技術
5、熟悉常見的開源技術,如HBase、Redis、KafKa、Dubbo、ZooKeeper等,並具備一定的經驗
6、良好的伺服器端程式設計能力和程式設計習慣,對設計模式深入理解
7、瞭解網際網路產品運維、監控,具有大型運維繫統、監控系統、工作流系統開發工作經驗者優先
- 文章版權屬於文章作者所有,轉載請註明 https://wjfww.com/zh-tw/wenmi/gangwei/vqdwd3.html