大資料架構師崗位的工作職責（通用13篇）

大資料架構師崗位的工作職責 篇1

職責：

1.能夠帶領技術人員基於hadoop平臺進行海量資料應用系統開發;

2.負責結構化和非結構化資料的解析和清洗,海量資料查詢和報表展現;

3.負責超大規模資料平臺的搭建、維護和優化;

4.負責大資料採集、儲存框架研究，參與線上或離線資料儲存模型設計;

5.負責大資料平臺新技術的開發使用和效能優化，測試。

任職資格：

1.計算機相關專業本科及以上學歷;

2. 熟悉hadoop相關各種開源專案，比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);

3.兩年以上熟練編寫mapreduce程式碼經驗，有三年以上網路日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;

4.兩年以上海量資料儲存的安裝部署、優化、二次開發經驗，對大規模資料儲存、傳輸、處理等有豐富的經驗;

5.在資料探勘、資料密集型處理、分散式計算、網格計算領域有深入理論基礎;

6.具有較強的文件撰寫能力，較強的團隊精神和合作精神，對工作有熱情，能承受壓力。

大資料架構師崗位的工作職責 篇2

職責：

1、負責大資料平臺架構的規劃與設計;

2、負責大資料平臺技術框架的選型與技術難點攻關;

3、參與企業級大資料產品和應用規劃;

4、研究跟進大資料架構領域新技術並分享;

5、大資料處理和分析應用平臺的設計指導。

任職資格：

1、 具備深厚的分散式系統或資料庫系統的理論基礎，熟悉分散式計算系統的工作機制，具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

2、熟悉BI平臺架構及相關專案標準，大資料解決方案包括Hadoop、Spark、Storm、機器學習等大資料平臺解決方案;

3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流資料資料庫;

4、 精通Linux/Unix環境，精通J java、scala、python、R中的一種或多種語言;

5、 具備優秀的團隊意識和溝通能力，學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰;

6、大專及以上學歷，3年及以上工作經驗。

大資料架構師崗位的工作職責 篇3

職責：

1. 規劃設計大資料平臺整體架構，規劃各種元件，並且指導技術團隊完成相關係統驗證、安裝、部署、配置;

2. 負責制定大資料平臺技術規範和介面規範，指導研發團隊按照規範進行系統開發;

3. 配合商務人員完成售前技術支援工作;

4. 完成其他與資料應用有關的技術工作;

任職要求：

1. 計算機相關專業本科學歷，5年以上工作經驗;

2. 對大資料技術棧有非常深刻的瞭解;具備架構設計的實際經驗;

3. 對資訊保安架構設計及實施有一定的經驗;

4. 熟悉Linux、Windows等作業系統的安裝配置;

5. 熟悉網際網路應用的安裝配置;熟悉常見大資料技術棧元件的安裝配置;熟悉Visio等繪圖工具的使用;

6. 有衛生資訊化建設經驗者優先;有容器安裝部署經驗者優先。

大資料架構師崗位的工作職責 篇4

職責：

1.負責資料倉庫建設，基於資料驅動構建企業級資料模型，根據架構設計進行各層資料模型開發。

2.面向PB級別超大規模資料處理和查詢需求，設計適合業務變化的合理的多維資料分析系統架構，滿足多樣性需求。

3.構建設計良好的資料流、排程系統、查詢引擎、監控系統，保證系統穩定高效執行，以實現資料的最大價值。

4.指導團隊成員開展資料倉庫建設。

5.參與重點專案的評審，參與企業資料管理體系建設。

任職要求：

1.統招本科及以上學歷。

2.從事資料倉庫領域至少5年以上，熟悉資料倉庫模型設計與ETL開發經驗 ，掌握Kimball的維度建模設計方法，具備海量資料加工處理(ETL)相關經驗 。

3.具有一定資料模型和資料架構基礎，熟悉hadoophive和常用資料庫。

4. 精通SQL，有一定的SQL效能調優經驗，熟悉hive sql的開發。

5.具有管理團隊開發經驗，具備良好的組織能力、協調能力及專案管理能力。

6.具有較好的文字功底及語言表達能力，能夠快速、準確地理解需求。

7.具有專研、快速學習和創新精神，具備獨立分析問題和解決問題的能力。

8.具有責任心，時間觀念強，工作獨立性強，有良好的團隊合作精神。

9.全日制普通本科畢業。

大資料架構師崗位的工作職責 篇5

職責

1、負責企業級大資料平臺、資料雲服務的設計與開發;

2、基於大資料生態圈，支援智慧交通等大資料場景應用實現;

3、負責公司大資料產品的設計、封裝與落地;

4、負責學習大資料相關演算法研究、實現與應用

任職要求

1、統招本科及以上學歷;2年以上智慧城市建設或交通行業資訊化相關工作經驗，3年以上大資料架構設計、開發經驗;

2、精通大資料生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備原始碼級問題解決和叢集優化改造能力;

3、熟悉常用程式語言，包括Java、Python、Scala等;

4、具有很強的技術研發和創新能力，能有效把握技術發展方向，有較強的執行能力、學習能力、溝通能力、適應能力，責任心強;

大資料架構師崗位的工作職責 篇6

職責：

1、負責大資料平臺的架構設計、核心程式碼開發等任務;根據專案要求編寫相關技術文件;

2、負責大資料平臺的架構評審，程式碼評審，上線評審;參與資料應用需求、設計、稽核和評審;

3、負責核心模組研發，負責大資料平臺的搭建，完成系統除錯、整合與實施;

4、負責建立和維護大資料平臺技術標準規範，指導開發人員編寫程式碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時資料處理流程，掌握離線資料處理框架hive、impala、spark-sql等，掌握實時資料處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大資料技術生態圈，精通大資料技術架構，有大資料平臺構建經驗;

4、掌握常見資料流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux作業系統和某種指令碼語言程式設計(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模資料(TB級以上)處理經驗優先;

大資料架構師崗位的工作職責 篇7

職責：

負責大資料平臺的規劃和搭建、完成大資料平臺的日常運營工作，為資料分析和展現提供支援;

對系統框架相關技術和業務進行培訓，並負責核心程式碼編寫，指導團隊開發及解決出現的系統問題;

參與基於大資料平臺的創新業務場景進行資料產品的架構設計，負責資料產品的研發交付;

負責處理大資料平臺的疑難問題，為資料團隊提供可靠的技術支援;

負責資料質量、穩定性等資料管理，資料內部共享融通的資料平臺，讓資料標準更規範、資料獲取更高效;

及時跟進大資料領域新技術並分享，提升團隊技術能力。

任職要求：

本科或以上學歷，5年以上資料系統建設經驗，3年以上大資料架構設計經驗;

精通 java，python，scala 等一種大資料開發語言，熟悉Hadoop生態圈，包括但不限於hdfs，hive，spark， 有豐富的大資料專案的實踐經驗;

具備創新精神，條理清晰，溝通表達和邏輯思維能力強;

熟悉資料倉庫的設計和開發，對資料架構有深入的瞭解和具備相關的專案實踐經驗優先;

對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;

有敏捷大資料和資料視覺化實踐經驗優先。

大資料架構師崗位的工作職責 篇8

職責：

負責公司大資料產品架構的設計與實現;

配合大資料產品經理完成產品的快速研發與交付;

負責大資料產品架構的持續優化設計;

負責大資料產品核心元件設計;

負責大資料相關資料架構規劃、資料建模、資料庫設計以及大資料產品研發工作;

為應用開發團隊提供技術支撐。

及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;

完成上級領導交辦的其它各項工作。

任職資格：

985/211本科及以上學歷，3年以上的大資料開發經驗、

2年以上大資料架構設計經驗;

豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等程式語言;具備深厚的分散式系統或資料庫系統的理論基礎，熟悉分散式計算系統的工作機制，具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

熟悉整個大資料的完整處理流程(資料的採集、清洗、預處理、儲存、分析挖掘、機器學習和資料視覺化);

精通各種大資料相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

有資料探勘、機器學習相關應用或研究背景;

溝通能力較好，積極主動意識較強，責任心較強。

具備優秀的邏輯思維能力，對解決挑戰性問題充滿熱情，善於解決問題和分析問題;

良好的團隊合作精神，較強的溝通能力和學習能力 ;

大資料架構師崗位的工作職責 篇9

職責：

1)負責大資料平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向)，基於業務場景設計最優的系統解決方案。

2)構架支援大數量級的資料的大資料平臺系統，及相關監控，拓展系統設計及實現。

3)利用Hadoop、Spark等大資料技術對海量資料進行處理，支援BI和資料科學(建模)的應用實現。

4)對現有系統的進行架構深入分析及系統優化，進一步提升系統的效能及資料處理能力。

任職資格

1)統招本科或以上學歷，計算機相關專業， 5年以上軟體開發經驗、3年以上大資料專案經驗。

2)具備較豐富的大資料平臺相關構建，維護及調優經驗，有大資料量級下的大資料集市相關經驗。

3)具備較豐富的基於Hadoop或Hive或Spark等大資料處理專案經驗，具備一定的資料探勘經驗。

4) 具有阿里雲的EMR(emapreduce)的經驗者優先考慮。

5)具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

6)優秀的團隊合作精神、誠實、勤奮、嚴謹，敢於接受挑戰。

7)機器學習技術、資料探勘經驗豐富者優先考慮。

大資料架構師崗位的工作職責 篇10

職責：

1.負責企業資料中心建設，設計資料邏輯模型和物理模型，並完成相關開發

2.梳理公司各業務線常用的指標和維度，統一指標定義口徑

3.根據資料應用開發和資料分析需求，設計資料倉庫資訊層模型，提高資料開發的效率

4.負責資料模型的運營和優化，及時響應業務邏輯變更，保證模型的資料質量和穩定性

5.負責公司資料標籤體系的建設，並推動標籤體系在實際業務場景中落地

崗位要求：

1.5年以上DW/BI資料架構設計、模型設計和效能調優等相關經驗

2.有較強的資料分析能力，精通資料倉庫架構，熟悉Erwin或PowerDesigner建模工具

3.精通一種主流關係資料庫(如mysql等)，熟悉Hive開發

4.有電商業務經驗，元資料管理，資料質量管理或標籤體系搭建經驗者優先

5.優秀的協調溝通與團隊協作能力，極強的責任心，能承受一定的工作壓力，認同企業文化和團隊價值

大資料架構師崗位的工作職責 篇11

職責：

1.參與公司資料平臺系統規劃和架構工作，主導系統的架構設計和專案實施，確保專案質量和關鍵效能指標達成;

2.統籌和推進製造工廠內部資料系統的構建，搭建不同來源資料之間的邏輯關係，能夠為公司運營診斷、運營效率提升提供資料支援;

3.負責資料系統需求對接、各資訊化系統資料對接、軟體供應商管理工作

5.根據現狀制定總體的資料治理方案及資料體系建立，包括資料採集、接入、分類、開發標準和規範，制定全鏈路資料治理方案;深入挖掘公司資料業務，超強的資料業務感知力，挖掘資料價值，推動資料變現場景的落地，為決策及業務賦能;

6.定義不同的資料應用場景，推動公司的資料視覺化工作，提升公司資料分析效率和資料價值轉化。

任職要求：

1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大資料架構設計經驗，熟悉BI平臺、大資料系統相關技術架構及技術標準;

2.熟悉資料倉庫、熟悉資料集市，瞭解資料探勘、資料抽取、資料清洗、資料建模相關技術;

3.熟悉大資料相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業資訊化系統及相關資料庫技術;

5.具備大資料平臺、計算儲存平臺、視覺化開發平臺經驗，具有製造企業大資料系統專案開發或實施經驗優先;

6.對資料敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業資料分析和資料洞察、大資料系統的架構設計能力，瞭解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關專案管理經驗優先。

大資料架構師崗位的工作職責 篇12

職責:

1、從事電信行業大資料專案相關業務調研、產品標準建設、核心模型設計和優化、系統測試等相關工作

2、與資料專業委員會一起研究資料建模方案和建模工具，負責產品線產品的資料架構、資料模型設計

3、參與研究資料庫之間的資料轉換方式，參與專案中的資料移植工作，收集在專案中的資料移植經驗，優化產品的資料模型

4、負責培訓本部門隊伍的資料模型基礎理論工作，建立資料模型團隊

崗位要求：

1、統招本科學歷，3年以上主流資料上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型資料倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL效能調優經驗;

2、擁有Python，R等數學建模工具的使用經驗，並具備一定的資料處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;

3、熟悉統計學基本原理，做過實戰的資料建模專案;

4、有分散式資料倉庫建設相關經驗者優先，具備電信行業資料倉庫建設相關經驗者優先;

大資料架構師崗位的工作職責 篇13

職責：

1、負責規劃大資料平臺及應用產品的需求和技術方案設計;

2、負責資料對接和對外服務設計、開發和維護，並能保證質量和效能;

3、負責基於大資料平臺的應用設計、開發和維護;

4、能從系統全域性和各子系統的角度思考可能存在的問題，並提出改進方案建議;

任職要求：

1、大學本科6年以上工作經驗，計算機相關專業。

2、至少4年以上的Java開發經驗，3年以上大資料應用系統的開發和設計經驗。

3、熟悉Hadoop生態圈技術體系， 對離線計算、記憶體計算和流式計算均有深刻理解， 如Hadoop、Storm、Spark三個中的任意二個， 能進行平臺和元件優化。

4、精通Hive、HBase倉庫設計，深刻理解MR執行原理和機制，能進行以提供高任務執行效率的優化。

5、精通Java開發，熟悉JVM調優， 對GC有深刻理解。

6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術， 能進行hbase可靠性診斷和維護。

7、快速研究和學習技術能力。