大資料架構師崗位的基本職責（精選17篇）

大資料架構師崗位的基本職責 篇1

職責：

1、負責大資料專案技術架構評估與設計;

2、負責關鍵功能的開發，技術難題的解決，以及輸出程式碼的關鍵把控;

3、負責對使用關鍵技術的預研和選型，完成PoC;

4、指導工程師完成開發工作，並能分享技術經驗。

任職要求：

1、3年以上相關工作經驗，其中具有1年以上架構設計經驗

2、熟悉商業智慧系統相關技術，如 ETL、資料倉庫、OLAP開發;

3、精通設計模式，熟悉面向服務架構(SOA)以及其它常用軟體架構思想，有SOA方案設計、開發實施的實際經驗，要具備實際的服務規劃、服務粒度劃分經驗;並且要善於設計可重用元件和可定製化產品。

4、相關技術棧：Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;

5、有紮實的計算機基礎，熟悉Java等程式語言;

大資料架構師崗位的基本職責 篇2

職責：

1、負責大資料平臺架構的評估、規劃和設計 ;負責海量資料採集、處理及儲存、應用方案的技術選型及架構實現;

2、開發大資料平臺的核心程式碼，負責大資料平臺的搭建，完成系統除錯、整合與實施，技術難題的解決，保證大資料產品的上線執行 ;

3、根據業務需求持續優化資料架構，保證產品的可靠性、穩定性 ;

4、指導開發人員完成資料模型規劃建設，分析模型構建及分析呈現 ，分享技術經驗;

5、負責大資料平臺的架構評審，程式碼評審，上線評審;參與資料應用需求、設計、稽核和評審;

6、深入研究大資料相關技術和產品，跟進業界先進技術;

任職資格：

1.本科及以上學歷，數學或計算機相關專業畢業，不少於5年的工作經驗，具有紮實的計算機基礎理論知識;

2.有3年以上Hadoop、Spark、Hbase平臺效能調優經驗;熟悉sparkstreaming等實時計算技術

3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等，具備實際專案設計及開發經驗;

4.熟悉sparkstreaming等相關的實時計算技術;

5.熟悉大規模資料探勘、機器學習、自然語言處理、分散式計算中一項或多項技術，並具備多年的實際工作經驗;

6.熟悉主流關係型資料庫(Oracle、MySql)、NoSql資料庫，熟悉pl/sql程式設計;精通Linux作業系統，熟練使用Java;熟悉常用框架.如Spring、MyBatis等;

7.具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大資料架構師崗位的基本職責 篇3

職責：

負責公司大資料產品架構的設計與實現;

配合大資料產品經理完成產品的快速研發與交付;

負責大資料產品架構的持續優化設計;

負責大資料產品核心元件設計;

負責大資料相關資料架構規劃、資料建模、資料庫設計以及大資料產品研發工作;

為應用開發團隊提供技術支撐。

任職要求：

本科及以上學歷，3年以上的大資料開發經驗、

2年以上大資料架構設計經驗;

豐富的JAVA研發經驗，精通JAVA，熟悉Python Scala等程式語言;具備深厚的分散式系統或資料庫系統的理論基礎，熟悉分散式計算系統的工作機制，具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;

熟悉整個大資料的完整處理流程(資料的採集、清洗、預處理、儲存、分析挖掘、機器學習和資料視覺化);

精通各種大資料相關技術體系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

有資料探勘、機器學習相關應用或研究背景;

溝通能力較好，積極主動意識較強，責任心較強。

大資料架構師崗位的基本職責 篇4

職責：

1、負責大資料專案或產品中架構設計、資料倉庫公共層與應用層建模;

2、負責大資料專案或產品中業務需求的需求理解、資料指標維度需求梳理、資料探查和分析，指導技術團隊進行工作;

3、負責大資料專案中的具體技術管理工作，完成驗收目標。

4、發現並解決資料質量問題，推動整體資料質量提升。

任職要求：

1、計算機相關專業，3年以上資料研發與資料倉庫相關開發經驗;

2、熟練掌握維度建模方法，有大型數倉構建經驗優先;

3、精通Oracle/DB2/Teradata等主流資料庫程式設計，有較好的SQL效能調優經驗;

4、紮實的程式設計基礎和動手能力，精通至少一門程式語言，有大資料、分散式開發經驗尤佳;

5、有良好溝通協調能力，有帶領小團隊或專案管理工作經驗;

6、具備很強的責任心，做事細緻、嚴謹，同時需要具備較強的溝通和學習能力，能快速理解行業的需求，對農業等行業資料應用有經驗者優先;

7、能夠接受出差。

大資料架構師崗位的基本職責 篇5

職責:

1、負責自然語音互動、IOT家電物聯控制、知識圖譜等相關模組和系統的開發;

2、負責掌握第三方介面的呼叫和功能實現，持續優化服務效能和容量，並保證產品的相容性和執行效率;

3、根據設計文件和需求說明完成程式碼編寫、除錯、單元測試與維護，確保專案進度和質量;

4、協助制定測試計劃，及時發現並修復BUG，實現服務端的效能優化。

任職資格:

1、大學本科3年以上工作經驗，計算機相關專業;

2、熟悉軟體專案開發流程，具有良好編碼風格及文件編寫能力;

3、熟悉Linux伺服器相關技術，能夠獨立完成伺服器部署，具有相關經驗;

4、熟悉Hadoop/Spark框架，JAVA基礎紮實;

5、熟練使用Mysql資料庫，瞭解MongoDB或neo4j等分散式資料庫;

6、熟悉SpringCloud,SSM,Docker,redis開發者優先;

7、熟悉前端(包括但不限於Html5、css、Angularjs、ajax、jquery等)開發技術優先;

8、瞭解Socket網路程式設計、MQTT等，有相應實踐經驗者優先;

9、有智慧語音語義、知識圖譜服務端開發經驗者優先。

大資料架構師崗位的基本職責 篇6

職責：

1. 負責設計企業級大資料平臺的整體架構，從技術層面制定清晰的大資料產品與系統技術架構，並負責實現關鍵技術和產品。

2. 負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等，帶領團隊完成有質變的技術解決方案。

3. 負責組織同事研究行內最前沿的技術發展方向，突破現有的技術難題。

4. 負責研究院對外專案合作協調與支援，編寫專案建設方案及後期專案建設支援。

任職要求：

1. 碩士及以上學歷，計算機相關專業。

2. JAVA基礎紮實,不少於8年的一線開發經驗，精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術，熟悉Maven或Ant.，熟悉Python語言開發加分。

3. 不少於4年大資料的直接研發經驗，精通Hadoop/Spark系統，有hands-on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。

4. 掌握分散式系統原理，對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。

5. 熟悉分散式系統的監控、運維、故障恢復，高可用原理和設計理念。

6. 演算法基礎紮實，熟悉常見的資料結構，掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統, 網路, 記憶體和儲存等方面知識。

7. 必須要有千萬級別的專案管理經驗，包括但不限於前期需求溝通，建設方案編寫，中期專案實施，進度彙報，後期專案維護。

大資料架構師崗位的基本職責 篇7

職責：

1、負責公司的大資料平臺的數倉架構、系統架構設計;

2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

3、負責大資料研發組團隊管理;

4、負責帶領團隊完成輿情平臺的方案文件撰寫、迭代開發;

5、負責研發規範制定，研究行業前沿技術;

6、參與產品規劃及設計討論。

任職要求：

1、本科五年工作經驗及以上，有至少五年的大資料技術實踐經驗，有NLP或AI相關經驗;

2、有很強的架構設計能力和良好的表達能力;

3、有一定的專案管理及團隊管理能力;

4、精通Hadoop、Spark生態圈中的常用元件原理及應用;

6、理解媒體業務，精通資料倉庫的規劃和設計;

5、精通掌握Java或Python程式設計，有效能調優能力;

4、熟悉NLP演算法原理及應用;

6、對新生事物或者新技術有濃厚興趣，學習能力強。

大資料架構師崗位的基本職責 篇8

職責：

1、負責大資料平臺的架構設計、核心程式碼開發等任務;根據專案要求編寫相關技術文件;

2、負責大資料平臺的架構評審，程式碼評審，上線評審;參與資料應用需求、設計、稽核和評審;

3、負責核心模組研發，負責大資料平臺的搭建，完成系統除錯、整合與實施;

4、負責建立和維護大資料平臺技術標準規範，指導開發人員編寫程式碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時資料處理流程，掌握離線資料處理框架hive、impala、spark-sql等，掌握實時資料處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大資料技術生態圈，精通大資料技術架構，有大資料平臺構建經驗;

4、掌握常見資料流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux作業系統和某種指令碼語言程式設計(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模資料(TB級以上)處理經驗優先;

大資料架構師崗位的基本職責 篇9

職責：

1.負責企業資料中心建設，設計資料邏輯模型和物理模型，並完成相關開發

2.梳理公司各業務線常用的指標和維度，統一指標定義口徑

3.根據資料應用開發和資料分析需求，設計資料倉庫資訊層模型，提高資料開發的效率

4.負責資料模型的運營和優化，及時響應業務邏輯變更，保證模型的資料質量和穩定性

5.負責公司資料標籤體系的建設，並推動標籤體系在實際業務場景中落地

崗位要求：

1.5年以上DW/BI資料架構設計、模型設計和效能調優等相關經驗

2.有較強的資料分析能力，精通資料倉庫架構，熟悉Erwin或PowerDesigner建模工具

3.精通一種主流關係資料庫(如mysql等)，熟悉Hive開發

4.有電商業務經驗，元資料管理，資料質量管理或標籤體系搭建經驗者優先

5.優秀的協調溝通與團隊協作能力，極強的責任心，能承受一定的工作壓力，認同企業文化和團隊價值

大資料架構師崗位的基本職責 篇10

職責：

1、負責spark, hadoop, flink等開發和優化。

2、參與前期需求溝通和分析，以產品化開發的思維，完成需求分解和資料架構設計。

3、與研發和資料科學家合作保證產品定義清晰，按時完成產品上線。

4、能夠洞察市場狀況，與各部門合作轉化為基於大資料探勘的新策略或方案.

5、主動創造和發掘新的基於大資料探勘產品商業模式.

任職要求：

1、全日制本科及以上學歷，計算機軟體相關專業，5年以上開發經驗，3年以上架構經驗

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分散式資料儲存和分散式計算平臺原理，流式計算開發，有開源二次開發經驗者優先。

3、精通大資料探勘、機器學習.熟練掌握Java/Perl/Python至少一種程式語言。

4、具有資料探勘和分析、機器學習等專案實施相關經驗者優先;

5、良好的跨部門溝通合作能力，解決不同觀點能力並取得結果。具備敏銳的網際網路產品理解力，學習能力和邏輯思維能力強;

6、較強的自我驅動力、推動和協調能力，強烈的責任心和團隊合作精神;

大資料架構師崗位的基本職責 篇11

職責：

1、搭建基於Hadoop/Spark的資料探勘體系和大資料分析系統架構;

2、研究大資料領域前沿資料探勘技術，並引入相應技術在資料中心的使用;

3、進行大資料系統框架設計、模型演算法開發;

4、負責大型資料探勘專案方案制定、專案實施落地及優化等 ;

5、開展資料爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域資料探勘工作;

任職資格：

1、本科以上學歷(持有學士學位)(985，211優先)，計算機相關專業，五年工作經驗;

2、二年以上資料探勘專案經驗，完整參與過資料探勘大資料平臺的架構開發過程，具備網際網路行業背景優先;

3、精通分散式計算框架(hadoop、spark、Storm等)及相關經驗，熟練掌握Hive/SQL，Python，熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);

4、瞭解傳統的BI/DW 理論，能結合傳統BI實踐設計大資料平臺;

5、熟悉常用機器學習演算法(如分類、迴歸、聚類、關聯規則等)及其原理，具備應用場景經驗，如使用者畫像、商品關聯度分析、輿情分析;

6、熟悉主資料、元資料、資料質量、和資料建模等資料治理相關的體系和方法;

7、具備較強的邏輯思維能力、資料敏感度，擅於利用資料發現問題及解決問題;

大資料架構師崗位的基本職責 篇12

1、負責公司大資料處理框架研發工作，設計與開發分散式儲存、資料處理與分析架構。

2、負責大資料平臺與產品和相關技術的追蹤及研究。

3、負責大資料的處理工作，以及業務資料提取、載入、轉換處理流程的開發和優化。

4、利用大資料平臺工具對資料維護。

5、負責相關專案的技術支援和服務。

6、持續對系統的技術架構進行改進和優化。

大資料架構師崗位的基本職責 篇13

職責：

1.能夠帶領技術人員基於hadoop平臺進行海量資料應用系統開發;

2.負責結構化和非結構化資料的解析和清洗,海量資料查詢和報表展現;

3.負責超大規模資料平臺的搭建、維護和優化;

4.負責大資料採集、儲存框架研究，參與線上或離線資料儲存模型設計;

5.負責大資料平臺新技術的開發使用和效能優化，測試。

任職資格：

1.計算機相關專業本科及以上學歷;

2. 熟悉hadoop相關各種開源專案，比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);

3.兩年以上熟練編寫mapreduce程式碼經驗，有三年以上網路日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;

4.兩年以上海量資料儲存的安裝部署、優化、二次開發經驗，對大規模資料儲存、傳輸、處理等有豐富的經驗;

5.在資料探勘、資料密集型處理、分散式計算、網格計算領域有深入理論基礎;

6.具有較強的文件撰寫能力，較強的團隊精神和合作精神，對工作有熱情，能承受壓力。

大資料架構師崗位的基本職責 篇14

職責：

1)負責大資料平臺系統架構設計、核心開發工作(Hadoop&Spark技術方向)，基於業務場景設計最優的系統解決方案。

2)構架支援大數量級的資料的大資料平臺系統，及相關監控，拓展系統設計及實現。

3)利用Hadoop、Spark等大資料技術對海量資料進行處理，支援BI和資料科學(建模)的應用實現。

4)對現有系統的進行架構深入分析及系統優化，進一步提升系統的效能及資料處理能力。

任職資格

1)統招本科或以上學歷，計算機相關專業， 5年以上軟體開發經驗、3年以上大資料專案經驗。

2)具備較豐富的大資料平臺相關構建，維護及調優經驗，有大資料量級下的大資料集市相關經驗。

3)具備較豐富的基於Hadoop或Hive或Spark等大資料處理專案經驗，具備一定的資料探勘經驗。

4) 具有阿里雲的EMR(emapreduce)的經驗者優先考慮。

5)具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

6)優秀的團隊合作精神、誠實、勤奮、嚴謹，敢於接受挑戰。

7)機器學習技術、資料探勘經驗豐富者優先考慮。

大資料架構師崗位的基本職責 篇15

職責：

1. 負責大資料基礎和應用平臺的整體規劃和架構設計，參與需求分析，架構設計，詳細設計以及技術選型決策

2. 參與資料探勘和建模相關核心演算法的程式碼實現

3. 負責大資料演算法平臺的技術把關，效能調優，控制架構質量，解決專案技術難題;對研發專案和任務需求進行評估和方案設計、拆分任務並指導工程師完成開發

4. 帶領團隊提供並實現大資料演算法平臺上各項資料接入、資料探勘分析及資料視覺化的架構設計與能力，支援解決方案實施

5. 負責資料庫設計、應用架構設計、核心技術選型等工作

6. 協調解決開發中的技術問題、設計和監控運營指標，保障系統穩定執行

7. 培養，指導有能力的員工，指導工程師進行技術驗證實現，核心技術攻關，解決開發過程中的技術難題

任職要求：

1. 熟悉大資料和資料倉庫的系統架構設計方法

2. 熟練使用並理解HadoopSpark架構及生態。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分散式系統架構，有分散式實時、離線和機器學習平臺的架構和開發經驗，具備海量資料清洗、分析處理及儲存的實踐經驗

4. 熟練使用JAVA，具有大規模分散式系統調優經驗

5. 熟悉AI相關演算法，熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;

6. 具備良好的團隊合作精神，對工作充滿激情。

7. 熟悉FusionInsight平臺開發經驗者優先

大資料架構師崗位的基本職責 篇16

職責：

1、負責大資料平臺及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標準化、埋點資料採集、處理及儲存，業務資料分佈儲存、流式/實時計算等應用層架構搭建及核心程式碼實現;

3、開發大資料平臺的核心程式碼，專案敏捷開發流程管理，完成系統除錯、整合與實施，對每個專案週期技術難題的解決，保證大資料產品的上線執行;

4、負責大資料平臺的架構優化，程式碼評審，並根據業務需求持續優化資料架構，保證產品的可靠性、穩定性;

5、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大資料相關技術和產品，跟進業界先進技術;

【任職要求】

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉網際網路移動端埋點方法(點選和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具備實際專案設計及開發經驗;

4、熟悉資料採集、資料清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix作業系統，能熟練使用shell/perl等指令碼語言，熟練掌握java/python/go/C++中一種或多種程式語言

6、具備一定的演算法能力，瞭解機器學習/深度學習演算法工具使用，有主流大資料計算元件開發和使用經驗者優先

7、熟悉大資料視覺化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大資料架構師崗位的基本職責 篇17

職責

1、負責公司大資料平臺的整體架構設計，包含資料收集、資料儲存、資料探勘、資料輸出;

2、負責規劃從資料來源到資料應用的整體流程，並參與使用者產品和資料產品的決策;

3、負責海量資料分析、使用者行為分析，構建使用者資料模型;

4、負責解決核心技術問題，對技術方案進行決策;

5、技術團隊管理。

6、熟悉手機IOS、安卓系統APP開發

任職資格

1、計算機相關專業畢業，本科以上學歷;

2、5年以上相關工作經驗，具備軟體產品架構設計經驗，熟練掌握高效能、高擴充套件性架構設計方法;

3、熟練掌握java或c++任意一門語言、熟悉linux作業系統;

4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大資料技術，並能夠基於上述專案開發大資料相關應用;

5、熟悉基本資料探勘方法和技術;

6、強烈的敬業精神，良好的溝通與協調能力，能有效組織協調團隊完成各類開發工作;

7、熱愛技術，相信資料的價值，對大資料有深刻的理解。