大數據架構師崗位的職責內容（通用15篇）

大數據架構師崗位的職責內容 篇1

職責：

1)負責大數據平台系統架構設計、核心開發工作(Hadoop&Spark技術方向)，基於業務場景設計最優的系統解決方案。

2)構架支持大數量級的數據的大數據平台系統，及相關監控，拓展系統設計及實現。

3)利用Hadoop、Spark等大數據技術對海量數據進行處理，支持BI和數據科學(建模)的應用實現。

4)對現有系統的進行架構深入分析及系統優化，進一步提升系統的性能及數據處理能力。

任職資格

1)統招本科或以上學歷，計算機相關專業， 5年以上軟件開發經驗、3年以上大數據項目經驗。

2)具備較豐富的大數據平台相關構建，維護及調優經驗，有大數據量級下的大數據集市相關經驗。

3)具備較豐富的基於Hadoop或Hive或Spark等大數據處理項目經驗，具備一定的數據挖掘經驗。

4) 具有阿里雲的EMR(emapreduce)的經驗者優先考慮。

5)具有良好的業務理解、溝通和協作能力，具有較強的學習和總結能力。

6)優秀的團隊合作精神、誠實、勤奮、嚴謹，敢於接受挑戰。

7)機器學習技術、數據挖掘經驗豐富者優先考慮。

大數據架構師崗位的職責內容 篇2

職責:

1、對業務需求深入分析，從而進行大數據平台核心應用的架構設計、開發和技術支持;

2、規劃業務應用系統和基礎平台的技術架構，參與需求分析、建模、架構設計、技術決策以及詳細設計;

3、把握複雜系統的設計，確保系統的架構質量，編寫核心部分代碼;

4、帶領團隊攻克例如大數據量、高併發、高穩定性等帶來的各種挑戰及技術難關;

5、在大數據平台建設路線圖指導下，進行架構實施和交付物投遞，同時確保研發質量和方向的準確性;

6、進行團隊技術的培訓和梯隊建設崗位要求;

任職條件:

1、本科或以上學歷，計算機相關專業，8年以上研發經驗，3年以上大數據平台相關工作經驗;

2、精通Java開發技術，熟悉Shell、Scala語言和PYTHON優先;

3、編程基礎紮實，熟悉I/O、多線程、集羣等基礎框架和原理，熟悉分佈式、緩存、消息等機制;

4、熟悉常用設計模式，代碼評審規則，單元測試，持續集成;

5、熟悉AWS雲服務或阿里雲服務;

6、熟悉容器技術原理、生態系統，熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源調度系統、分佈式應用生命週期。

大數據架構師崗位的職責內容 篇3

職責:

1、 負責大數據倉庫、數據集市的規劃及實現，負責大數據中台的設計和核心開發工作;

2、 負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為公司的業務提供大數據底層平台的支持和保證;

3、 大數據平台的數據採集、處理、存儲以及挖掘分析的架構實現;

4、 研究未來數據模型和計算框架的創新與落地，包括但不限於以下領域：大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

任職資格:

1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;

2、 有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;

3、 熟悉目前正在發展的大數據分佈式平台前沿技術的應用;包括但不僅僅限於：hadoop、flink、spark等;

4、 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先，具有風控經驗背景的人優先;

5、 具備獨立的深度思考能力，給出結合實際情況的較為理想的技術解決方案。

大數據架構師崗位的職責內容 篇4

職責：

負責大數據平台的規劃和搭建、完成大數據平台的日常運營工作，為數據分析和展現提供支持;

對系統框架相關技術和業務進行培訓，並負責核心代碼編寫，指導團隊開發及解決出現的系統問題;

參與基於大數據平台的創新業務場景進行數據產品的架構設計，負責數據產品的研發交付;

負責處理大數據平台的疑難問題，為數據團隊提供可靠的技術支持;

負責數據質量、穩定性等數據管理，數據內部共享融通的數據平台，讓數據標準更規範、數據獲取更高效;

及時跟進大數據領域新技術並分享，提升團隊技術能力。

任職要求：

本科或以上學歷，5年以上數據系統建設經驗，3年以上大數據架構設計經驗;

精通 java，python，scala 等一種大數據開發語言，熟悉Hadoop生態圈，包括但不限於hdfs，hive，spark， 有豐富的大數據項目的實踐經驗;

具備創新精神，條理清晰，溝通表達和邏輯思維能力強;

熟悉數據倉庫的設計和開發，對數據架構有深入的瞭解和具備相關的項目實踐經驗優先;

對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;

有敏捷大數據和數據可視化實踐經驗優先。

大數據架構師崗位的職責內容 篇5

職責：

1、數據分析軟件平台架構搭建

2、負責深度學習核心框架或高性能後台服務系統的架構設計工作，包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;

3、指導開發人員開發，並解決系統出現的問題，理解物業需求;

4、制定開發計劃和控制開發進度，負責指導研發團隊開展設計工作;

任職要求：

1、碩士以上，計算機或先關專業;

2、5年左右軟件開發經驗，含3年以上系統分析、設計經驗，有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗，

3、 具備良好的組件級建模能力，熟悉HTTP、TCP等協議

4、熟練使用UML進行軟件架構設計，至少精通EA，RATIONAL， VISIO等一種設計工具.

5、精通至少一種編程語言，熟悉 Linux 相關技術，能獨立在上面進行開發、測試和部署

6、深入理解數據庫、數據倉庫、大數據、分佈式體系架構和關鍵技術

大數據架構師崗位的職責內容 篇6

職責：

1、 基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台;負責大數據應用產品的架構設計、技術把控工作。

2、 負責制定大數據應用系統的數據安全管控體系和數據使用規範。

3、 作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、 負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。

5、 負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、 計算機、數學或相關專業本科以上學歷，5-20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

2、 有分佈式系統分析及架構設計經驗，熟悉基於計算集羣的軟件系統架構和實施經驗。

3、 掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入瞭解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、 掌握Mysql/Oracle等常用關係型數據庫，能夠對SQL進行優化。

5、 熟悉分佈式系統基礎設施中常用的技術，如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。

6、 熟悉Linux，Java基礎紮實，至少3-5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大數據架構師崗位的職責內容 篇7

職責：

1.負責數據倉庫建設，基於數據驅動構建企業級數據模型，根據架構設計進行各層數據模型開發。

2.面向PB級別超大規模數據處理和查詢需求，設計適合業務變化的合理的多維數據分析系統架構，滿足多樣性需求。

3.構建設計良好的數據流、調度系統、查詢引擎、監控系統，保證系統穩定高效運行，以實現數據的最大價值。

4.指導團隊成員開展數據倉庫建設。

5.參與重點項目的評審，參與企業數據管理體系建設。

任職要求：

1.統招本科及以上學歷。

2.從事數據倉庫領域至少5年以上，熟悉數據倉庫模型設計與ETL開發經驗 ，掌握Kimball的維度建模設計方法，具備海量數據加工處理(ETL)相關經驗 。

3.具有一定數據模型和數據架構基礎，熟悉hadoophive和常用數據庫。

4. 精通SQL，有一定的SQL性能調優經驗，熟悉hive sql的開發。

5.具有管理團隊開發經驗，具備良好的組織能力、協調能力及項目管理能力。

6.具有較好的文字功底及語言表達能力，能夠快速、準確地理解需求。

7.具有專研、快速學習和創新精神，具備獨立分析問題和解決問題的能力。

8.具有責任心，時間觀念強，工作獨立性強，有良好的團隊合作精神。

9.全日制普通本科畢業。

大數據架構師崗位的職責內容 篇8

職責：

1、負責大數據項目平台架構的評估、規劃和設計

2、開發大數據平台的核心模塊代碼，負責大數據平台的搭建，完成系統調試、集成與實施，保證大數據產品的上線運行

3、根據業務需求整合優化數據架構，保證產品的可靠性、穩定性

4、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現

5、深入研究大數據相關技術和產品，跟進業界先進技術;

6、根據項目要求編寫相關技術文檔;

7、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

8、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;

9. 負責關鍵功能的開發，技術難題的解決，以及輸出代碼的關鍵把控;

10. 負責對使用關鍵技術的預研和選型，完成 PoC ;

11. 指導工程師完成開發工作，並能分享技術經驗。

任職資格:

1、精通Linux操作系統，熟練使用Java;

2、3年以上大數據項目實戰經驗，兩個項目的架構設計經驗，熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架，並熟悉其工作原理;

3、有Hadoop、Spark、Hbase平台性能調優經驗;

4、熟悉其它分佈式存儲相關技術，包括HDFS，Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

5、熟悉Java開發常用框架.如Spring、MyBatis等;

6、熟悉關係型數據庫如oracle及數據庫編程。

7、能夠根據項目情況安排人力、分配任務，具有較強的團隊管理能力。

8、碩士以上學歷，20xx年以上的工作經驗。

大數據架構師崗位的職責內容 篇9

職責：

1. 負責大數據基礎平台、海量數據存儲/處理分佈式平台、數據分析系統架構設計和研發;

2. 負責實時計算平台基礎架構設計、部署、監控、優化升級;

3. 制定項目/數據倉庫設計及實現規範，指導設計研發和部署;

4. 協助策略和算法團隊工作，保障數據挖掘建模和工程化;

5. 深入研究大數據相關技術和產品，跟進業界先進技術。

任職要求：

1. 全日制本科及以上學歷，5年以上軟件和分佈式系統研發經驗，3年以上大數據系統架構經驗;

2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;

3. 具備Java/C++/Scala等開發經驗，熟悉數據挖掘和分析的策略與算法;

4. 具備良好的系統分析能力、故障診斷能力;

5. 有大數據策略、算法、可視化經驗優先;

6、211/985 重點學校畢業優先。

大數據架構師崗位的職責內容 篇10

職責：

1. 規劃設計大數據平台整體架構，規劃各種組件，並且指導技術團隊完成相關係統驗證、安裝、部署、配置;

2. 負責制定大數據平台技術規範和接口規範，指導研發團隊按照規範進行系統開發;

3. 配合商務人員完成售前技術支持工作;

4. 完成其他與數據應用有關的技術工作;

任職要求：

1. 計算機相關專業本科學歷，5年以上工作經驗;

2. 對大數據技術棧有非常深刻的瞭解;具備架構設計的實際經驗;

3. 對信息安全架構設計及實施有一定的經驗;

4. 熟悉Linux、Windows等操作系統的安裝配置;

5. 熟悉互聯網應用的安裝配置;熟悉常見大數據技術棧組件的安裝配置;熟悉Visio等繪圖工具的使用;

6. 有衞生信息化建設經驗者優先;有容器安裝部署經驗者優先。

大數據架構師崗位的職責內容 篇11

職責：

1、負責面向政府信領域的企業(不限於)大數據平台、大數據應用等系統的架構設計、技術規劃、技術選型

2、跟進業界大數據技術發展動態，匹配行業應用訴求，制定大數據策略，提前識別關鍵技術並完成技術驗證;

3、支撐售前完成項目解決方案技術架構的設計及重要客户的交流;

4、負責指導研發完成大數據產品的開發

5、帶領團隊進行產品核心技術的創新和積累

崗位要求：

1、熟悉BI和大數據領域的解決方案，具備該領域全面的技術積累，包括報表平台，OLAP引擎和DB，ETL，數據倉庫建模和設計，海量分佈式數據處理分析架構;

2、在大數據處理和分析領域具有3年或者以上的技術規劃、架構設計經驗，並有成功的項目實踐;

3、4年以上Hadoop實戰經驗，熟悉Hadoop底層文件系統及分佈式計算框架，具備傳統數據倉庫、MPP、Hadoop等混搭平台架構的設計能力和數據建模能力，對大規模數據並行計算、傳輸、處理等有豐富的經驗;

4、有實際應用storm、spark、flume、kafka等項目經驗優先;

5、卓越的技術領導力，善於溝通、發現和解決產品需求階段、開發階段和測試階段的問題，並能提供合理解決方案，有大中型互聯網企業工作背景優先。

大數據架構師崗位的職責內容 篇12

職責：

1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;

2、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

3、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;

4、負責建立和維護大數據平台技術標準規範，指導開發人員編寫代碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平台構建經驗;

4、掌握常見數據流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模數據(TB級以上)處理經驗優先;

大數據架構師崗位的職責內容 篇13

職責：

1、負責規劃科技大數據平台及科技數據入庫自動化的方案設計;

2、負責大數據平台的開發和維護，以及對外服務接口的開發;

3、負責大數據平台的優化和改進工作。

任職要求

1、計算機相關專業本科及以上學歷，5年以上開發經驗，其中3年以上為互聯網、大數據相關的開發經驗;

2、熟知Hadoop生態圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的運行原理和機制，有MPI經驗者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作，尤其是數據庫集羣的構建和操作，熟悉Neo4j者尚佳;

4、具有機器學習相關項目經驗者優先。

大數據架構師崗位的職責內容 篇14

職責：

1、負責大數據平台架構的評估、規劃和設計 ;負責海量數據採集、處理及存儲、應用方案的技術選型及架構實現;

2、開發大數據平台的核心代碼，負責大數據平台的搭建，完成系統調試、集成與實施，技術難題的解決，保證大數據產品的上線運行 ;

3、根據業務需求持續優化數據架構，保證產品的可靠性、穩定性 ;

4、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現 ，分享技術經驗;

5、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

6、深入研究大數據相關技術和產品，跟進業界先進技術;

任職資格：

1.本科及以上學歷，數學或計算機相關專業畢業，不少於5年的工作經驗，具有紮實的計算機基礎理論知識;

2.有3年以上Hadoop、Spark、Hbase平台性能調優經驗;熟悉sparkstreaming等實時計算技術

3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等，具備實際項目設計及開發經驗;

4.熟悉sparkstreaming等相關的實時計算技術;

5.熟悉大規模數據挖掘、機器學習、自然語言處理、分佈式計算中一項或多項技術，並具備多年的實際工作經驗;

6.熟悉主流關係型數據庫(Oracle、MySql)、NoSql數據庫，熟悉pl/sql編程;精通Linux操作系統，熟練使用Java;熟悉常用框架.如Spring、MyBatis等;

7.具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數據架構師崗位的職責內容 篇15

職責：

1、負責DMP技術架構設計與構建，根據業務規劃及技術規劃制定應用架構方案;

2、負責設計構建DMP數據採集、存儲及分析框架，設計數據處理的技術流程和規範;

3、負責核心功能的架構與代碼模板編寫，開發與維護系統公用核心模塊;

4、負責基於大數據技術的海量數據的自動化分析處理和統計工作。

崗位要求：

1、計算機或相關專業本科以上學歷，三年以上的開發經驗，二年以上大數據相關軟件架構的實際經驗;

2、精通大數據處理技術，熟悉Hadoop/Storm技術體系，有Hadoop、Hive、Hbase項目經驗;

3、具有較強的架構能力，具有分佈式計算、實時計算、數據倉庫、數據挖掘系統的架構經歷優先;

4、對數據敏感，洞察力強，瞭解國內外廣告發展趨勢;

5.、擅長系統分析與設計，精通常用的設計模式，擅長性能調優;

6、熟悉DMP/RTB技術原理，瞭解用户的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。