大數據架構師的職責（精選15篇）

大數據架構師的職責 篇1

職責：

1、負責公司的大數據平台的數倉架構、系統架構設計;

2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

3、負責大數據研發組團隊管理;

4、負責帶領團隊完成輿情平台的方案文檔撰寫、迭代開發;

5、負責研發規範制定，研究行業前沿技術;

6、參與產品規劃及設計討論。

任職要求：

1、本科五年工作經驗及以上，有至少五年的大數據技術實踐經驗，有NLP或AI相關經驗;

2、有很強的架構設計能力和良好的表達能力;

3、有一定的項目管理及團隊管理能力;

4、精通Hadoop、Spark生態圈中的常用組件原理及應用;

6、理解媒體業務，精通數據倉庫的規劃和設計;

5、精通掌握Java或Python編程，有性能調優能力;

4、熟悉NLP算法原理及應用;

6、對新生事物或者新技術有濃厚興趣，學習能力強。

大數據架構師的職責 篇2

職責：

1、負責規劃科技大數據平台及科技數據入庫自動化的方案設計;

2、負責大數據平台的開發和維護，以及對外服務接口的開發;

3、負責大數據平台的優化和改進工作。

任職要求

1、計算機相關專業本科及以上學歷，5年以上開發經驗，其中3年以上為互聯網、大數據相關的開發經驗;

2、熟知Hadoop生態圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的運行原理和機制，有MPI經驗者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作，尤其是數據庫集羣的構建和操作，熟悉Neo4j者尚佳;

4、具有機器學習相關項目經驗者優先。

大數據架構師的職責 篇3

職責

1、參與打造數據中內容的規劃、設計、開發和優化工作，實現高質量數據的互通與共享;

2、參與數據模型體系構建及數據主題設計和開發，搭建離線、實時數據公共層;

3、參與數據產品與應用的數據研發，發掘數據商業價值，打造極致體驗的數據產品;

4、深入理解數據產品的使用場景，為業務方在可用性、成本上做更好的設計做參考;

5、團隊成員的搭建與培養，任務劃分，進度監控，代碼規範，質量保證。

任職要求

1、熟悉數據倉庫建模理論，3年以上相關領域實踐經驗;

2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;

3、精通Java、Python、Scala、go等開發語言中的1到2種;

4、熟練使用Python/Java/scala或其他語言進行復雜業務邏輯的數據處理工作，具備海量數據處理以及性能優化的能力;

5、對MySQL、Redis、HBase等數據庫有一定的瞭解和使用經驗;

6、對olap，多維分析及kylin熟悉的更好;

7、思路清晰，具備良好的溝通能力和理解能力，較強的學習能力以及快速解決問題的能力;

8、對新技術，新事物有很好的探索和求知慾;

9、熟悉常規的機器學習算法：降維(PCA、SVD)、SVM、邏輯迴歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關聯規則(Apriori、FP-Growth)、聚類(K-Means)等優先。

大數據架構師的職責 篇4

職責

1、負責公司大數據平台的整體架構設計，包含數據收集、數據存儲、數據挖掘、數據輸出;

2、負責規劃從數據源到數據應用的整體流程，並參與用户產品和數據產品的決策;

3、負責海量數據分析、用户行為分析，構建用户數據模型;

4、負責解決核心技術問題，對技術方案進行決策;

5、技術團隊管理。

6、熟悉手機IOS、安卓系統APP開發

任職資格

1、計算機相關專業畢業，本科以上學歷;

2、5年以上相關工作經驗，具備軟件產品架構設計經驗，熟練掌握高性能、高擴展性架構設計方法;

3、熟練掌握java或c++任意一門語言、熟悉linux操作系統;

4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數據技術，並能夠基於上述項目開發大數據相關應用;

5、熟悉基本數據挖掘方法和技術;

6、強烈的敬業精神，良好的溝通與協調能力，能有效組織協調團隊完成各類開發工作;

7、熱愛技術，相信數據的價值，對大數據有深刻的理解。

大數據架構師的職責 篇5

職責：

1、負責大數據基礎平台、海量數據存儲處理分佈式平台、數據分析系統架構設計和研發;

2、負責實時計算平台基礎架構設計、部署、監控、優化升級;

3、制定項目數據倉庫設計及實現規範，指導設計研發和部署;

4、協助策略和算法團隊工作，保障數據挖掘建模和工程化;

5、深入研究大數據相關技術和產品，跟進業界先進技術。

任職要求：

1、3年以上大數據系統架構經驗;

2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;

3、具備Java Scala Python等開發經驗，熟悉數據挖掘和分析的策略與算法;

4、精通數據抽取，海量數據傳輸，數據清洗的常用方法和工具。

5、具備良好的系統分析能力、故障診斷能力;

6、有大數據策略、算法、可視化經驗優先;

7、有在華為雲存儲產品和大數據產品的開發使用經驗優先。

大數據架構師的職責 篇6

職責：

1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;

2、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

3、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;

4、負責建立和維護大數據平台技術標準規範，指導開發人員編寫代碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平台構建經驗;

4、掌握常見數據流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模數據(TB級以上)處理經驗優先;

大數據架構師的職責 篇7

職責：

1.負責公司新業務方向平台大數據基礎架構的搭建及後期數據處理體系的升級和優化，不斷提升系統的穩定性和效率。為公司未來方向性產品提供大數據底層平台的支持和保證。

2.負責制定大數據平台調用約束和規範;

3.負責大數據方向技術難題的解決，以及代碼質量的把控;

4.作為大數據開發團隊的leader,負責大數據系統平台開發團隊建設與人才梯隊培養，分享技術經驗，撰寫相關技術文檔指導和培訓工程師。

任職要求：

1.熱衷於大數據技術，並能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;

2.熟悉服務器基本知識，能夠評估系統硬件性能瓶頸;

3.掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題，並能提供解決問題的理論依據;

4.精通Java服務器編程，熟悉JVM原理，對數據結構和算法設計有較為深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構，熟悉原理、源碼、集羣部署，包括參數優化、Bug修復，貢獻過代碼或提交過bug者優先

6.具備數據中心資源管理、監控、調度等系統研發經驗者優先，具備分佈式系統研發經驗者優先;

7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;

8.具有良好的文檔編寫能力，可進行方案設計、架構設計。

大數據架構師的職責 篇8

職責:

1、 負責大數據倉庫、數據集市的規劃及實現，負責大數據中台的設計和核心開發工作;

2、 負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為公司的業務提供大數據底層平台的支持和保證;

3、 大數據平台的數據採集、處理、存儲以及挖掘分析的架構實現;

4、 研究未來數據模型和計算框架的創新與落地，包括但不限於以下領域：大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

任職資格:

1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;

2、 有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;

3、 熟悉目前正在發展的大數據分佈式平台前沿技術的應用;包括但不僅僅限於：hadoop、flink、spark等;

4、 性格積極樂觀，誠信，能自我驅動，有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先，具有風控經驗背景的人優先;

5、 具備獨立的深度思考能力，給出結合實際情況的較為理想的技術解決方案。

大數據架構師的職責 篇9

職責：

1、負責公司大數據產品的架構設計，包含數據收集、數據存儲、數據應用，並完成相關架構設計文檔的撰寫;

2、參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策;

3、負責解決核心技術問題，對技術方案進行決策;

4、負責大數據研發團隊建設、人才梯隊培養和技術團隊管理;

5、積極瞭解業界發展，研究與跟蹤大數據新技術發展方向。

任職要求：

1、精通GoldenGate For BigData相關理論，具備大型數據利用的生產實戰經驗;

2、精通數據驅動的理論，設計並生產上線相關數據驅動的產品;

3、精通常用消息中間件的使用，例如kafka/RocketMQ/Apache Pulsar，有解讀相關源碼者優先;

4、掌握hadoop、spark生態體系相關產品的使用，掌握MapReduce編程或Spark編程;

5、瞭解傳統數據倉庫理論及相關ETL工具，例如kettle/datastage;

6、熟悉Oracle、Mongodb、Mysql數據庫的使用;

7、紮實的Java語言基礎，熟悉Java開發工具和調試工具的使用;

8、良好的團隊協作精神，有能力對團隊在軟件設計、實現和測試方面進行指導;

9、良好的邏輯分析能力和溝通能力，執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神，有一定的推動能力;

10、計算機科學、信息技術或相關領域本科以上學歷，具有5年以上數據平台項目開發經驗，3年以上的架構設計經驗，具有大數據平台應用大型項目架構設計經驗優先;

大數據架構師的職責 篇10

職責：

1、負責企業大數據平台的基礎建設、管理及制定拓展規劃;

2、負責大數據平台相關自動化服務工具的設計、開發;

3、參與Hadoop、Hbase、Spark等核心平台組件的開發、優化;

4、對平台特殊場景化的數據應用制定相關實踐方案;

5、大數據團隊的搭建。

任職資格:

1、統招本科以上學歷，計算機等相關專業，5年以上工作經驗;

2、具有Hadoop等大規模集羣管理經驗、海量(PB)數據處理經驗;

3、精通Hadoop、Hive、Hbase等離線平台相關組件的原理機制;

4、瞭解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分佈式系統;

5、熟悉高併發、分佈式開發等相關知識，具有後端服務優化相關經驗;

6、熟悉爬蟲常用框架以及反爬技術;

7、具有良好的溝通能力、分析問題與攻關問題的能力;

8、有責任心，工作積極，對新領域新技術有熱情。

大數據架構師的職責 篇11

職責：

1、負責spark, hadoop, flink等開發和優化。

2、參與前期需求溝通和分析，以產品化開發的思維，完成需求分解和數據架構設計。

3、與研發和數據科學家合作保證產品定義清晰，按時完成產品上線。

4、能夠洞察市場狀況，與各部門合作轉化為基於大數據挖掘的新策略或方案.

5、主動創造和發掘新的基於大數據挖掘產品商業模式.

任職要求：

1、全日制本科及以上學歷，計算機軟件相關專業，5年以上開發經驗，3年以上架構經驗

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分佈式數據存儲和分佈式計算平台原理，流式計算開發，有開源二次開發經驗者優先。

3、精通大數據挖掘、機器學習.熟練掌握Java/Perl/Python至少一種編程語言。

4、具有數據挖掘和分析、機器學習等項目實施相關經驗者優先;

5、良好的跨部門溝通合作能力，解決不同觀點能力並取得結果。具備敏鋭的互聯網產品理解力，學習能力和邏輯思維能力強;

6、較強的自我驅動力、推動和協調能力，強烈的責任心和團隊合作精神;

大數據架構師的職責 篇12

職責:

1)負責公司軟件產品整體架構的設計和關鍵功能實現

2)負責公司架構長期看護以及優化;

3)負責軟件部門各模組間的協調配合;

4)提高鞏固軟件代碼質量;

5)負責大數據流式框架的設計、優化及部署;

6)規劃研發部門員工的技術發展路線並提供必要的幫助和指導

任職資格:

1)本科及以上學歷，計算機相關專業，5年以上工作經驗;

2)頻繁換工作，比如一年一個公司，請繞路;

3)3年以上產品架構經驗，主導過產品的成功上線;

4)對底層設備通訊協議，B/S系統，手機APP開發等都有一定的瞭解;

5)對各種主流語言C#JavaPathon有一定的瞭解

5)精通各種大數據架構，並深入研究過其中一種，有stormkafka等流式實時處理經驗為佳

6)能夠承擔較強的工作壓力，有良好的自我驅動能力和責任感;

7)具備優秀的邏輯思維能力、表達能力、溝通協調能力。

大數據架構師的職責 篇13

職責：

1. 負責大數據基礎和應用平台的整體規劃和架構設計，參與需求分析，架構設計，詳細設計以及技術選型決策

2. 參與數據挖掘和建模相關核心算法的代碼實現

3. 負責大數據算法平台的技術把關，性能調優，控制架構質量，解決項目技術難題;對研發項目和任務需求進行評估和方案設計、拆分任務並指導工程師完成開發

4. 帶領團隊提供並實現大數據算法平台上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力，支持解決方案實施

5. 負責數據庫設計、應用架構設計、核心技術選型等工作

6. 協調解決開發中的技術問題、設計和監控運營指標，保障系統穩定運行

7. 培養，指導有能力的員工，指導工程師進行技術驗證實現，核心技術攻關，解決開發過程中的技術難題

任職要求：

1. 熟悉大數據和數據倉庫的系統架構設計方法

2. 熟練使用並理解HadoopSpark架構及生態。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)

3. 熟悉分佈式系統架構，有分佈式實時、離線和機器學習平台的架構和開發經驗，具備海量數據清洗、分析處理及存儲的實踐經驗

4. 熟練使用JAVA，具有大規模分佈式系統調優經驗

5. 熟悉AI相關算法，熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;

6. 具備良好的團隊合作精神，對工作充滿激情。

7. 熟悉FusionInsight平台開發經驗者優先

大數據架構師的職責 篇14

職責：

1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關係，能夠為公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標準和規範，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

任職要求：

1.本科以上學歷，8年以上軟件行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標準;

2.熟悉數據倉庫、熟悉數據集市，瞭解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關數據庫技術;

5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，瞭解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師的職責 篇15

職責

1、負責企業級大數據平台、數據雲服務的設計與開發;

2、基於大數據生態圈，支持智慧交通等大數據場景應用實現;

3、負責公司大數據產品的設計、封裝與落地;

4、負責學習大數據相關算法研究、實現與應用

任職要求

1、統招本科及以上學歷;2年以上智慧城市建設或交通行業信息化相關工作經驗，3年以上大數據架構設計、開發經驗;

2、精通大數據生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備源碼級問題解決和集羣優化改造能力;

3、熟悉常用編程語言，包括Java、Python、Scala等;

4、具有很強的技術研發和創新能力，能有效把握技術發展方向，有較強的執行能力、學習能力、溝通能力、適應能力，責任心強;