数据采集工程师岗位职责（通用23篇）

数据采集工程师岗位职责 篇1

1.嵌入式bootloader，kernel开发；

2.工业通讯协议解析等；

ows/linux平台网关应用层程序开发；

4.网关产品的软件功能测试验证；

5.工业网关产品软件sdk及library开发。

数据采集工程师岗位职责 篇2

1.负责工业设备组网及数据采集方案设计；

2.负责设计方案所需传感器、仪表选型，布线图、数据存储方式、数据表等详细设计；

3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调；

4.负责现场数据采集相关软硬件安装调试；

5.负责和用户现场对口协调、技术指导及现场培训。

数据采集工程师岗位职责 篇3

1.数据采集系统和分布式爬虫系统的架构设计和开发

2.对接外部数据服务商提供的数据及资讯服务，实现数据的'有效沉淀，建立数据服务评估机制

3.负责大规模文本、图像、视频数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作

4.研究各种目标网站的形态，互联网特征挖掘，发现它们的特点和规律

数据采集工程师岗位职责 篇4

1.负责linux平台下应用软件开发，根据产品与项目要求，开展模块设计.编码等工作；

2.负责linux软件的交叉编译与移植；

3.参与需求分析.软件设计.开发.调试以及测试维护全过程；

4.负责协同硬件工程师或第三方方案商完成系统功能模块的联调及功能对接.接口文文件输出；

5.负责嵌入式系统软件平台搭建工作；

数据采集工程师岗位职责 篇5

岗位职责：

业务数据的收集整理和分析;

负责公安、交通领域的业务建模和算法设计;

分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;

设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;

设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;

为其他部门提供数据分析支撑。

任职资格：

计算机相关专业;

熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;

熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相关大数据架构,开发成功案例;

熟练的使用、开发ETL工具经验，有数据库建模ER建模经验优先;

有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;

熟悉的Bash Shell和Python等脚本编程能力;

强烈的责任心和工作热情，良好的团队合作精神。

数据采集工程师岗位职责 篇6

岗位职责:

1.从事数学建模及数据挖掘应用方法研究;

2.与开发部门配合实现相应的数据分析模块的开发;

3.制定公司数据可管理体系,建产研究用数据平台。

任职要求:

1.应用数学、统计学、计算机等专业硕士以上学历;

2.具备常用机器学习、数据挖掘相关知识,会spark;

3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;

4.有视频、地图、文本、社交等大数据分析能力;

5.有工业数据分析工作经验者优先。

数据采集工程师岗位职责 篇7

1、负责生产环境Mysql数据库系统高可用、高性能架构方案，分库分表策略，数据库扩展方案;

2、排查数据库故障，分析和解决疑难问题，提出预防方案;

3、制定数据库监控策略、备份策略、容灾策略，探查系统潜在的问题和可能的性能瓶颈并进行优化;

4、对开发工程师的SQL语句进行审核及SQL优化;

5、负责redis、memcache等非关系数据库的管理和扩展，能够根据业务需求完成系统设计、架构设计工作;

6、参与前瞻性新技术研究，解决数据库相关疑难问题。

数据采集工程师岗位职责 篇8

1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作，涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;

2.需求及源系统数据分析，完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;

3. 数据质量稽核、问题分析及处理,优化数据处理程序;

4. 洞察数据、满足业务场景需求。

数据采集工程师岗位职责 篇9

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的`一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库全日制本科以上学历（985/211），计算机科学与技术/软件工程/数据相关专业

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库

数据采集工程师岗位职责 篇10

1、针对具体的业务场景需求、定义数据分析及挖掘问题;

2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型，对数据挖掘方案进行验证、开发、改进和优化，实现数据挖掘的功能应用;

3、搭建高扩展高性能的数据分析模型库，作为数据分析团队的基础工具;

4、完成领导安排的其他工作。

数据采集工程师岗位职责 篇11

数据处理工程师岗位职责

数据处理工程师1）直接面对客户，参与项目运作中数据处理，了解客户软硬件要求；

2）参与、协助数据收集和模型建构；

3）安装、调试公司软件在客户端上线；

4）开发常用数据处理功能，帮助业务团队提高工作效率；

5）与香港、新加坡和纽约团队合作，为亚太地区技术服务提供支持。·计算机或软件相关专业，本科及以上学历；

·掌握两门以及常见数据库设计开发技术，mysql、oracle、sqlserver、hive等；

·具有参加过etl开发项目，处理过（大）数据经验优先；

·工作细心、认真负责且善于沟通，能快速理解业务，对数据敏感，并能主导项目的进度，保证团队产出。1）直接面对客户，参与项目运作中数据处理，了解客户软硬件要求；

2）参与、协助数据收集和模型建构；

3）安装、调试公司软件在客户端上线；

4）开发常用数据处理功能，帮助业务团队提高工作效率；

5）与香港、新加坡和纽约团队合作，为亚太地区技术服务提供支持。

数据采集工程师岗位职责 篇12

职责描述：

1、负责文本数据处理，如格式转换、分词处理、实体抽取、专业词典整理等；

2、自然语言处理相关工具开发；

3、协助训练nlp模型。

任职要求：

1、计算机相关专业（本科2年以上）；

2、精通c/c++或java，熟悉python、bash？shell等脚本语言；

3、熟悉正则表达式，了解常用分类、聚类算法及相应工具；

4、熟悉使用基本分类、聚类算法及相应工具；

5、具备nlp相关工作（特别是数据处理与分析）经验，了解nlp基本知识；

6、其他：耐心、细致；较强的逻辑思维能力；性格踏实稳定，抗压能力强。

数据采集工程师岗位职责 篇13

1、利用数据仓库建模及相关技术，参与数据仓库模型的设计。

2、参与企业级大数据仓库项目的落地开发。

3、参与企业级主数据管理项目的实施落地。

4、利用hadoop生态相关技术，负责大数据中心的'数据处理流程，包括数据清洗、融合、统计、挖掘等。

数据采集工程师岗位职责 篇14

1、负责数据仓库的设计、开发、部署、维护和优化;

2、参与公司项目数据库架构设计,及相关文档的撰写;

3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;

4、负责数据库技术规范建设。

数据采集工程师岗位职责 篇15

1. 参加团队会议与讨论，并给予有意义的建议;

2. 协助后端团队和架构师完成数据库相关的设计与开发;

3. 协助业务部门抓取、分析数据。

数据采集工程师岗位职责 篇16

1、负责公司与阿里巴巴在新行业方向(新金融、新零售、国内外运营商)的产品研发;

2、负责分析挖掘客户/行业对大数据产品的需求(应用场景)，利用数据分析结论提升客户业务能力。例如：文本挖掘，潜在客户挖掘，用户画像，个性化推荐，用能预测等;

3、进行大数据场景下的数据统计、数据挖掘、机器学习、深度学习，包括数据整理、模型建立、模型应用、评估优化等;

4、将客户需求准确转化为可执行的数学模型，针对不同的应用场景，负责编写数据挖掘算法及对其的优化;

5、基于需求分析/运营支持/商业报告等成果，抽取典型用户/客户/行业/产品分析模型并与开发团队沟通实施方案及构建产品原型。

岗位要求：

1、本科以上学历，扎实的`机器学习、数据挖掘、统计学理论基础;有统计、应用数学、金融等相关专业背景优先;

2、精通常见机器学习算法(如逻辑回归、SVM、神经网络、决策树、贝叶斯等)，有实际建模经验，掌握深度学习算法优先;

3、具有扎实的计算机操作系统、数据结构等编程基础，精通至少一门编程语言例如JAVA/python/R等;

4、熟悉Map-Reduce模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验优先。

数据采集工程师岗位职责 篇17

1、负责应用平台维护，保证其有效运行;

2、负责业务数据的挖掘、整合以及分析模型的建立、优化和评估;为业务人员日常工作提供可靠而明确的数据支撑;

3、负责报表相关功能的设计、开发工作，并负责报表优化、维护、数据采集;

4、负责系统相关文档的制定和编写。

5、有实际的MY SQL或Oracle等数据库开发相关工作经历，具有高级工程师技术能力;

6、有良好的沟通协调能力，能与客户及项目组同事有效的沟通;

7、能够独立分析客户需求，并能针对客户需求编写需求分析、设计等技术方案;

8、热爱软件事业，具有较强的责任感,有快速掌握新技术和独立解决技术问题的能力;

数据采集工程师岗位职责 篇18

1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;

2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告，重点对车辆行为数据进行分析和挖掘，利用数据分析结论推动业务产品的优化;

3.对海量业务数据进行整合、分析挖掘，挖掘产品以及用户潜在信息，为营销、运营及决策提供业务分析及数据支持。

数据采集工程师岗位职责 篇19

1.依据项目需求建构数据萃取与转换流程

2.挖掘数据特征，进行数据和特征融合

3.搭建数学模型，并对模型进行检验评估

职位要求：

1、计算机、数学、统计、人工智能等相关专业的硕士或以上学历;

2、二年以上数据挖掘、机器学习相关工作经验，熟悉python、spark、pandas、sklearn等数据分析工具者优先;

3、熟练掌握贝叶斯、随机森林、深度学习等机器学习算法;

4、突出的分析问题和解决问题能力，自我驱动，并且具备较强的学习能力、创新应用能力及沟通协调能力，有良好的'团队合作意识;

5、有国际背景或能熟练使用英文沟通者优先

数据采集工程师岗位职责 篇20

1、负责数据接入、数据提取、数据清洗、底层重构、业务主题建模等工作;

2、参与数据集市开发，用户画像标签开发;

3、负责接口平台、自助分析平台等系统的建设和维护;

4、针对具体大数据应用场景，提供有效解决方案，并针对具体模型落地实施;

数据采集工程师岗位职责 篇21

•识别，分析和解决计划支持问题。

•与BU利益相关者合作，确定并优先考虑数据和统计要求，包括要收集的特定数据元素。

•协助开发和实施数据库，数据收集系统/工具，数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。

•分析大量数据集，提出有见地的业务建议。

•通过查看报告和绩效指标来确定和纠正数据收集问题，从而确保数据的准确性和完整性。

•识别，分析，解释和建模数据湖中数据的趋势或模式。

•为各种受众设计和生成准确有效的统计数据可视化产品和报告。

•通过促进技术和非技术利益相关者之间的沟通，确保技术团队了解计划和业务工作的短期和长期目标

•准时交付优质，易懂，明确的产品。

•参与构建机器学习策略平台。

•对数据驱动业务，关键思想家，问题解决者和自我启动者的热情

•促进技术和非技术利益相关者之间交流的能力

•出色的书面和口头交流能力。

数据采集工程师岗位职责 篇22

岗位职责：

1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的业务需求和决策需求;

2、能根据业务特点选择最合适的数据挖掘算法，并做调优;

3、支持数据分析、挖掘算法平台的部署和日常运营;

4、撰写分析类报告。

任职资格：

1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;

2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;

5、做过web接口调试，熟悉json者优先;

6、熟练掌握PPT和EXCEL制作;

7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;

8、有运营商或金融类相关数据经验工作优先考虑;

9、能适应中长期现场出差。

数据采集工程师岗位职责 篇23

1、参与数据仓库建设，负责数据仓库模型设计；

2、开发高质量可扩展的底层数据仓库体系；

3、负责数据仓库系统与业务系统的接口设计和确认工作；

4、负责数据平台相关的管理工作，如数据研发规范、数据质量及稳定性保证等建设；

5、参与公司各个业务线BI、数据产品与应用的数据研发，发觉数据潜在价值。