产品描述

数据壳海量数据处理引擎可以自动化处理大规模数据,完成复杂、重复性数据分析任务,是大数据服务平台的计算引擎和基础底座。

产品特性

微服务架构

后端服务采用微服务分布式架构,调度、数据库、缓存、队列均采用集群模式,高稳定、高可用。

流程架构先进

流程语法将函数逻辑(工作流的步骤)与执行设置(工作流如何执行)分离开来,支持多个平台上运行而无需工作流的步骤,支持Docker、Singularity 10多种容器技术及Canda环境。

流程易开发

基于数据流编程模型,极大地简化了任务的分割(并行化),系统自动进行任务的并行化。简单的语法就能重用现有脚本和工具,以实现快速原型化。

高度自动化

支持自定义驱动、事件和接口驱动、策略驱动的自动化计算分析任务,7*24小时不间断自动化执行数据分析流程。

高容错和自适应

自适应不同数据量的输入,流程失败后自动调整资源重试运行,检查点机制,确保断点续执行,大大提高了流程运行的成功率。

高安全性

流程引擎支持代码和数据的运行时解密,每进程和任务都可以追踪和审计,执行结果完整保存。

产品架构