七

大数据基础支撑软件

1

大数据基础支撑软件

1.★基础组件要求：

（1）消息队列组件：提供kafka消息队列服务及接口；提供C/JAVA等语言订阅接口；
（2）分布式存储组件：提供HDFS分布式文件系统；支持Parquet，RcFile等常见存储格式；支持对支持数据的压缩，支持snappy，gzip等常见压缩算法；数据支持3副本存储，副本支持不在同一列机架存储；支持elasticsearch 5.1；提供KV存储能力，支持按主键更新、字段扩展等功能；
（3）资源管理调度组件：提供yarn资源管理调度组件，提供必要的资源隔离并实现弹性计算，为数据处理子系统提供支撑；资源的管理包括CPU和内存；支持MR任务，Spark任务的执行；
（4）计算框架业务：提供Spark，MapReduce计算框架。支持Spark1.X和Spark2.x共存，支持spark版本升级，支持Python、Java、R语言开发接口；
（5）流处理业务需求：提供storm、spark、streaming实时及近实时数据处理框架，支持原始接口；开放编程接口，支持Java和Python语言，支持用户自定义开发流式数据处理功能；
2.★数据接入业务要求：

支持多种加载方式，包括HTTP、FTP方式；支持灵活通用的数据格式描述，包括CSV/AVRO，用户可按照统一数据描述规范进行数据组织；支持csv、avro两种数据格式的校验；通过HTTP、FTP方式接收到数据后，能够自动将数据持久化到hive、elasticsearch中；在数据持久化到hive中时，支持对分区字段的自动计算功能，分区方式包括等值、hash以及range，分区方式可以通过元数据定义；万兆网条件下，单服务性能大于400MB/S；
3.★基础平台业务要求：

支持基于Hive表的小文件合并，在合并过程中不能影响数据访问；Hive 数据表支持基于列级别的数据分区，分区方式至少支持等值、哈希、区间；用户能够对Hive表按业务时间字段配置数据生命周期，平台自动管理。
4.★数据查询业务要求：

基于Spark引擎提供SQL查询服务，支持对hive库表及elasticsearch数据的统一查询；能够通过hivemetastore统一管理全文元数据；能够通过spark sql进行统一访问；支持扩展SQL接口，可以将全文检索作为SQL的一种过滤条件；
5.★实时处理业务需求：

在实时处理任务启动时，支持不重启任务动态添加筛选条件；基于storm提供SQL各种访问能力；
6.★规模要求：

单集群大于500台；单集群存储管理能力大于30PB；单表数据规模大于10万亿条；
8.★技术服务：

向业务系统提供驻场的开发技术支持；提供对大数据系统的全盘部署、接口对接、联调测试、工程师驻场等服务。

七

大数据基础支撑软件

1

大数据基础支撑软件

1.★基础组件要求
（1）消息队列组件：提供kafka消息队列服务及接口；提供C/JAVA等语言订阅接口；
（2）分布式存储组件：提供HDFS分布式文件系统；支持Parquet，RcFile等常见存储格式；支持对支持数据的压缩，支持snappy，gzip等常见压缩算法；数据支持3副本存储，副本支持不在同一列机架存储；支持elasticsearch 5.1；提供KV存储能力，支持按主键更新、字段扩展等功能；
（3）资源管理调度组件：提供yarn资源管理调度组件，提供必要的资源隔离并实现弹性计算，为数据处理子系统提供支撑；资源的管理包括CPU和内存；支持MR任务，Spark任务的执行；
（4）计算框架业务：提供Spark，MapReduce计算框架。支持Spark1.X和Spark2.x共存，支持spark版本升级，支持Python、Java、R语言开发接口；
（5）流处理业务需求：提供storm、spark、streaming实时及近实时数据处理框架，支持原始接口；开放编程接口，支持Java和Python语言，支持用户自定义开发流式数据处理功能；
2.★数据接入业务要求
支持多种加载方式，包括HTTP、FTP方式；支持灵活通用的数据格式描述，包括CSV/AVRO，用户可按照统一数据描述规范进行数据组织；支持csv、avro两种数据格式的校验；通过HTTP、FTP方式接收到数据后，能够自动将数据持久化到hive、elasticsearch中；在数据持久化到hive中时，支持对分区字段的自动计算功能，分区方式包括等值、hash以及range，分区方式可以通过元数据定义；万兆网条件下，单服务性能大于400MB/S；
3.★基础平台业务要求
支持基于Hive表的小文件合并，在合并过程中不能影响数据访问；Hive 数据表支持基于列级别的数据分区，分区方式至少支持等值、哈希、区间；用户能够对Hive表按业务时间字段配置数据生命周期，平台自动管理。
4.★数据查询业务要求
基于Spark引擎提供SQL查询服务，支持对hive库表及elasticsearch数据的统一查询；能够通过hivemetastore统一管理全文元数据；能够通过spark sql进行统一访问；支持扩展SQL接口，可以将全文检索作为SQL的一种过滤条件；
5.★实时处理业务需求
在实时处理任务启动时，支持不重启任务动态添加筛选条件；基于storm提供SQL各种访问能力；
6.★规模要求
单集群大于500台；单集群存储管理能力大于30PB；单表数据规模大于10万亿条；
8.★技术服务
向业务系统提供驻场的技术支持；提供对大数据系统的全盘部署、接口对接、联调测试、工程师驻场等服务。提供不少于4人*24个月的高级技术人员驻场服务，在合同签订后5日内提供技术支持人员驻场支持。

驻场技术支持须提供以下服务：

1）★数据接入对接：对接甲方已有物联网平台的6个专项，各类传感器原始数据、告警和日志数据。

2）★实时预处理：根据可定制的动态业务规则对原始数据实时预处理，输出预处理后数据和相应告警。包括但不限于毛刺实时处理、动态阈值处理、平衡清零处理、量程值告警处理等。

3）★数据清洗转换：对预处理后的数据进行可定制化的数据解析、数据采样、清洗、实时规则模型应用等操作。包括但不限于实时漏水报警和定位、实时蒸汽泄漏扩散预警、实时蒸汽积水风险预警、实时热力管道泄露预警、实时热力管线风险预警、实时雨水箱涵大空间爆炸预警、实时排水专项空间爆炸预警、实时排水专项路面塌陷预警等。

4）★实时数据查询：数据写入到实时数据库，同时构建实时索引，满足业务系统定制化的实时查询需求。包括但不限于明细库、采样库、高频趋势库、10分钟特征值等处理。

5）★数据在线统计：支持业务系统跨年度历史数据分析和统计。

6）★数据主题仓库：根据业务需求构建数据主题仓库，满足在线统计、报表分析、数据挖掘和机器学习等业务需求

7）★数据挖掘平台：对接业务系统，完成业务系统数据挖掘、机器学习等定制化需求。包括但不限于漏水报警和定位模型、蒸汽泄漏扩散模型、蒸汽积水风险预警模型、热力管道泄露概率模型、热力管线风险等级模型、雨水箱涵大空间爆炸预警分析模型、排水专项空间爆炸模型、排水专项路面塌陷模型等。

8）★以上7项技术支持定制内容需向招标人共享源代码。