阿里云服务器大数据型实例规格族-[云淘科技_教程]

大数据型实例规格族介绍

大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。

大数据型实例规格族适合有大数据计算与存储分析需求的行业客户，例如互联网行业、金融行业等。同时，结合以Hadoop为代表的分布式计算业务的高可用架构，大数据型实例采用本地存储的设计，保证海量存储空间、高存储性能。

大数据实例具有以下特点：

• 基于企业级架构提供稳定计算能力，为高效处理计算作业提供保障。

• 网络性能更高（包括单实例最大内网带宽和最大小包转发率），满足业务高峰期实例间的数据交互需求，例如MapReduce计算框架下的Shuffle过程。

• 单磁盘顺序读写性能达190 MB/s（首次创建实例时，磁盘需要预热才能达到最高性能），单实例存储吞吐能力最大5 GB/s，缩短HDFS文件读取和写入时间。

• 本地存储价格比SSD云盘降低97%，大大降低Hadoop集群建设成本。

使用大数据实例时请注意：

• 不支持变配和宕机迁移。

• 本地盘与特定规格的实例相绑定，本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘，不支持将本地盘卸载并挂载到另一台实例上使用。

• 本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像，建议通过组合系统盘快照和数据盘（仅限云盘）快照的方式来创建。

• 不支持基于实例ID创建包含系统盘和数据盘的镜像。

• 支持挂载SSD云盘，挂载的云盘支持扩容。

• 操作本地盘实例可能对本地盘数据产生影响，更多详情，请参见实例操作对本地盘数据的影响。

大数据实例文件系统挂载最佳实践

使用ext4等文件系统，首次执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中，默认启用了lazyinit特性，导致inode table初始化会延迟到mount后，且本地盘在初始化时会占用较大吞吐量（例如30个本地盘的吞吐量可能高达600 MB/s），影响业务稳定性。4.x版本内核中增加了lazyinit并发度，可以缓解该问题，详情请参见社区。ECS推荐以下最佳实践，使您在相对较快的时间内完成初始化：

1. 获取所有SATA HDD本地盘列表。

2. 运行以下命令，为每个本地盘开启独立的后台初始化。

   本示例中，在设备名为/dev/vdb的本地盘上创建ext4文件系统。

   mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

3. 等待所有本地盘完成初始化，并运行iostat -x 5，直至所有本地盘的I/O活动显示为0。

4. 批量执行mount操作。

大数据存储密集型实例规格族d3s

d3s的特点如下：

• 实例配备12 TB大容量、高吞吐SATA HDD本地盘，辅以最大64 Gbit/s实例间网络带宽

• 支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机

  如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，更多说明请参见本地盘实例运维场景和系统事件。

  重要

  确认发起坏盘修复流程后，坏盘中的数据不可恢复。

• 计算：

  • 处理器：2.7 GHz主频的 ^® Xeon ^® 可扩展处理器（Ice Lake），全核睿频3.5 GHz，计算性能稳定

• 存储：

  • I/O优化实例

  • 支持ESSD云盘和ESSD AutoPL云盘

• 网络：

  • 支持IPv6

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

  • Spark内存计算、MLlib等机器学习场景

  • ElasticSearch、Kafka等搜索和日志数据处理场景

d3s包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。

大数据计算密集型实例规格族d3c

d3c的特点如下：

• 实例配备大容量、高吞吐本地盘，辅以最大40 Gbit/s实例间网络带宽

• 支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机

  如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，更多说明请参见本地盘实例运维场景和系统事件。

  重要

  确认发起坏盘修复流程后，坏盘中的数据不可恢复。

• 计算：

  • 处理器：采用第三代Intel ^® Xeon ^® 可扩展处理器（Ice Lake），主频2.9 GHz，全核睿频3.5 GHz，计算性能稳定

• 存储：

  • I/O优化实例

  • 支持ESSD云盘和ESSD AutoPL云盘

• 网络：

  • 支持IPv6

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

  • EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景

  • Spark内存计算、MLlib等机器学习场景

  • ElasticSearch、Kafka等搜索和日志数据处理场景

d3c包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。

• 该实例规格族仅支持Linux镜像，创建实例时请选择Linux镜像，否则会创建失败。

大数据计算密集型实例规格族d2c

d2c的特点如下：

• 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

• 支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机

  如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，更多说明请参见本地盘实例运维场景和系统事件。

  重要

  确认发起坏盘修复流程后，坏盘中的数据不可恢复。

• 计算：

  • 处理器：2.5 GHz主频的Intel ^® Xeon ^® Platinum 8269CY（Cascade Lake）

• 存储：

  • I/O优化实例

  • 支持ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘

• 网络：

  • 支持IPv6

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

  • EMR JindoFS配合OOS实现大数据冷热数据分层和存储计算分离的场景

  • Spark内存计算、MLlib等机器学习场景

  • ElasticSearch、Kafka等搜索和日志数据处理场景

d2c包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。

大数据存储密集型实例规格族d2s

d2s的特点如下：

• 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

• 支持在线更换坏盘，支持热插拔坏盘，避免导致实例停机

  如果单块本地盘出现故障，您会收到系统事件，确认响应事件即可发起坏盘修复流程，更多说明请参见本地盘实例运维场景和系统事件。

  重要

  确认发起坏盘修复流程后，坏盘中的数据不可恢复。

• 计算：

  • 处理器：2.5 GHz主频的Intel ^® Xeon ^® Platinum 8163（Skylake）

• 存储：

  • I/O优化实例

  • 支持ESSD云盘、ESSD AutoPL云盘、SSD云盘和高效云盘

• 网络：

  • 支持IPv6

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景

  • Spark内存计算、MLlib等机器学习场景

  • ElasticSearch、Kafka等搜索和日志数据处理场景

d2s包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。

大数据网络增强型实例规格族d1ne

d1ne实例热销中，更多信息，请参见产品页面。

d1ne的特点如下：

• 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大35 Gbit/s实例间网络带宽

• 计算：

  • 处理器与内存配比为1:4，为大数据场景设计

  • 处理器：2.5 GHz主频的Intel ^® Xeon ^® E5-2682 v4（Broadwell）

• 存储：

  • I/O优化实例

  • 仅支持SSD云盘和高效云盘

• 网络：

  • 支持IPv6

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、HBase等

  • Spark内存计算、MLlib等

  • ElasticSearch、日志等

d1ne包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。

大数据型实例规格族d1

d1实例热销中，更多信息，请参见产品页面。

d1的特点如下：

• 实例配备大容量、高吞吐SATA HDD本地盘，辅以最大17 Gbit/s实例间网络带宽

• 计算：

  • 处理器与内存配比为1:4，为大数据场景设计

  • 处理器：2.5 GHz主频的Intel ^® Xeon ^® E5-2682 v4（Broadwell）

• 存储：

  • I/O优化实例

  • 仅支持SSD云盘和高效云盘

• 网络：

  • 实例网络性能与计算规格对应（规格越高网络性能越强）

• 适用场景：

  • Hadoop MapReduce、HDFS、Hive、HBase等

  • Spark内存计算、MLlib等

  • 互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和计算的业务场景

  • ElasticSearch、日志等

d1包括的实例规格及指标数据如下表所示。

说明

• 您可以前往ECS实例可购买地域，查看实例在各地域的可购情况。

• 指标的含义请参见实例规格指标说明。