DataWorks中odps 引擎得with as走的是内存吗？-[阿里云_云淘科技]

匿名 • 2023年12月30日下午1:55 • 阿里云

DataWorks中odps 引擎得with as走的是内存吗？

以下为热心网友提供的参考意见

在阿里云DataWorks中使用MaxCompute（原名ODPS）引擎时，WITH AS子句创建的临时表并不直接走内存。在执行SQL语句的过程中，WITH AS会生成一个中间结果集，这个结果集存储在分布式文件系统上，而非内存中。

MaxCompute是一个基于云计算的大数据处理服务，它的设计原理是将大规模数据分布在集群的多个节点上进行计算和存储，而不是依赖单个节点的内存资源。因此，即使使用了WITH AS来创建临时视图或者中间结果，这些数据最终还是以分布式文件的形式存在，并在后续查询过程中按需读取和计算。

以下为热心网友提供的参考意见

在DataWorks的PyODPS节点中，当使用with as子句时，其处理的数据主要是存储在内存中的。这是因为，PyODPS为MaxCompute的Python版SDK，它在执行任务时会占用一定的系统资源，如CPU和内存。具体来说，Map Task每个Instance的Memory大小是可以设定的，单位是M，范围通常在 [256,12288]之间调整。然而，如果数据量过大，可能会导致内存使用超限，进程被杀死。因此，在使用with as等操作时，需要特别注意内存的使用情况，避免本地数据的大量操作，以减小对系统资源的压力。

本文来自投稿，不代表新手站长_郑州云淘科技有限公司立场，如若转载，请注明出处：https://www.cnzhanzhang.com/20886.html