数据去重时out of memory

Question

在DolphinDB database中，dailybar_stock表已经加载到内存，想再做个去重，这个表是八千多万条记录，占1.4GB内存.运行下列语句时OOM（用的server节点是8G内存限制）。

dailybar_stock=select * from?dailybar_stock where isDuplicated([symbol,date],FIRST)=false

请教一下，是否还有别的占用较少内存的办法可以去重？

Answer 1

可改用下列sql试试：

select top 1 * from t context by date,sym

hashmap比较耗内存。这个context by使用排序算法，节约内存。