String 到 List<String> 的内存高效映射

Memory Efficient Mapping of String to List<String>

我使用 hashmap 结构来存储父文档(键)和与该父文档关联的所有子文档(值)的列表之间的映射。这需要稍后迭代以处理映射。 List 中的键和每个值通常是 75-100 个字符长的文件名。这很好用，但有 50000 个父文档，每个文档都有 50-100 个子文档与之关联。所以这会在内存中产生巨大的对象负载。有没有更好的方法以内存有效的方式存储此映射？

Map<String, List<String>> docmap=new HashMap<String,List<String>>();
    String [][] array = new String [50000][]; // parents

    array[1] = new String[100]; // children for parent 1

你的结构不是低效的，寻找更好的东西是没有意义的。

我计算出仅您的字符串使用的空间可能在 650MB 左右，忽略哈希图和列表的开销。

我不知道 ArrayList 或 HashMap 的开销，但与子列表的大小相比，它不会那么多。甚至每个列表和哈希条目都花费您 20 个字节，这将只有 2MB - 沧海一粟。

所以你的问题不是哈希映射或列表——而是你的原始数据。

如果 650MB 太大而无法存储在内存中(现在已经不多了)，那么您唯一的选择是将其存储在数据库中。

这应该更节省内存，因为它不会浪费内存用于存储桶管理：

Map<String, List<String>> docmap=new HashMap<String,List<String>>();
    String [][] array = new String [50000][]; // parents

    array[1] = new String[100]; // children for parent 1