DirectMemory（堆外（Off-Heap）缓存BigMemory的一个实现）

98 阅读 0 评论 65 点赞

我是靠谱客的博主怕孤独手链，最近开发中收集的这篇文章主要介绍DirectMemory（堆外（Off-Heap）缓存BigMemory的一个实现），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

就Java 本地Cache（非分布式）而言，存在3个地方可以存放数据：Heap, OffHeap和Disk

BigMemory非开源产品，所以其源码不能通过正常渠道拿到。同时，有一个开源产品DirectMemory实现了类似BigMemory的Cache实现

这是github的地址：https://github.com/raffaeleguidi/DirectMemory

DirectMemory是堆外（Off-Heap）缓存BigMemory的一个实现。它能够在内存中序列化大批量Java对象，而不影响JVM垃圾收集的性能。

DirectMemory容量可通过-XX:MaxDirectMemorySize指定，如果不指定，则默认与JAVA堆的最大值（-Xmx指定）一样。

它的类图：

Cache.init(10, 100);
Cache.put("test1", "t".getBytes());
Cache.put("test2", "t".getBytes());
Cache.put("test3", "t".getBytes());

byte[] p = Cache.retrieve("test1");

以下代码越过了DirectByteBuffer类，直接通过反射获取Unsafe实例并进行内存分配(Unsafe类的getUnsafe()方法限制类只有引导类加载器才会返回实例，也就是设计者希望只有rt.jar中的类才能使用Unsafe的功能)。因为，虽然使用DirectByteBuffer分配内存也会抛出内存溢出异常，但它抛出异常时并没有真正向操作系统申请分配内存，而是通过计算得知内存无法分配，于是手动抛出异常，真正申请分配内存的方式是unsafe.allocateMemory().

<li class="alt">/** </li><li class=""> * VM args : -Xms20M -XX:MaxDirectMemorySize=10M </li><li class="alt"> *  </li><li class=""> */  </li><li class="alt">public class DirectMemoryOOM {  </li><li class="">    private static final int _1MB = 1024 * 1024;  </li><li class="alt">  </li><li class="">    public static void main(String[] args) throws IllegalArgumentException, IllegalAccessException {  </li><li class="alt">        Field unsafeField=Unsafe.class.getDeclaredFields()[0];  </li><li class="">        unsafeField.setAccessible(true);  </li><li class="alt">        Unsafe unsafe=(Unsafe) unsafeField.get(null);  </li><li class="">        while(true){  </li><li class="alt">            unsafe.allocateMemory(_1MB);  </li><li class="">        }  </li><li class="alt">    }  </li><li class="">}  </li>

运行结果：Exception in thread "main" java.lang.OutOfMemoryError

需要注意的问题

DirectMemory是java nio引入的，直接以native的方式分配内存，不受jvm管理。这种方式是为了提高网络和文件IO的效率，避免多余的内存拷贝而出现的。 DirectMemory占用的大小没有直接的工具或者API可以查看，不过这个在Bits类中是有两个字段存储了最大大小和已分配大小的，使用反射可以拿到这个数据：

Class<?> c = Class.forName(“java.nio.Bits”);
Field maxMemory = c.getDeclaredField(“maxMemory”);
maxMemory.setAccessible(true);
Field reservedMemory = c.getDeclaredField(“reservedMemory”);
reservedMemory.setAccessible(true);
Long maxMemoryValue = (Long)maxMemory.get(null);
Long reservedMemoryValue = (Long)reservedMemory.get(null);