D-NOVA: In-Storage Retrieval Accelerator via Dual-Bound 3D NAND-Optimized Similarity Search with Vector Adaptation
作者: Chang Eun Song, Sumukh Pinge, Tianqi Zhang, Sung Eun Kim, Tajana S. Rosing, Mingu Kang
分类: cs.AR, cs.CL, cs.DB, cs.ET, cs.IR
发布日期: 2026-07-20
备注: Accepted at the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026), Athens, Greece. Chang Eun Song and Sumukh Pinge are co-first authors and contributed equally
💡 一句话要点
提出D-NOVA以解决存储检索加速中的性能瓶颈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 存储检索 加速器 双界相似度 NAND内存 能效优化 大规模数据处理 智能系统
📋 核心要点
- 现有的检索增强生成方法在密集向量检索中存在显著的延迟和能量开销，成为性能瓶颈。
- D-NOVA通过将搜索功能嵌入NAND内存阵列，采用双界紧密相似度感知（DTS）度量，优化了存储检索过程。
- D-NOVA在性能上比CPU基线快41.7倍，能效提高71倍，展示了其在存储检索中的显著优势。
📝 摘要（中文）
检索增强生成（RAG）通过从外部知识库中检索相关信息来增强大型语言模型（LLM）的事实基础。然而，密集向量检索引入了显著的延迟和能量开销，成为主要的性能瓶颈。尽管近期的存储加速器旨在减少数据移动，但仍依赖于主机或嵌入式处理器，导致带宽限制未能完全克服。为了解决这些问题，本文提出了D-NOVA，这是一种硬件-软件协同设计的存储检索加速器。D-NOVA通过将搜索功能深度嵌入NAND内存阵列，执行基于倒排文件的分层检索管道。我们引入了一种新的距离度量，双界紧密相似度感知（DTS），专门用于在NAND字符串中进行搜索。此外，我们还提出了一种轻量级对比适配器，将嵌入向量映射到DTS友好的领域，恢复接近软件的召回率，同时提高性能和能效。D-NOVA的速度比CPU基线快41.7倍，能效提高71倍，吞吐量比现有存储RAG加速器高12.13倍，能效提高1.26倍，展示了完全存储向量搜索在可扩展RAG加速中的潜力。
🔬 方法详解
问题定义：本文旨在解决现有存储检索加速器在数据移动和带宽限制下的性能瓶颈，尤其是在检索增强生成（RAG）任务中的延迟和能量开销问题。
核心思路：D-NOVA通过将检索功能直接嵌入NAND内存阵列，利用双界紧密相似度感知（DTS）度量，减少了对外部处理器的依赖，从而提高了检索效率和能效。
技术框架：D-NOVA的整体架构包括一个基于倒排文件的分层检索管道，主要模块包括DTS距离计算、轻量级对比适配器和NAND内存的直接交互。
关键创新：D-NOVA的核心创新在于引入了DTS度量，专为NAND字符串搜索设计，显著提升了检索性能，并通过对比适配器实现了接近软件的召回率。
关键设计：在设计中，D-NOVA采用了轻量级对比适配器来映射嵌入向量，并优化了距离计算过程，以实现更高的能效和性能。
🖼️ 关键图片
📊 实验亮点
D-NOVA在性能测试中表现出色，相较于CPU基线，其速度提升达41.7倍，能效提升71倍，同时在吞吐量上比现有存储RAG加速器高出12.13倍，能效提高1.26倍，显示了其在存储检索加速中的巨大潜力。
🎯 应用场景
D-NOVA的研究成果在大规模数据检索、智能助手和信息检索系统等领域具有广泛的应用潜力。通过提高存储检索的效率，D-NOVA能够支持更快速的实时数据处理和响应，推动智能系统的进一步发展。
📄 摘要（原文）
Retrieval-Augmented Generation (RAG) enhances the factual grounding of large language model (LLM) inference by retrieving relevant information from external knowledge bases. However, its dense vector retrieval introduces significant latency and energy overhead, becoming the primary performance bottleneck. Although recent in-storage accelerators aim to reduce data movement, they still rely on host or embedded processors outside the memory, where nearly 70% of the total retrieval time is spent. As a result, they cannot fully overcome the bandwidth limitations, leading to yet another memory bottleneck. To tackle these limitations, we present D-NOVA, a hardware-software co-designed in-storage retrieval accelerator. D-NOVA executes an inverted file (IVF)-based hierarchical retrieval pipeline by deeply embedding the search functionality directly into the NAND memory array. This is achieved by incorporating a new distance metric, Dual-Bound Tight Similarity Sensing (DTS), which is specifically tailored for searching within the NAND string. In addition, we introduce a lightweight contrastive adapter that maps embedding vectors into a DTS-friendly domain, recovering near-software recall while improving performance and energy efficiency. D-NOVA is up to 41.7x faster and 71x more energy-efficient than a CPU baseline, and achieves 12.13x higher throughput while being up to 1.26x more energy-efficient than state-of-the-art in-storage RAG accelerators, demonstrating the potential of fully in-storage vector search for scalable RAG acceleration.