405 words
2 minutes
记忆机制概述

VLA/VLM#

MemoryVLA#

MEMORYVLA: PERCEPTUAL-COGNITIVE MEMORY IN VISION-LANGUAGE-ACTION MODELS FOR ROBOTIC MANIPULATION

MAP-VLA#

MAP-VLA: Memory-Augmented Prompting for Vision-Language-Action Model in Robotic Manipulation

Agent#

Generative agents#

Generative agents: Interactive simulacra of human behavior

工作概况#

在沙盒环境中部署25个LLM智能体,核心贡献是提出记忆、检索、反思、计划架构,打破传统NPC限制,涌现出真实的长期规划与社交行为。

记忆机制#

  • 记忆流 (Memory Stream):按时间序列记录所有观察和想法的全局数据库。

  • 检索 (Retrieval):通过三维函数计算优先级,提取最相关记忆作为上下文:

    Score=Recency+Importance+RelevanceScore = Recency + Importance + Relevance

    (最近性 + LLM评估的绝对重要性 + 向量语义相关度)

  • 反思 (Reflection):当最新记忆重要性得分累计达标时触发。LLM将底层碎片信息归纳为高层洞察 (Insight),作为新节点存回记忆流。

优缺点#

  • 亮点
    • 突破上下文瓶颈:“检索+反思”起到了完美的信息压缩作用。
    • 认知动态演化:支持从基础观察提炼高级经验,维持长期人设一致性。
  • 不足
    • 计算开销极大:频繁依赖LLM调用打分与总结,性能延迟高。
    • 逻辑任务短板:基于语义和衰减的检索偏向社交闲聊,在数学推理或复杂代码工程等强逻辑场景中,极易丢失关键状态变量,导致逻辑链条断裂。
    • 错误级联:反思阶段生成的幻觉会被作为高权重新记忆存入,导致智能体后续的推理产生不可逆的认知偏差

总结:不适合借鉴到VLA中

记忆机制概述
https://hyan1ce.github.io/posts/papers-reading/memory-methods/
Author
IceHyan
Published at
2026-03-10
License
CC BY-NC-SA 4.0