空色天絵/NEO TOKYO NOIR 09
405 words
2 minutes
记忆机制概述
VLA/VLM
MemoryVLA
MEMORYVLA: PERCEPTUAL-COGNITIVE MEMORY IN VISION-LANGUAGE-ACTION MODELS FOR ROBOTIC MANIPULATION
MAP-VLA
MAP-VLA: Memory-Augmented Prompting for Vision-Language-Action Model in Robotic Manipulation
Agent
Generative agents
工作概况
在沙盒环境中部署25个LLM智能体,核心贡献是提出记忆、检索、反思、计划架构,打破传统NPC限制,涌现出真实的长期规划与社交行为。
记忆机制
-
记忆流 (Memory Stream):按时间序列记录所有观察和想法的全局数据库。
-
检索 (Retrieval):通过三维函数计算优先级,提取最相关记忆作为上下文:
(最近性 + LLM评估的绝对重要性 + 向量语义相关度)
-
反思 (Reflection):当最新记忆重要性得分累计达标时触发。LLM将底层碎片信息归纳为高层洞察 (Insight),作为新节点存回记忆流。
优缺点
- 亮点:
- 突破上下文瓶颈:“检索+反思”起到了完美的信息压缩作用。
- 认知动态演化:支持从基础观察提炼高级经验,维持长期人设一致性。
- 不足:
- 计算开销极大:频繁依赖LLM调用打分与总结,性能延迟高。
- 逻辑任务短板:基于语义和衰减的检索偏向社交闲聊,在数学推理或复杂代码工程等强逻辑场景中,极易丢失关键状态变量,导致逻辑链条断裂。
- 错误级联:反思阶段生成的幻觉会被作为高权重新记忆存入,导致智能体后续的推理产生不可逆的认知偏差
总结:不适合借鉴到VLA中