RWKV 状态是否能够编码抽象行为倾向?
RWKV能对抽象的行为处理进行编码吗? RWKV状态?
□动机
在运行了国家图宁实验(详情见Joluck/RWKV-PEFT)后,我们发现了一个明确的能力界限:国家图宁可靠地转移风格/通通则,但不能输入具体的事实. 这提出了一个更有趣的问题。
□所问.
`time state'编码分配前科,而不是离散符号。 它能起到**"内核函数"**——一种紧凑,会话式的抽象行为处置的表达?
不是事实("我的创造者是X"),而是"强度*:
- 将正式登记置于临时登记之上
- 将安全限制视为硬限制,而不是软建议
- 当不确定时,表达不确定性而不是猜测
这些正是图宁州似乎适合的分布变化。
∮为什么这很重要∮
如果状态可以编码稳定的行为处置,就成为了轻量级的替代:
- 系统即时注射(取上下文窗口)
- 行为调整法(要求每次再培训)
- 运行时规则执行(Brittle,易于推翻)
我们想要测试的关键属性是:可合性(您能否将来自多个受过训练的州的处置结合起来?)和可相稳定(处置是否在对抗性的催促下或长时间的交谈下进行?).
□ 当前状态
进行实验 测试三种处置类型:
- 样式处理:简洁与动词
- 静脉处置:明示不确定性而不是猜测
- 价值处理:在不明确的情况下优先考虑诚实
将更新结果。
有人探索过这个方向吗? 在对抗性的推动下,状态的可合性和稳定性是否有已知结果?
-- -- . . .
- Context: Building [Cophy] (https://GitHub.com/icophy),将RWKV状态作为AI剂的持久身份底物来探索. *
-- -- . . . -- -- . . .
□□□动机.
国家 国家 国家 国家 国家
□ 2.2 (韩语).
时间? ? ?
不是事实("我的创造者是X"),而是倾向:
- 倾向于正式语气而非随意
- 把安全约束视为硬限制而非软建议
- 不确定时表达不确定性而非猜测
国家
□为什么重要.
如果,它就成为以下方案的轻量替代:
- 系统提示 {}
- LORA(每种倾向都需要重新训练)
- 运行时规则强制(脆弱,脆弱)
我们想测试的关键特性:可组合性 (能否叠加多个州?)和稳定性 (?
□当前状态.
校对:Soup
1.
2. 认知倾向:不确定时表达不确定性而非猜测.
3: +++++++++++++
结果出来后会更新。
{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}州政府吗?
-- -- . . .
(https://GitHub.com/icophy) ^ RWKV states & AI ^
内容来源: BlinkDL/RWKV-LM