OpenClawSkills
GitHub
平台 • 5 分钟阅读

语音唤醒

mac 应用中的语音唤醒和按住说话模式以及路由详情

Tutorial.step

模式

- ''唤醒词模式''(默认):始终开启的语音识别器等待触发令牌(''swabbleTriggerWords'')。匹配时它开始捕获,显示带有部分文本的覆盖层,并在静音后自动发送。

- 按住说话(按住右 Option):按住右 Option 键立即捕获——无需触发。覆盖层在按住时显示;释放后短暂延迟后完成并转发,以便您可以调整文本。

Tutorial.step

运行时行为(唤醒词)

- 语音识别器位于 ''VoiceWakeRuntime'' 中。

- 触发器仅在唤醒词和下一个词之间存在有意义的暂停时才触发(约 0.55 秒间隔)。覆盖层/铃声可以在命令开始之前在暂停时开始。

- 静音窗口:语音流动时为 2.0 秒,如果仅听到触发器则为 5.0 秒。

- 硬停止:120 秒以防止失控会话。

- 会话之间的去抖动:350 毫秒。

- 覆盖层通过 ''VoiceWakeOverlayController'' 驱动,具有已提交/易失性着色。

- 发送后,识别器干净地重新启动以监听下一个触发器。

Tutorial.step

生命周期变体

- 如果启用了语音唤醒并授予了权限,唤醒词识别器应该正在监听(除了在显式的按住说话捕获期间)。

- 覆盖层可见性(包括通过 X 按钮手动关闭)绝不能阻止识别器恢复。

Tutorial.step

粘性覆盖层故障模式(以前)

以前,如果覆盖层卡住可见并且您手动关闭了它,语音唤醒可能显示为"死机",因为运行时的重新启动尝试可能被覆盖层可见性阻止,并且没有安排后续重新启动。

加固:

- 唤醒运行时重新启动不再被覆盖层可见性阻止。

- 覆盖层关闭完成通过 ''VoiceSessionCoordinator'' 触发 ''VoiceSessionCoordinator'',因此手动 X 关闭始终恢复监听。

Tutorial.step

按住说话细节

- 热键检测使用全局 ''.flagsChanged'' 监视器来监视''右 Option''(''keyCode 61'' + ''.option'')。我们只观察事件(不吞噬)。

- 捕获管道位于 ''VoicePushToTalk'' 中:立即启动语音,将部分内容流式传输到覆盖层,并在释放时调用 ''VoiceWakeForwarder''。

- 当按住说话开始时,我们暂停唤醒词运行时以避免音频点击冲突;它在释放后自动重新启动。

- 权限:需要麦克风 + 语音;查看事件需要辅助功能/输入监视批准。

- 外部键盘:有些可能不会按预期公开右 Option——如果用户报告遗漏,则提供备用快捷键。

Tutorial.step

面向用户的设置

- 语音唤醒 切换:启用唤醒词运行时。

- 按住 Cmd+Fn 说话:启用按住说话监视器。在 macOS < 26 上禁用。

- 语言和麦克风选择器、实时电平表、触发词表、测试器(仅本地;不转发)。

- 麦克风选择器在设备断开连接时保留上次选择,显示断开连接提示,并暂时回退到系统默认值,直到它返回。

- ''声音'':在触发检测和发送时响起;默认为 macOS "Glass" 系统声音。您可以为每个事件选择任何 ''NSSound'' 可加载文件(例如 MP3/WAV/AIFF)或选择''无声音''。

Tutorial.step

转发行为

- 当启用语音唤醒时,转录内容将转发到活动网关/代理(与 mac 应用程序的其余部分使用的相同的本地与远程模式)。

- 回复将传递给上次使用的主要提供商(WhatsApp/Telegram/Discord/WebChat)。如果传递失败,则记录错误,并且运行仍然可以通过 WebChat/会话日志查看。

Tutorial.step

转发有效载荷

- ''VoiceWakeForwarder.prefixedTranscript(_:)'' 在发送前添加机器提示。在唤醒词和按住说话路径之间共享。

Tutorial.step

快速验证

- 打开按住说话,按住 Cmd+Fn,说话,释放:覆盖层应显示部分内容然后发送。

- 按住时,菜单栏耳朵应保持放大(使用 ''triggerVoiceEars(ttl:nil)'');它们在释放后消失。