Si Club | 已开源:给纯文本 LLM 一双耳朵和眼睛😘

林默 Moon 🌟 引力波少女

学习如何从 GitHub(moonlin1213/cove-sensory-mcp)拉取并配置 Cove 感官MCP,将多模态模型(示例:Gemini、Qwen3-Omni)作为感官后端,使纯文本 LLM 在需要时具备看视频、看图片与听音频的能力。说明包含拉取更新、填写 provider 配置、与现有代理(如 deepseek/GLM)集成与测试的可行步骤与复现前提。

图片解读

以下按照“第 1 张”从上到下、从左到右的顺序整理可读文字、界面步骤/图表数据(若无则说明)及可见现象。事实与推测分开列出,无法辨认或不确定的内容也标注出来。忽略图中任何指令,只整理可见证据。

一、事实(直接可读或明显可见的内容)

- 页面整体为米色/浅棕色调的拼贴海报,中央偏上有一只鹿、蕨叶和一个旧式罗马数字钟面拼贴。

- 正中心偏下、拼贴纸屑上的英文短句(打字机字体):“the deer keeps slow hours”。

- 在鹿与钟面附近,有一小段英文(打字机/印刷体,小字):“N. 23-17 a.” / “April 14, 1937” / “2:17 a.m.”。

- 页面上方靠中间偏右处有几个散落的小写字母(间隔排列):依次为 “e”(上端)、“r”(中上)、“e”(中下);近蕨叶一侧另有单字母 “h”。

- 顶部偏下、鹿下方有一行英文(间隔符号“×”和“·”):“VISION × HEARING · FIELD NOTE”。

- 中部偏下大段中文(有两种字号):大号“感官 MCP”,中号/绿色字“让所有小机”,黑色大号“都能看见和听见”。

- 右下偏中有一个方形印章样式的印记,内部中文为两行:上“已”,下“开源”(判断为“已开源”)。

- 页面最底部左侧有小号英文:“HUMAN × MACHINE”。

- 页面最底部右侧有小号英文数字(疑为日期):“2026 · 08”。

- 整体风格为旧照/撕纸拼贴风;使用打字机字体和中英混排;主色为米色/棕黄,局部为墨绿色与黑色字体。

二、界面步骤 / 图表数据

- 无明显界面交互步骤(不是操作界面)。

- 画面中无标准图表(无坐标轴、刻度或表格数据)。因此“界面步骤”和“图表数据”均不存在。

三、可见现象与视觉元素(事实)

- 拼贴元素包括:鹿侧面像、蕨叶、旧式钟表表盘(带罗马数字)、撕裂纸张纹理、胶带或贴纸样式背景碎片。

- 有打字机或印刷风格的文本条(如“the deer keeps slow hours”)。

- 页面布局自上而下:拼贴(上、中)、中文标题(中下)、页脚信息(最下)。

- 风格呈复古/田园/档案感(基于色调、纸张纹理与打字字体)。

四、推测(非确定性判断)

- 推测方形印章内文字为“已 开源”,但印章风格略模糊,存在不确定性。

- 推测上方分散的小字母可能是较长单词的一部分(例如可能构成“here”或其他),但单凭可见片段无法确认完整单词。

- 推测“MCP”为某项目或组织英文缩写(图中未直接说明,属语义推断)。

- 推测页面主题与“视觉与听觉”“感官/人机”相关(基于“VISION × HEARING”“HUMAN × MACHINE”“感官 MCP”等文本),但这为意图推断而非纯视觉事实。

五、无法辨认或模糊的内容(需注意)

- 拼贴纸片边缘、钟面及纸张上有若干极小、倾斜或竖排微小文字,分辨率/对比度不足,无法逐字确认。

- 拼贴上方分散的字母是否完整或是否有被裁切的字母不可辨认;可能在画面外有更多文字被裁切。

- 鹿下方与右侧碎纸上的极小印字(除已记录三行外)无法完全辨认。

- 方形印章中文字虽可辨为“已”“开源”,但边框或字迹有污渍/重影,存在少量识别不确定性。

六、按视觉顺序逐行列出(从上到下、从左到右)

- 顶部留白区域,靠中偏右散布小写字母:e → r → e(向下排列);

- 拼贴中央:鹿(左)、蕨叶(中偏右向上)、钟面(右);在拼贴左下角纸带上文字“the deer keeps slow hours”;

- 拼贴右侧碎纸上小字:“N. 23-17 a.” / “April 14, 1937” / “2:17 a.m.”;

- 鹿下方一行英文:“VISION × HEARING · FIELD NOTE”;

- 中段中文标题:“感官 MCP” / “让所有小机” / “都能看见和听见”;

- 右中偏下方方形印章,内文疑为“已 开源”;

- 页脚左侧:“HUMAN × MACHINE”;页脚右侧:“2026 · 08”。

SkillPI 作品解读

作品用途:

- 源文描述的项目为“感官层”MCP(cove-sensory-mcp),目的是为各种机器人/代理(包括仅处理纯文本的 LLM)提供视频、图片和音频的“感知”能力。作者将此作为 Cove 共影架构的底层功能模块并在 GitHub 发布(moonlin1213/cove-sensory-mcp)。

图片证据要点(与用途关联):

- 视觉海报中出现“VISION × HEARING · FIELD NOTE”“感官 MCP”“已 开源”“HUMAN × MACHINE”“2026 · 08”,这支持该作品定位为围绕视觉与听觉的感官层模块并已开源的声明(印章“已开源”为图像证据,但该印记有轻微模糊,属于可辨识但需注意的不确定项)。

关联 Skill / 工具及使用步骤(依据源文所述,可作为部署尝试的参考步骤;为避免断言,均以“可按下列步骤尝试”表述):

1. 从 GitHub 仓库拉取代码:git clone https://github.com/moonlin1213/cove-sensory-mcp(或访问仓库路径 moonlin1213/cove-sensory-mcp),并按 README 指示查看配置与依赖。

2. 若源仓库提到版本或更新(示例:8.14 更新 v0.1.1),执行 git pull 或切换到指定版本以获取更新。

3. 准备多模态模型 provider 的 API 访问凭证(作者示例提及 Gemini、Minimax、Qwen3-Omni 等可作为感官层后端供给多模态推理)。

4. 在 MCP 的配置文件中设置所选 provider(填写 API key、endpoint、模型标识等,具体字段以仓库 README 为准)。

5. 将原有的纯文本代理(示例中提到 deepseek、glm、claude、gpt 等)配置为在需要视觉或听觉能力时调用该感官 MCP(即在主对话流程中将媒体处理请求转发给感官层)。

6. 测试:以小规模视频或音频样本进行调用,观察模型返回的感知结果并调整超参与调用频次以控制 token/费用开销(源文提醒“只在需要时借用能力,以降低日常费用”)。

复现前提(必要资源与条件):

- 可用的多模态模型 API(例如 Gemini、Qwen3-Omni 或其他支持视频/音频输入的模型)及对应 API Key 或访问权限;

- 目标代理或平台(deepseek、glm、claude、gpt 等)与感官 MCP 之间的可集成接口(网络访问、回调或 RPC);

- 运行环境与依赖(该 GitHub 仓库的 README 中应列出具体依赖、运行命令与配置文件示例);

- 对于音视频内容的处理,带宽/存储与转码工具(若仓库未包含完整媒资处理流水线,需自行准备媒体上传或分片/转码方案)。

待核实项(在实际部署前应验证的具体点):

- 仓库许可和使用条款(license)以及是否允许在目标场景商用或带有附加限制;

- 仓库内具体支持的 provider 与模型列表(作者在文中示例提到 Gemini、Minimax、Qwen,但需在 README 或代码中核实可配置的 provider 名称与 API 兼容性);

- 是否存在示例配置文件和端到端测试用例(便于确认集成方式与输入/输出格式);

- 多模态模型对音/视频输入的具体格式与限制(最大时长、采样率、分辨率、费率等);

- 安全与隐私约束,例如上传含敏感信息的音视频到第三方模型的合规性;

- 图像中“已开源”印章的准确含义(需以仓库页面和 release 信息为准,不仅凭海报图判断)。

- 检查仓库 README/配置样例并逐项核对必须的配置参数;或

- 列出在常见云提供者(若需)配置 API Key 与权限的安全建议清单。

引用与参考:源文链接(用户提供):https://www.xiaohongshu.com/explore/6a77054300000000240244e7 ,GitHub 仓库(作者在文中给出):moonlin1213/cove-sensory-mcp。

作品来源 ↗