78 GitHub avatar

xiaozhi-esp32

C++
嵌入式语音聊天机器人78最近推送 2026年11月18日
AI 应用MIT33.4k7,960700 issues7 天 +352

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

基于 MCP 的 ESP32 语音聊天机器人固件,让硬件接入大模型并控制设备。

这是一个运行在 ESP32 系列芯片上的开源聊天机器人固件,以语音交互为入口,调用 Qwen、DeepSeek 等大模型能力。它通过 MCP 协议实现多终端控制:设备端可控制扬声器、LED、舵机、GPIO,云端可扩展智能家居、电脑操作、知识搜索等能力。项目支持 138 个开发板目录、171 个发布变体,覆盖 ESP32、C3、C5、C6、S3、P4 等芯片。

推荐指数

5.0

生态成熟、板卡适配广,是 ESP32 语音助手方向最值得上手的开源项目之一。

近 7 天

+352

新增 Star

总 Star 排名

#198

雷达追踪的 3,931 个 AI 仓库中

创建于

2024

2024年8月31日

核心亮点

  • 1MCP 双向扩展

    设备端控制外设,云端扩展大模型工具能力。

  • 2板卡覆盖广

    支持 138 个开发板目录、171 个发布变体。

  • 3离线语音唤醒

    基于 ESP-SR,唤醒词可自定义。

  • 4多种联网方式

    Wi-Fi、以太网、USB RNDIS 和 Cat.1 4G。

  • 5实时语音链路

    Opus 流式 ASR+LLM+TTS,支持全双工。

适用场景

  • DIY 语音助手

    例如:用 ESP32-S3 面包板按教程搭一个能对话的桌面小助手。

  • 智能硬件原型

    例如:在 M5Stack CoreS3 上做带屏幕表情和摄像头的语音终端。

  • 设备控制实验

    例如:通过设备端 MCP 用语音控制舵机、LED 和 GPIO。

  • 多语言产品验证

    例如:利用 39 种界面语言做面向海外市场的语音硬件 Demo。

它是怎么工作的

  1. 第 1 步

    语音采集与唤醒

    麦克风采集语音,ESP-SR 离线唤醒词触发交互。

  2. 第 2 步

    音频上传

    通过 WebSocket 或 MQTT+UDP 传输 Opus 音频流。

  3. 第 3 步

    云端识别与生成

    服务端完成 ASR、大模型推理和 TTS 合成。

  4. 第 4 步

    MCP 调用工具

    设备端和云端 MCP 分别控制外设与扩展服务。

  5. 第 5 步

    结果回传播放

    音频与显示内容返回设备,屏幕展示表情和画面。

快速上手

  1. 1

    刷写固件

    新手可直接刷预编译固件,默认连接 xiaozhi.me 服务器。

  2. 2

    注册账号

    在 xiaozhi.me 注册后可免费使用 Qwen 实时模型。

  3. 3

    准备开发环境

    安装 VSCode 或 Cursor 及 ESP-IDF 插件,SDK 最低为 ESP-IDF v6.0.1。

  4. 4

    编译烧录

    按文档选择对应板卡配置后编译并烧录到设备。

适合谁

  • 想入门 ESP32 语音交互的开发者
  • 做智能硬件原型的创客和团队
  • 需要多板卡适配方案的硬件工程师

不太适合

  • 只想做纯软件聊天机器人的开发者
  • 不愿接触嵌入式开发环境的新手

成熟度

  • 活跃度最近更新于 2026-11-16,仍在持续迭代。
  • 文档有独立文档站、多语言 README 和分步教程。
  • 社区约 3.3 万 star、近 8000 fork,社区规模大。
  • 上手难度提供免环境刷机固件,但二次开发需 ESP-IDF 6.x 环境。

使用前注意

  • · 项目要求 ESP-IDF v6.0.1 及以上,5.x 已不支持。
  • · 默认连接官方 xiaozhi.me 服务器,自建服务需另行配置。
  • · 不同板卡的外设与功能支持存在差异,需对照板卡目录确认。
  • · 采用 MIT 许可,商用前建议核对第三方依赖的许可。

主题标签

chatbotesp32mcp