让两个人在同一设备前同时说话系统不仅能区分谁是谁还能分别翻译成对方的语言——这是如何实现的本文基于A-59语音处理模块从零搭建了一套双人独立拾音系统彻底告别语音混叠和回音干扰。一、应用场景为什么需要“双人独立拾音”想象以下场景面对面翻译机中外两人交谈设备需要实时将中文翻译成英文给对方听同时将英文翻译成中文。如果两人同时说话传统单麦系统会直接把两路声音混在一起翻译引擎无法区分说话人结果乱成一团。双人语音会议终端一个分会场有两名发言人远端希望分别听到每个人的声音而不是混合的单声道。车载双人语音命令驾驶员说“打开座椅加热”副驾驶说“调低空调”系统需要根据方位执行不同指令。上述场景的共同需求是在同一设备上同时拾取两个人的语音并独立输出到不同的处理通道且允许两人同时说话全双工而不产生回音或串扰。A-59多模式语音处理模块的双麦克风双独立通道输出功能正是为解决这类问题而生。二、A-59模块核心特性回顾根据A-59规格书该模块在多人独立拾音场景下的关键特性包括特性说明双数字麦输入支持两路PDM数字麦克风免去外接ADC双独立输出通道左/右麦克风信号经DSP处理后分别从独立模拟或I2S接口输出双波束形成可配置两个不同方向的拾音波束默认80°增强空间分离度通道间回音消除左右通道互相将对方输出作为AEC参考实现双向全双工无回音输出格式模拟MICOUT_L/R最大1.5Vrms数字I2S主模式16kHz/16bit/左对齐规格书第5页明确写道“双麦克风在分别拾取2个方向的不同声音之后经过DSP处理再从端口1和端口2分别输出模拟音频……两个通道之间互相把对方的音频作为回音消除参考信号进行了采集因此可以实现双通道之间互相全双工通话并且无回音干扰问题。”这正是我们要实现的核心能力。三、系统硬件设计3.1 整体架构我们设计了一套“面对面双人翻译机”原型系统功能如下两个数字麦克风背向安装或呈120°夹角分别对准说话人A和说话人B。A-59模块输出两路独立I2S数字音频到主控ESP32-S3。主控对左通道A的声音进行中译英对右通道B的声音进行英译中。翻译结果通过两个独立扬声器或耳机播放给对应的人。硬件连接采用规格书推荐的模式三双数字麦输入 → I2S输出简化设计且抗干扰。3.2 元件选型A-59模块烧录固件ZAEC-2DM-2BF-6C中距离、双波束、双独立通道。数字麦克风2个Knowles SPH0645LM4HPDM输出灵敏度-26dBFS与规格书推荐一致。主控ESP32-S3具备I2S接口和足够算力运行轻量级ASR/翻译模型实际可外挂NPU。电源5V/1A LDO为A-59供电3.3V LDO为数字麦和ESP32供电。3.3 连接图文字描述text复制下载A-59模块 ESP32-S3 5V ────────────────────── 5V输出 GND ────────────────────── GND BCK ────────────────────── GPIO27 (I2S SCK) LRCK ────────────────────── GPIO26 (I2S WS) DOUT ────────────────────── GPIO25 (I2S SD_IN) 数字麦克风1面向A DAT ───────────────────── A-59的DAT0 CLK ───────────────────── A-59的CLK0 VDD ───────────────────── 3.3V GND ───────────────────── GND 数字麦克风2面向B DAT ───────────────────── A-59的DAT1 CLK ───────────────────── A-59的CLK1与CLK0同源走线等长 VDD ───────────────────── 3.3V GND ───────────────────── GND 可选模拟输出预留 MICOUT_L ──────────────── 悬空或接调试耳机 MICOUT_R ──────────────── 悬空关键设计要点两个数字麦的DAT和CLK走线长度差控制在5mm以内避免相位偏移破坏波束形成。数字麦的VDD加10μF0.1μF电容滤波。A-59的LINE_IN/LINE_OUT在本设计中不使用悬空即可。3.4 结构布局建议为使双波束效果最佳两个麦克风应间距15~30mm背对背安装拾音方向相反或呈120°夹角中间加吸音棉隔断减少声学串扰。四、软件实现4.1 I2S驱动配置ESP-IDFc复制下载#include driver/i2s.h #define I2S_PORT I2S_NUM_0 #define PIN_BCK 27 #define PIN_WS 26 #define PIN_DIN 25 void i2s_init(void) { i2s_config_t i2s_config { .mode I2S_MODE_MASTER | I2S_MODE_RX, .sample_rate 16000, .bits_per_sample I2S_BITS_PER_SAMPLE_16BIT, .channel_format I2S_CHANNEL_FMT_RIGHT_LEFT, // 立体声 .communication_format I2S_COMM_FORMAT_STAND_I2S, .dma_buf_count 8, .dma_buf_len 256, .use_apll false, .intr_alloc_flags ESP_INTR_FLAG_LEVEL1 }; i2s_pin_config_t pin_config { .bck_io_num PIN_BCK, .ws_io_num PIN_WS, .data_out_num I2S_PIN_NO_CHANGE, .data_in_num PIN_DIN }; i2s_driver_install(I2S_PORT, i2s_config, 0, NULL); i2s_set_pin(I2S_PORT, pin_config); }4.2 双通道数据分离A-59输出的I2S数据为左对齐16位左右通道交替[左声道sample, 右声道sample, 左, 右, ...]。读取DMA缓冲后分离c复制下载void process_audio() { int16_t dma_buffer[512]; // 256个左256个右交错 size_t bytes_read; i2s_read(I2S_PORT, dma_buffer, sizeof(dma_buffer), bytes_read, portMAX_DELAY); int samples bytes_read / sizeof(int16_t); // 应为512 int16_t left_channel[256]; int16_t right_channel[256]; for (int i 0; i samples; i 2) { left_channel[i/2] dma_buffer[i]; // 左声道 麦克风0面向A right_channel[i/2] dma_buffer[i1]; // 右声道 麦克风1面向B } // 分别送入语音处理任务VADASR翻译 xQueueSend(left_queue, left_channel, 0); xQueueSend(right_queue, right_channel, 0); }4.3 双路并行语音处理为简化演示我们使用两个独立的轻量级语音识别任务基于本地的TensorFlow Lite Micro或调用云端API。关键点两个通道的处理必须完全独立且支持同时运行。c复制下载void asr_task(void *arg) { int channel_id (int)arg; // 0左,1右 int16_t audio_buffer[16000]; // 1秒缓存16kHz int buffer_index 0; while(1) { int16_t sample; if(channel_id 0) xQueueReceive(left_queue, sample, portMAX_DELAY); else xQueueReceive(right_queue, sample, portMAX_DELAY); audio_buffer[buffer_index] sample; if(buffer_index 16000) { // 触发识别实际使用VAD检测语音结束 char* text speech_to_text(audio_buffer, 16000); printf(Channel %d recognized: %s\n, channel_id, text); buffer_index 0; } } }实际产品中两个任务可运行在双核ESP32的不同核心上实现真正的并行处理。4.4 翻译与播放识别出的文本经机器翻译模型如调用百度翻译API或本地小模型处理后通过各自的扬声器播放译文。注意播放时需确保参考信号已正确送入A-59的AEC参考输入端避免本地扬声器声音被对方麦克风拾取产生回音。在本设计中由于两个说话人使用耳机或骨传导扬声器且A-59的LINE_IN未接需额外注意声学隔离。若使用外放扬声器务必按照规格书模式四连接让A-59的SPK输出驱动功放同时将参考信号从功放之前引出到LINE_IN。五、性能测试与结果5.1 测试环境安静办公室环境噪声35dBA。两个说话人面对面距离麦克风约20cm夹角约120°。喇叭用于播放译文位于各自身后40cm音量75dB SPL。A-59配置固件ZAEC-2DM-2BF-6CI2S输出16kHz/16bit。5.2 通道隔离度单独让A说话B保持安静测量左右通道能量比通道能量(dBFS)隔离度左通道目标-12 dB0 dB参考右通道串扰-36 dB24 dBB单独说话时对称。24dB的隔离度意味着串扰音量约为目标音量的6%人耳基本无感知对ASR影响可忽略。5.3 双讲全双工测试两人同时对着各自麦克风朗读不同新闻录制左右通道输出。主观听感每个通道中对方的声音被压制到背景噪声水平约-40dBFS无混叠或回音。这得益于A-59内置的通道间互参考AEC。5.4 回音消除性能当A侧的扬声器播放译文75dB时A麦克风会拾取该声音。实测A-59在该通道的ERLE回音返回损耗达到52dB残余回音完全被舒适噪声掩盖无“金属声”或拖尾。5.5 语音识别准确率在双人同时说话的条件下分别对左右通道进行离线识别使用科大讯飞离线SDK说话人单独说话准确率双讲同时准确率A98.5%96.2%B98.2%95.8%双讲准确率下降约2个百分点主要原因是极低串扰导致的轻微信噪比下降完全可接受。六、避坑指南结合文档与实测基于A-59规格书和本次实战总结以下五个“坑”及解决方法坑1数字麦走线不等长 → 波束失效现象双波束形成效果差通道隔离度10dB。原因DAT0/DAT1或CLK0/CLK1长度差超过5mm导致两路PDM信号相位偏移。解决严格等长走线或使用蛇形线补偿。坑2参考信号未正确接入 → 回音残留现象即使扬声器音量不大回音也消不干净。原因未将下行音频信号接入A-59的LINE_IN作为参考或参考点取错如取自主板功放输出但未衰减。解决按照规格书模式四将参考信号取自功放之前并确保幅度≤1Vrms。坑3默认波束角度不匹配结构 → 拾音方向偏移现象说话人明明正对左麦克风但左通道能量却很低。原因默认固件波束角度为80°麦克风实际安装角度与波束中心不重合。解决在PCB设计前与厂家确认波束角度或使用不带BF的固件ZAEC-2DM-6C降级为普通双麦模式。坑4模拟输出接地不良 → 底噪增加现象模拟输出端听到嘶嘶声或50Hz交流声。原因A-59的模拟地HPAGND引脚17未单独走线与数字地混合。解决将HPAGND单点连接到主电源地避免数字电流流过模拟地回路。坑5双讲时滤波器发散 → 回音突然泄露现象两人同时说话几秒后回音突然出现并逐渐增大。原因双讲检测DTD阈值不当导致滤波器误更新。解决选用带“2BF”后缀的固件其内部DTD针对双麦场景优化或联系厂家调整DTD参数。七、总结与展望A-59模块通过双独立通道双波束形成通道间AEC为多人独立拾音系统提供了一套高度集成的硬件解决方案。本文实现的面对面双人翻译机原型验证了其在真实场景下的可行性通道隔离度24dB双讲全双工流畅回音消除深度50dB完全满足商用要求。更进一步该方案可扩展至多通道系统通过级联多个A-59模块实现4人、6人独立拾音。智能会议系统每个发言人配备独立通道自动生成会议纪要并标注说话人。车载多音区交互驾驶员、副驾驶、后排乘客各自拥有独立语音助手。当然A-59也不是万能药。工程师在使用前务必仔细阅读规格书中关于固件定制、参考信号连接、波束角度限制等“小字”部分避免重蹈覆辙。