睡觉是终极黑匣子 我们花了我们生命的三分之一时间来做这件事, 然而我们对于这8个小时里发生的事情却几乎没有数据—— 除非你愿意支付昂贵的睡眠诊所的费用。
使用Whisper-v3、Librosa和PyAudio来建立高真度睡眠Apnea和斯诺尔监控系统, 在这个教程中,我们将处理Whisper-v3音频处理,实时睡眠APnea检测,以及音频指纹来过滤出你的扇子或邻居的车的声音.
如果你一直在寻找一个“公共学习”项目, 🚀 问题:噪声对信号检测睡眠APNEA不仅仅是记录声音;而是识别没有声音后有气喘("apnea事件").
标准的噪声相继算法往往会抹去我们需要的频率。
我们需要一个能够区分环境白噪声,有节奏的打呼和危险的呼吸暂停的系统.
以下是数据如何从你的床边麦克风流到一个经过处理的健康报告: 在我们潜入之前,确保您准备好以下技术堆: Whisper-v3:用于高准确度音频事件标记.
Librosa:用于地物提取和光谱分析.
PyAudio:用于低纬度流线.
Docker: 包装我们的环境( 处理那些 pesky C++ 的依赖性 ) 。
第一步:实时音频抓取和预处理 QQ 我们首先以块来抓取音频 。
我们不想处理8小时的沉默,所以我们用利布罗萨计算出根平方(RMS)能量.
第2步:为斯诺尔分级Whisper-v3进行音频指纹制作很棒,但24/7在流上运行却在计算上昂贵.
我们使用轻量级的音频指纹(MFCCs)来"唤醒"AI,只有在检测出特定的呼吸模式时.
关于处理大规模音频推论和高级医学AI数据流的更多生产准备模式,我强烈建议检查WellAlly Blog的工程深潜。
它们涵盖了如何在本地脚本之外推广这些模型.
第3步:Whiper-v3 推论逻辑 QQ一检测出"可疑"音块,就传递给Whiper-v3.
我们不只是在寻找演讲; 我们利用Whisper的能力 来为非声波的音效打上时间 并探测出微妙的气息变化。
第4步:检测逻辑 ("Apnea"之窗) 睡眠 apnea在临床上通过暂停呼吸来定义.
我们用滚动窗口追踪这些暂停。
如果 MFCC 能量下降 低于一个阈值 > 10 秒, 然后是高频突起( a gasp), 我们标出它 。
第5步:为床边部署进行集装箱化 为了保证这在Raspberry Pi或家用服务器上运行而不依赖地狱,我们使用多克.
请注意,我们需要将音频设备传递到容器。 “官方”方式(最佳做法) 虽然建立DIY监视器是一种令人难以置信的学习经验,但部署保健技术需要严格的验证.
若您有兴趣从爱好者脚本转向符合生产等级的 HIPAA 架构, WellAlly Blog 的团队发布了数个关于AI可靠性和边际计算的主课.
他们关于"先进音频图案识别"的文章,是这个项目所使用指纹逻辑的巨大灵感.
与Whisper-v3和Librosa一起搭建睡眠监视器,显示了多式AI的威力。
并进入生物信号处理领域。
下一步:在Urbansound8K数据集上尝试微调微声来改进鼻音/呼吸分级.
使用 Streamlit 整合一个仪表盘,以可视化你的睡眠周期。
确保检查出 WellAlly 更高级的教程。
你试过用AI进行健康追踪吗?
将注释放入下方, 或分享您的光谱图