这个小项目，上周被国外 AI 新闻网站报道，前些天又上了 github 热榜
829939 · LiweiDong · 2023-03-27 10:29:27 +08:00 · 17187 次点击这是一个创建于 404 天前的主题，其中的信息可能已经有所发展或是发生改变。
疫情期间在校花了几个月时间，写了这个小项目，是关于音频特征提取和分析的，自己是 AI 专业研究音频的，但受限于对音频特征的理解，做研究时总感觉缺乏“底料”，所以当做是学习练手做了这个小东西。
因为是学习练手的小项目，放 github 上面后就没有太多跟进了，后来看到国内几个有名的 github 项目周报博主，想着提下 issure ，如果被收录发表的话，得到些关注获得一些 star 也是很开心的，没想到一个也没收录发表，issure 都是被忽略跳过的。
想想有些灰心，做的这个小项目本身有些偏，和前后端领域都不怎么沾边，和当前大火的 chatGPT 各种业务项目也比不了，不被收录发表也是正常的。
本来想着这个小项目能有几十个 star 就很满足的，没想到除了同学的几个 star 之外一个关注都没有，灰心丧气之时，上周竟然被国外一个 AI 新闻网站报道，带来了一些流量增加 200+star ，虽然相比 github 上一些爆火、优质的项目不值得一提，但相比之前几个 star 的情况好大多了，这是相关的文章：
https://www.marktechpost.com/2023/03/24/meet-audioflux-a-deep-learning-library-for-audio-and-music-analysis-feature-extraction/
当时还是首页报道，赶快截了图
前些天又上 github trending ，这估计纯属运气好，但持续时间并不长，又增加了一小波流量带来 100+star
这是当时的榜单，几乎都是 chatGPT 相关或其它大作的项目，我这个小项目显得有些格格不入，赶紧截图了
最后看了一些关注用户，几乎大部分都是国外的，各领域都有，一些用户质量非常高，做深度学习相关的偏多。 希望国内感兴趣的能关注支持一下，如果能参与加入进来一起做好这个开源小项目更好。
项目地址： https://github.com/libAudioFlux/audioFlux
 |
101
829939 OP @beneo 我用的 PPT 。 工具了解的不多。app.diagrams.net 这个在线工具可以试下
|
|
102
829939 OP @stanwanng ECG 属于时序信号，频率非常低，侦测上突变相关的特征非常重要，可以采用 CWT(分析突变的好手)二维频谱数据直接走 CNN 卷积网络分类训练。
至于是否可用项目中 audio 特征，从信号领域来看都是一样，但 ECG 和 audio 本身而言差异还是比较明显，具体这块我也不太专业，推荐比较有名的，针对生物信号的 NeuroKit 开源项目可以研究下。 |
 |
104
james0517 2023-03-28 16:41:27 +08:00
有一个简单的业务需求，场景非常简单，声音里面只有有男声和女声，怎样分离出男生和女生，给些建议思路不胜感激
|
|
105
829939 OP @james0517 大佬提的这个业务属于音源分离，一般常用的做法是频域掩码，最简单的就是二值化掩码，有很多这块定向算法的研究，典型的如 NMF 算法相关的有很多种，很多也取得不错的效果，但效果好的还是使用深度学习训练频域掩码，也是这些年音频领域研究的热点之一。
|
 |
106
yingdashi 2023-03-28 17:08:15 +08:00
大佬，你是计算机还是通信的方向，学习这个项目要对数字信号处理掌握得比较好吗。希望你赐教。
|
 |
107
wtfedc 2023-03-28 18:31:11 +08:00
琛哥：这个就叫专业！
|
 |
109
butterls 2023-03-28 19:12:05 +08:00 via Android
@829939 感谢大佬提供思路
1. 业务场景希望可以跟随音频特征在有意义的点上触发振动，同时可以和音频协同，所以希望从音频特征提取信息来判断，振动的频率强度和时长等（马达一般是固定到某个频点振动，某种角度看驱动模式甚至有点像是 MIDI 发命令序列），难点可能是什么是有意义的点 2. 这些特征我都试试看，看到谷歌 AOSP 是直接对音频做的滤波但是实际效果差了很多，触觉域的建模也是不很清晰，但是和音频都是振动范畴想着在特征提取上借鉴音频的逻辑 |
 |
110
ChenYFan 2023-03-28 19:15:55 +08:00
看了之后很有用，但一时不知道能具体拿来干什么....先 star 了，感觉很有前途的一个项目
|
 |
111
timothyye 2023-03-28 19:17:43 +08:00
我想了半天 issure 是个啥……
|
 |
113
chancat 2023-03-29 05:39:39 +08:00 via Android
太牛了，已 fork
|
 |
114
SevenElevenZ 2023-03-29 11:24:41 +08:00
star 了，祝项目越来越好！
|
|
115
829939 OP |
 |
117
4ct0rwyt 2023-03-29 12:34:37 +08:00
支持一下大佬，已 star ，后续用用看
|
 |
118
CMLab 2023-03-29 12:53:21 +08:00
音乐中有关和弦识别这块，有什么好的高见？
|
|
119
829939 OP @chatWell1 你说的问题类似谐波打击乐分离(HPSS)，项目中的 hpss 相关算法可以测试下效果。
|
Select Language