Files
2026-10-09 19:18:33 +08:00

416 lines
18 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# -*- coding: utf-8 -*-
"""风格特征与风格分类 —— 只吃 librosa,纯数值,不碰 demucs/whisper。
为什么单独一个文件:
songforge 主链路是零重依赖的,风格判定属于"生成后验收"的一部分,
必须在 venv 侧跑。把它独立出来,`qc_worker.py` 和
`tools/make_style_ref.py` 共用同一套取特征逻辑——否则"建语料"和
"验收"各写一份,特征对不上,分类结果就是自欺欺人。
风格怎么判(重要,不要改成拍脑袋的阈值):
这里不做"频谱质心 > X 就是朋克"这种单指标硬判。做法是拿历史里
已经按风格命名、并且用户听过没否掉的歌当语料,逐首算同一套特征,
按稳健标准化后建三个风格质心(pop / punk / hiphop),用最近质心
分类,并做留一验证(LOO)把准确率一起存下来。
准确率不够高时,报告里如实写"风格判定不可信",只当参考不当闸门。
坑位记录:
1. 速度必须做八度折叠。实测 `晚风不加班`(设定 86 BPM)会被判成
170.5 BPM,正好是 2 倍——librosa 的 onset 包络在半速拍子上会
锁到二倍拍。直接比设定值会把这个风格判死。
2. 频谱类特征跨度极大(质心 1400~6000 Hz),必须取 log 再标准化,
否则质心一项就主导了整段欧氏距离。
3. perc_ratio 用 HPSS 的打击成分占比。朋克的军鼓+失真吉他、
hiphop 的 kick+hi-hat 都会偏高,流行的人声+弦乐偏低。
单看这个不如 BPM 有区分度,但作为辅助项能压掉误判。
4. 特征里绝对不能有"人声轨 / 混音轨 能量比"。带标签的历史语料有 30~50 首,
每一首都跑 demucs 要花几十分钟,而且 demucs 对不同混音的分离程度
本身就不一致,这个比值混进去是纯噪声。风格只看混音轨。
"""
import os
import re
import numpy as np
FAMILY = {
"pop": "pop",
"punk": "punk",
"emopunk": "punk",
"urbanhiphop": "hiphop",
"chillhiphop": "hiphop",
"partyrap": "hiphop",
"funkhiphop": "hiphop",
"discofunk": "hiphop",
"jazzhiphop": "hiphop",
"guofeng": "hiphop",
}
FAMILIES = ("pop", "punk", "hiphop")
# 特征顺序即向量顺序,改这里必须重建 style_ref.json,否则老语料错位。
FEATURES = (
"tempo", # 八度折叠后的实测速度
"tempo_drift", # 速度稳定度(越小越稳)
"centroid", # log 频谱质心 -> 亮/暗
"rolloff", # log 85% rolloff -> 高频能量
"hf_ratio", # >6kHz 能量占比 -> 亮泽/嘶叫
"lf_ratio", # <150Hz 能量占比 -> 低频厚度/sub
"dynamic", # 动态范围 dB
"onset_density", # 每秒击打数
"perc_ratio", # HPSS 打击成分占比
"flatness", # 谱平坦度 -> 噪声/失真成分(朋克嘶叫会抬高)
"crest", # 峰值因子,越小越被压得平
)
_LOG_IDX = (FEATURES.index("centroid"), FEATURES.index("rolloff"))
# ------------------------------------------------------------------ 工具
def fold_bpm(value, ref):
"""把 value 折叠到离 ref 最近的八度。
坑位:librosa.beat 在慢速律动上会锁到 2 倍拍,不折叠会把 86 BPM 的歌
判成 170 BPM,然后"实测速度与设定偏差 98%",一个完全正常的歌被判死。
"""
if value is None or ref is None:
return value
try:
v = float(value)
r = float(ref)
except (TypeError, ValueError):
return value
# 坑位:非有限值和非正数会一路穿到 log2 里,log2(inf) 再喂给 round()
# 直接抛 OverflowError,把整首 QC 打断。下游只想要"折不动就原样返回"。
if not (np.isfinite(v) and np.isfinite(r)) or v <= 0 or r <= 0:
return v
ratio = r / v
if not np.isfinite(ratio) or ratio <= 0:
return v
return v * (2.0 ** round(np.log2(ratio)))
def fold_track(track, ref):
return np.array([fold_bpm(x, ref) for x in track], dtype=np.float32)
def _band_ratio(y, sr, lo, hi):
"""指定频带能量占比。用 rfft 直接算,比 mel 滤波器组省事也够稳。"""
if y.size < 256:
return 0.0
n = 1 << int(np.ceil(np.log2(y.size)))
sp = np.abs(np.fft.rfft(y, n)) ** 2
freqs = np.fft.rfftfreq(n, 1.0 / sr)
band = sp[(freqs >= lo) & (freqs < hi)].sum()
tot = sp.sum()
return float(band / tot) if tot > 0 else 0.0
# ------------------------------------------------------------------ 取特征
def tempo_of(y, sr, expect_bpm=None):
"""返回 (折叠后中位速度, 折叠后速度漂移)。expect_bpm 用来定折叠方向。"""
import librosa
y16 = y if sr == 16000 else librosa.resample(
np.asarray(y, dtype=np.float32), orig_sr=sr, target_sr=16000)
sr16 = 16000 if sr != 16000 else sr
oe = librosa.onset.onset_strength(y=y16, sr=sr16)
# librosa 0.11 起 beat.tempo 全是 keyword-only,位置传参直接 TypeError
tr = librosa.beat.tempo(onset_envelope=oe, sr=sr16, hop_length=512,
aggregate=None)
tr = np.asarray(tr, dtype=np.float32)
tr = tr[np.isfinite(tr) & (tr > 0)]
if not tr.size:
return 0.0, 0.0
raw_med = float(np.median(tr))
anchor = fold_bpm(raw_med, expect_bpm) if expect_bpm else raw_med
ft = fold_track(tr, anchor)
ft = ft[(ft > 0) & (ft < 400)]
if not ft.size:
return 0.0, 0.0
med = float(np.median(ft))
# 坑位:原来用 (p90 - p10) / median 算漂移,但 librosa 逐帧 tempo 的首尾
# 各有一拍宽的边界伪影,180s 的歌能攒出十几秒伪影区,被 p90/p10 一夹
# 就放大成 25%+ 的"漂移",而同一首歌按 10s 分块的中位全是设定值
# (实测 104.2/104.2,IQR=0)。改用中位绝对偏差,只对整体性的加速/
# 减速敏感,对边界伪影和偶发跳拍免疫。
drift = _mad_rel(ft, med)
return med, drift
def _mad_rel(track, med):
"""相对中位绝对偏差。返回 0.0 表示测不出整体漂移。"""
if track.size == 0 or med <= 0:
return 0.0
mad = float(np.median(np.abs(track - med)))
return (mad / med) if med > 0 else 0.0
def features(path, expect_bpm=None, cache_dir=None):
"""算一首歌的完整风格特征向量。
坑位:这个函数只允许吃混音轨(path)。不要往里塞 demucs 人声轨——
建历史语料时要对几十首老歌跑,塞进去就等于把风格判定绑死在分离质量上,
而 demucs 的分离程度本身随混音变化。声线由 qc_worker 单独负责。
"""
import librosa
import soundfile as sf
x, sr = sf.read(path, always_2d=True)
x = np.asarray(x, dtype=np.float32)
y = x.mean(axis=1)
dur = y.size / float(sr)
tempo, tempo_drift = tempo_of(y, sr, expect_bpm)
y16 = librosa.resample(y, orig_sr=sr, target_sr=16000)
sr16 = 16000
S = np.abs(librosa.stft(y16, n_fft=2048, hop_length=512)) + 1e-12
centroid = float(np.mean(librosa.feature.spectral_centroid(S=S, sr=sr16)))
rolloff = float(np.mean(librosa.feature.spectral_rolloff(
S=S, sr=sr16, roll_percent=0.85)))
# 谱平坦度:几何均值/算术均值。噪声化(失真、嘶叫、lo-fi)会把它抬高,
# 干净的钢琴/弦乐 pad 会压得很低。比 "高频能量占比" 更能区分失真音色。
gm = np.exp(np.mean(np.log(S), axis=0))
am = np.mean(S, axis=0)
flatness = float(np.mean(gm / am))
bs = 3 * sr
n = max(1, y.size // bs)
rmss = np.array([np.sqrt(np.mean(np.square(y[i * bs:(i + 1) * bs])) + 1e-20)
for i in range(n)], dtype=np.float32)
dyn = float(20 * np.log10(max(rmss.max(), 1e-9) / max(rmss.min(), 1e-9)))
oe = librosa.onset.onset_strength(y=y16, sr=sr16)
hop = 512
onset_density = float(len(librosa.onset.onset_detect(
onset_envelope=oe, sr=sr16, hop_length=hop)) / max(dur, 1e-6))
h, p = librosa.effects.hpss(y16)
perc_ratio = float(np.mean(np.abs(p)) /
max(np.mean(np.abs(h)) + np.mean(np.abs(p)), 1e-9))
peak = float(np.max(np.abs(y))) if y.size else 0.0
rms_all = float(np.sqrt(np.mean(np.square(y)) + 1e-20))
crest = float(20 * np.log10(max(peak, 1e-9) / max(rms_all, 1e-9)))
vec = {
"tempo": tempo,
"tempo_drift": tempo_drift,
"centroid": float(np.log10(max(centroid, 1.0))),
"rolloff": float(np.log10(max(rolloff, 1.0))),
"hf_ratio": _band_ratio(y16, sr16, 6000, sr16 / 2),
"lf_ratio": _band_ratio(y16, sr16, 20, 150),
"dynamic": dyn,
"onset_density": onset_density,
"perc_ratio": perc_ratio,
"flatness": flatness,
"crest": crest,
}
return vec, dict(centroid_hz=centroid, rolloff_hz=rolloff,
flatness=flatness,
onset_density=onset_density, perc_ratio=perc_ratio,
crest=crest, peak=peak)
def vector(vec):
return np.array([float(vec[k]) for k in FEATURES], dtype=np.float64)
# ------------------------------------------------------------------ 分类器
def _robust_scale(X):
"""中位数 + IQR 标准化。IQR 比 std 抗离群值。"""
med = np.median(X, axis=0)
q1 = np.percentile(X, 25, axis=0)
q3 = np.percentile(X, 75, axis=0)
iqr = np.maximum(q3 - q1, 1e-6)
return med, iqr
class StyleRef(object):
"""风格质心分类器。语料不足或 LOO 太低时 self.trusted=False。"""
def __init__(self, data):
self.note = data.get("note", "")
self.loo = data.get("loo", {})
self.items = data.get("items", [])
self.med = np.array(data["med"], dtype=np.float64)
self.iqr = np.array(data["iqr"], dtype=np.float64)
self.centroids = {k: np.array(v, dtype=np.float64)
for k, v in data["centroids"].items()}
self.counts = data.get("counts", {})
self.trusted = bool(data.get("trusted", False))
def _z(self, vec):
return (vector(vec) - self.med) / self.iqr
def classify(self, vec):
"""返回 (top_family, conf, dists)。conf 是 softmax 后的置信度。"""
z = self._z(vec)
dists = {}
for fam, c in self.centroids.items():
dists[fam] = float(np.sqrt(np.mean((z - c) ** 2)))
order = sorted(dists, key=lambda k: dists[k])
if not order:
return "", 0.0, dists
top = order[0]
e = {k: np.exp(-dists[k]) for k in order}
s = sum(e.values())
return top, float(e[top] / s if s > 0 else 0.0), dists
def nn(self, vec):
"""最近邻:返回 (最像的文件名, 与它的标准化距离, 该文件所属风格)。
这是声线之外第二个'像不像已认可作品'的信号,且自带人耳可解释性:
报告里能直接说出"最像 身体先听懂(urbanhiphop)"。
"""
z = self._z(vec)
best = ("", 1e9, "")
for it in self.items:
d = float(np.sqrt(np.mean((z - np.array(it["z"], dtype=np.float64)) ** 2)))
if d < best[1]:
best = (it["file"], d, it.get("family", ""))
return best
def load(path):
import json
if not path or not os.path.isfile(path):
return None
with open(path, encoding="utf-8") as f:
return StyleRef(json.load(f))
def _loo_groups(items):
"""按"歌"分组,而不是按文件。
坑位(踩过):最初按文件留一,得到 100% 准确率,一度以为分类器完美。
实际上同一首歌的 _00001/_00002/_00003 是同一首曲子的不同 seed,
音频高度同源。留一时只拿掉一个 seed,剩下 5 个"同款"还留在质心里,
等于让样本给自己作证,准确率必然虚高。
真正的留一必须整首拿掉——验证的是"没听过这首歌时能不能认出风格"。
"""
g = {}
for i, it in enumerate(items):
key = it.get("group") or _group_key(it.get("file", ""))
g.setdefault(key, []).append(i)
return g
def _group_key(file):
"""从文件名还原"这是哪一首歌"。dy10_城市晚安_swl_00001 -> dy10_城市晚安。
只用于分组,不是标签。
坑位:这里曾经把第一个下划线之前的前缀当"批次号"砍掉,只留后面的歌名。
结果 chillhiphop_慢慢来 和 hit10_慢慢来 被并成同一组,58 个文件只出
57 个组。留一验证时同一首歌的另一版本还留在质心里,样本等于给自己作证。
所以只剥 seed 号和模型后缀,风格前缀必须留着——它本来就是区分同名歌的
唯一信息。命名不规范时退回整条文件名也不会错。
"""
stem = file.rsplit(".flac", 1)[0]
stem = re.sub(r"_\d{5}$", "", stem) # 去掉 seed 号
stem = re.sub(r"_swl$", "", stem, flags=re.I) # 去掉模型后缀
return stem
def build(items, loo_min=0.65, fam_min=0.50):
"""由带标签的语料建质心,并做按歌分组的留一验证。
items: [{"file","family","bpm","vec"}]
返回可直接 json.dump 的字典。
关于阈值为什么这么严(实测数据,别拍脑袋改):
语料是 58 首歌(pop 35 / hiphop 16 / punk 7)。按歌分组留一后,
最好的组合也只到 ~65%:pop 有 4 成被判成 hiphop,hiphop 也有近
1 成被判成 pop。逐个特征看下来没有救——tempo 单项 49%、centroid
单项 39%,加特征、加权、改标准化都只在 60~67% 之间晃。
根因是语料本身重叠:pop 语料里的 chill/disco/funk 变体和 hiphop
语料在制作手法上就是连续的,不是分类器没调好。
所以这里刻意把门槛设高(loo_min=0.65 且每个家族都要 >=0.50),
让 trusted 大概率为 False —— 风格判定只写进报告当参考,不当放行闸门。
宁可报告里写"风格不可信",也不要一个 60% 准确率的分类器
拿去做"风格不符就判 FAIL"的闸门,那是在用假精度杀人。
风格的第一物理保证是实测 BPM 与设定 BPM 对齐(见 HARD.bpm_rel_tol)。
"""
import json
X = np.array([vector(it["vec"]) for it in items], dtype=np.float64)
med, iqr = _robust_scale(X)
Z = (X - med) / iqr
cent = {}
counts = {}
for fam in FAMILIES:
idx = [i for i, it in enumerate(items) if it["family"] == fam]
if not idx:
continue
counts[fam] = len(idx)
cent[fam] = np.mean(Z[idx], axis=0)
# ---- 按歌分组留一:整首拿掉,重算标准化和质心,再看它能不能被认对
groups = _loo_groups(items)
correct = 0
total = 0
per = {}
confusion = {}
for key, idxs in groups.items():
fam = items[idxs[0]]["family"]
keep = [i for i in range(len(items)) if i not in set(idxs)]
Xk = np.array([vector(items[i]["vec"]) for i in keep],
dtype=np.float64)
mk, ik = _robust_scale(Xk)
Zk = (Xk - mk) / ik
ck = {}
for f in FAMILIES:
j = [n for n, i in enumerate(keep) if items[i]["family"] == f]
if j:
ck[f] = np.mean(Zk[j], axis=0)
if len(ck) < 2:
continue
z = np.mean([(vector(items[i]["vec"]) - mk) / ik for i in idxs], axis=0)
d = {f: float(np.sqrt(np.mean((z - c) ** 2))) for f, c in ck.items()}
top = min(d, key=lambda k: d[k])
total += 1
good = top == fam
correct += 1 if good else 0
a = per.setdefault(fam, [0, 0])
a[1] += 1
a[0] += 1 if good else 0
cell = confusion.setdefault(fam, {})
cell[top] = cell.get(top, 0) + 1
acc = float(correct / total) if total else 0.0
fam_acc = {k: (v[0] / float(v[1]) if v[1] else 0.0) for k, v in per.items()}
# 总体准确率高也可能被某一个大类撑起来,所以每个家族都要单独过线。
# 三个家族里只要有一个基本认不出来(比如 punk 全被判成 pop),
# 这个分类器就不能拿去做风格闸门。
fam_ok = bool(fam_acc) and min(fam_acc.values()) >= fam_min
ref = dict(
features=list(FEATURES),
med=[float(x) for x in med],
iqr=[float(x) for x in iqr],
centroids={k: [float(x) for x in v] for k, v in cent.items()},
counts=counts,
items=[dict(file=it["file"], family=it["family"],
group=it.get("group") or _group_key(it["file"]),
bpm=it.get("bpm"), vec=it["vec"],
z=[float(x) for x in Z[i]])
for i, it in enumerate(items)],
loo=dict(acc=round(acc, 4), n=total, n_songs=len(groups),
mode="group-by-song",
per_family={k: dict(acc=round(v[0] / max(v[1], 1), 3), n=v[1])
for k, v in per.items()},
confusion=confusion,
fam_min=round(min(fam_acc.values()) if fam_acc else 0.0, 3)),
trusted=bool(total >= 9 and acc >= loo_min and fam_ok),
note=("由 tools/make_style_ref.py 在历史已认可歌上生成,不要手改。"
"trusted 只有在按歌分组 LOO >= %.0f%% 且每个家族都 >= %.0f%% 时为真;"
"实测语料 pop/hiphop 制作手法重叠,多轮尝试后总体约 60~67%%、"
"单家族最低约 43%%,"
"所以本文件通常 trusted=false —— 风格判定只当参考,"
"风格的第一物理保证是实测 BPM 与设定 BPM 对齐。"
% (loo_min * 100, fam_min * 100)),
)
return ref