Fix opening filler with bare Instrumental and dual-gate QC.
selftest / selftest (push) Canceled after 0s

ACE-Step no-vocal condition is the exact [Instrumental] marker; colon prose in the lyrics channel induced wordless filler. Recheck now ASRs full vocals and pairs filler ratio with demucs energy.

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
swl
2026-10-10 14:29:02 +08:00
co-authored by Cursor
parent 6d79ab93a2
commit 8be5782006
6 changed files with 162 additions and 252 deletions
+58 -159
View File
@@ -681,17 +681,10 @@ def build_inst_lyrics(intro_detail=None, bars=8):
否则 pad/riser/lead 词会把前奏铺成 ambient 空场(实测 GroovePure
开头 sub 只有 -66 dBFS,中段是 -55.8 dBFS)。
"""
d = intro_rhythm_only(intro_detail)
# 括号里只写配器名词短语。"from the very first beat" 这类介词短语
# 会被 _INTRO_CLAUSE_RE 判为可唱散文——它确实该写进 tags
# (RULE_GROOVE_FIRST_BEAT),不该出现在歌词条件通道里。
head = ("[Instrumental: %d bar instrumental intro hook, %s, "
"four on the floor groove, beat one kick and bass, "
"no vocals, no voice, no singing]" % (bars, d))
# 纯器乐同样用官方裸 [Instrumental];配器细节只在 tags。
body = [
"[intro]",
head,
"[instrumental]",
"[Instrumental]",
"",
"[breakdown]",
"[inst]",
@@ -727,20 +720,20 @@ def build_inst_lyrics(intro_detail=None, bars=8):
def build_intro(detail=None, bars=8):
"""器乐前奏描述。必须纯英文,中文说明词会被模型唱出来。"""
d = detail or DEFAULT_INSTRUMENT
return ("[Instrumental: %d bar instrumental hook, %s, "
"drums enter on the first beat, no vocals, no humming]" % (bars, d))
"""官方 ACE-Step 无人声条件:裸 ``[Instrumental]``(无冒号、无配器散文)。
依据(ACE-Step 1.5 文档 / 社区 prompting guide,2026):
- DiT 用精确字符串 ``[Instrumental]`` 作 no-vocal condition;
- 标记下无正文 = 器乐段;小节数与 groove 写在 caption/tags;
- 有歌词时再在 tags 堆 ``no vocals`` / 往括号塞英文,易诱发无词衬词。
detail/bars 保留入参仅为兼容,不再写入歌词通道。
"""
return "[Instrumental]"
def build_lyrics(sections, intro_detail=None, bars=8, tail=None):
"""sections 为 [(tag, text)],首段强制为器乐前奏。
intro_detail 若是中文会被自动降级为默认英文配器。
"""
if intro_detail and re.search(r"[\u4e00-\u9fff]", intro_detail):
intro_detail = None
out = ["[intro]", build_intro(intro_detail, bars), "[instrumental]", ""]
"""sections 为 [(tag, text)],首段强制为器乐前奏。"""
out = ["[intro]", build_intro(intro_detail, bars), ""]
for tag, text in sections:
out.append(tag)
out.append(text.strip())
@@ -751,13 +744,12 @@ def build_lyrics(sections, intro_detail=None, bars=8, tail=None):
def strip_cn_instrumental(lines):
"""清掉正文里 [Instrumental: ...] 的中文说明,防止被唱出来。"""
"""把任何 [Instrumental: ...] 收成官方裸 [Instrumental]。"""
out = []
for ln in lines:
s = ln.strip()
m = re.match(r"^\[Instrumental:[^\]]*\]$", s, re.I)
if m and re.search(r"[\u4e00-\u9fff]", s):
out.append("[Instrumental: no vocals, drums and bass only]")
if re.match(r"^\[Instrumental:", s, re.I):
out.append("[Instrumental]")
continue
out.append(ln)
return out
@@ -791,12 +783,7 @@ def build_chill_lyrics(sections, intro_detail=None, bars=8, total_bars=90):
total_bars 来自 meter.capacity(),用它算出器乐段要占多少小节,
让"器乐占大部分时长"这个听感成立,而不是随手写三段 [inst]。
"""
d = intro_rhythm_only(intro_detail)
out = ["[intro]",
("[Instrumental: %d bar instrumental intro hook, %s, "
"four on the floor groove, beat one kick and bass, "
"no vocals, no voice, no singing]" % (bars, d)),
"[instrumental]", ""]
out = ["[intro]", "[Instrumental]", ""]
# 先铺满器乐段。留 1/4 给结尾的器乐收尾,其余全放前面。
inst_bars = max(4.0, float(total_bars) - float(bars))
@@ -821,37 +808,19 @@ def build_chill_lyrics(sections, intro_detail=None, bars=8, total_bars=90):
def filter_intro_bracket(lyrics):
"""把已有 [intro] 里的 [Instrumental: ...] 括号过一遍 rhythm 过滤。
"""把 [intro] 段里的 ``[Instrumental: ...]`` / 重复 ``[instrumental]``
收成官方裸 ``[Instrumental]``。
为什么手写歌词也要过滤(2026-10-05):
assemble() 原来分两条路。build_lyrics() / build_chill_lyrics() /
build_inst_lyrics() 这三条自己拼前奏,都调用了 intro_rhythm_only();
但"歌词文件已经自带 [intro] 头"这条分支只调 force_intro_bars()
改了个小节数,括号内容原样透传。
于是作者手写的前奏描述成为唯一一条绕过过滤的路径——而
intro_rhythm_only() 的整段注释(pad/riser 词数 3:4 压过 kick/snare
3 项,模型按多数走)说的正是这条路径会出的问题。实测 ckfunk
批次 12/16 个 seed 前奏 sub 掉到 -80 dB 以下。
只处理 [intro] 段里的第一行括号,段落正文一个字都不动:
正文是要唱的,过滤词表(lead/melody/vocal 等)是为配器串设计的,
拿去过滤歌词会把 "I lead me to the dance floor" 这类正常句子改坏。
括号被过滤到全空时不能空手进模型:空括号等于"这里没内容",模型更容易
直接铺成空场。此时退回 DEFAULT_INTRO_RHYTHM。
作者写的前奏描述优先,不拿风格字典去覆盖它——作者可能刻意写了
"808 sub slide into the hook" 这种会被整项丢掉的词。
依据:ACE-Step DiT 训练的无人声条件是精确字符串 ``[Instrumental]``;
冒号后塞配器/禁令会进歌词条件通道,诱发无词衬词或被原样唱出。
小节数与 groove 只写在 tags(RULE_INTRO / RULE_GROOVE_FIRST_BEAT)。
"""
lines = lyrics.split("\n")
out = []
in_intro = False
saw_inst = False
def _emit(text, src):
"""按原行尾回写,避免 CRLF 文件被改写成混合行尾。
split("\\n") 之后 CRLF 的 "\\r" 仍挂在行尾。直接拼新串会把它丢掉,
而其余行还带着 "\\r",join 之后同一文件里就有两种行尾了。
"""
if src.endswith("\r") and not text.endswith("\r"):
return text + "\r"
return text
@@ -860,81 +829,35 @@ def filter_intro_bracket(lyrics):
s = ln.strip()
if re.match(r"^\[intro\]$", s, re.I):
in_intro = True
saw_inst = False
out.append(ln)
continue
# 顺序要紧:必须先判 [Instrumental: ...],再判"段落结束"。
# 反过来的话它自己就以 "[" 开头,会被当成 intro 收尾,
# 过滤分支永远进不去(2026-10-05 修的就是这个)。
if in_intro and re.match(r"^\[instrumental:", s, re.I):
detail = re.sub(r"^\[Instrumental:\s*", "", s, flags=re.I)
detail = re.sub(r"\s*\]$", "", detail)
# 中文括号整段放行。
#
# intro_rhythm_only() 的分项词表全是英文,中文项匹配不到任何
# KEEP / DROP,只会走兜底把整段替换成 DEFAULT_INTRO_RHYTHM——
# 也就是把作者写的中文前奏描述整句丢掉换成英文。作者写中文说明
# 他清楚自己要什么,改写他反而破坏意图。前奏低频现在主要由标签
# 侧的 RULE_GROOVE_FIRST_BEAT 兜住,不依赖这里过滤中文。
if re.search(r"[\u4e00-\u9fff]", detail):
out.append(ln)
in_intro = False
continue
# 保留 "8 bar instrumental intro hook" 这类纯结构性前缀,
# 只对逗号后面的配器串做过滤。
#
# 这里必须先验前缀"干净"再决定保留,不能只看有没有逗号。
# 正则里 (?:,\s*(.*))? 是可选组:写
# [Instrumental: 8 bar intro hook with ambient pad]
# 这种没有逗号的句子时,lazy 的 .*? 会回溯到把整串吃进前缀,
# rest 为空 → 过滤完全不执行,pad 原样留在前奏里。
# 所以前缀只接受不含任何配器词、只由 bar/instrumental/intro/
# hook/groove/break 这类结构词组成的形态,否则整串送过滤。
prefix, rest = "", detail
mpre = re.match(
r"^(\d+\s*bar\b[^,]*?)\s*(?:,\s*(.*))?$", detail, re.I | re.S
)
if mpre and _INTRO_PREFIX_OK.match(mpre.group(1).strip()):
prefix, rest = mpre.group(1).strip(), mpre.group(2) or ""
newd = prefix
if rest.strip():
filtered = intro_rhythm_only(rest)
if filtered:
newd = ("%s, %s" % (prefix, filtered)) if prefix \
else filtered
elif not prefix:
newd = DEFAULT_INTRO_RHYTHM
out.append(_emit("[Instrumental: %s]" % newd, ln))
# 先判 Instrumental / inst,再判其它结构标记(否则 [Instrumental: 会收尾)
if in_intro and re.match(
r"^\[instrumental(?::[^\]]*)?\]$", s, re.I):
if not saw_inst:
out.append(_emit("[Instrumental]", ln))
saw_inst = True
in_intro = False
continue
if in_intro and re.match(r"^\[inst\]$", s, re.I):
if not saw_inst:
out.append(_emit("[Instrumental]", ln))
saw_inst = True
in_intro = False
continue
# intro 段结束:遇到下一个结构标记就收手
if in_intro and s.startswith("["):
if not saw_inst:
out.append("[Instrumental]")
saw_inst = True
in_intro = False
out.append(ln)
return "\n".join(out)
def force_intro_bars(lyrics, bars):
"""把已有 [intro] 头里的前奏小节数改写为 bars。
标签和歌词头必须写同一个数字。之前 chill 标签改成 16 小节、歌词头还是
8 小节,模型同时收到两个互相矛盾的指令,前奏长度完全随机。
这里只改数字,不动描述内容。
"""
def _repl(_m):
return "%d bar" % bars
out = []
for i, ln in enumerate(lyrics.split("\n")):
if i >= 12:
out.append(ln)
continue
s = ln.strip()
if s.lower().startswith("[instrumental:") and \
re.search(r"\d+\s*bar", s, re.I):
out.append(re.sub(r"(\d+)\s*bar", _repl, s, count=1, flags=re.I))
else:
out.append(ln)
return "\n".join(out)
"""历史兼容:小节数只写在 tags。歌词侧统一收成裸 [Instrumental]。"""
return filter_intro_bracket(lyrics)
# 前奏括号里只允许出现"配器名词短语"的机器判据。
@@ -1003,42 +926,27 @@ _INTRO_LEAK_PHRASE_RE = re.compile(
def _check_intro_bracket_speakable(head):
"""前奏括号里不许出现会被唱出来的散文句。
为什么必须机器判(不靠 code review 兜住):括号内容直接进模型的
歌词条件通道,已经两次因为往里塞长句而把生成指令唱进了成品。
第一次靠注释提醒,第二次照样漏——所以把规则写成检查。
两套判据,取并集:
1. _INTRO_CLAUSE_RE —— 结构性信号(系动词 / 代词 / 介词短语…)
2. _INTRO_LEAK_PHRASE_RE —— 实证泄漏过的具体措辞
只用第 1 套会漏掉 "no fading in, no swelling in" 这类纯并列短语,
只用第 2 套则拦不住新写的散文句。两套互补,缺一不可。
白名单前缀 "8 bar instrumental intro hook" 只含 bar / instrumental /
intro / hook,不含任何子句信号,不会被误判。
"""
"""若仍残留 ``[Instrumental: ...]``,禁止散文/泄漏措辞(assemble 应已剥掉)。"""
errs = []
m = re.search(r"\[instrumental:(.*?)\]", head, re.I | re.S)
if not m:
return errs
errs.append(
"前奏请用裸 [Instrumental],不要 [Instrumental: ...]:"
"括号内容进歌词条件通道会诱发衬词或被原样唱出"
)
body = m.group(1)
hits = _INTRO_CLAUSE_RE.findall(body)
if hits:
uniq = sorted(set(h.lower() for h in hits))
errs.append(
"前奏括号含会被唱出的子句成分 [%s]:括号是歌词条件通道,"
"只允许配器名词短语(kick / sub bass / snare / hand claps),"
"要求句与量词句请写进 tags"
% ", ".join(uniq)
"前奏括号含会被唱出的子句成分 [%s]" % ", ".join(uniq)
)
leak = _INTRO_LEAK_PHRASE_RE.findall(body)
if leak:
uniq = sorted(set(l.lower() for l in leak))
errs.append(
"前奏括号含已实证会被唱出的生成指令措辞 [%s]:"
"这几句在 Bounce_s8 的成品里被原样唱了出来,"
"同类要求请写进 tags(RULE_GROOVE_FIRST_BEAT)"
"前奏括号含已实证会被唱出的生成指令措辞 [%s]"
% ", ".join(uniq)
)
return errs
@@ -1058,10 +966,15 @@ def check_rules(lyrics, tags, lean=False):
if not lyrics.lstrip().lower().startswith("[intro]"):
errs.append("歌词首行必须是 [intro]")
head = lyrics[:400]
if "[instrumental:" not in head.lower():
errs.append("歌词开头必须有 [Instrumental: ...] 器乐前奏描述")
elif not re.search(r"\[instrumental:[^\]]*\d+\s*bar", head, re.I):
errs.append("器乐前奏必须写明小节数(如 '8 bar instrumental hook')")
hl = head.lower()
if re.search(r"\[instrumental:", hl):
errs.append(
"前奏请用裸 [Instrumental],不要 [Instrumental: ...] "
"(括号内容进歌词通道会诱发衬词)"
)
elif not re.search(r"\[instrumental\]", hl) and \
not re.search(r"\[inst\]", hl):
errs.append("歌词开头必须有裸 [Instrumental] 或 [inst] 器乐前奏")
for ln in lyrics.split("\n"):
s = ln.strip()
if s.startswith("[") and s.endswith("]") and \
@@ -1087,12 +1000,7 @@ def check_rules(lyrics, tags, lean=False):
if bad in low:
errs.append("tags 点名衬词音节 '%s'(会诱发开曲衬词,请用 "
"no wordless vocals)" % bad)
# 器乐前奏小节数:普通歌曲 8 小节,chill 吟唱 8 小节,纯器乐 8 小节。
# 三种模式现在统一 8 小节(chill 曾试过 16,实测对人声起点毫无作用)。
# 这里仍然只校验"写了且在 4~32 范围内",不写死具体数字:
# 旧校验把整句 "8 bar instrumental intro hook" 写死后,chill 换成 16 小节
# 直接被拦下,而且报错完全指不到真实原因。改成匹配"N bar"后,
# 两种措辞(带 hook / 不带 hook)都接受。
# 小节数只写在 tags(歌词侧是裸 [Instrumental])
m = re.search(r"(\d+)\s*bar instrumental intro(?: hook)?", low)
if not m:
errs.append("tags 必须写明器乐前奏小节数"
@@ -1100,15 +1008,6 @@ def check_rules(lyrics, tags, lean=False):
elif not (4 <= int(m.group(1)) <= 32):
errs.append("器乐前奏小节数 %s 超出合理范围 4~32"
% m.group(1))
else:
# tags 与歌词头必须写同一个小节数。之前 chill 标签改成 16 小节、
# 歌词头还停在 8 小节,模型同时收到两个互相打架的指令,
# 结果是前奏长度完全随机。这里直接把不一致判成错误。
mh = re.search(r"\[instrumental:[^\]]*?(\d+)\s*bar", head, re.I)
if mh and int(mh.group(1)) != int(m.group(1)):
errs.append("tags 写 %s 小节前奏,歌词头写 %s 小节,"
"两处必须一致"
% (m.group(1), mh.group(1)))
return errs