计划执行与检查节点
executing-plans
按既定实施计划完成工作,保持过程检查和反馈。
speech-to-text-master【效率与协作】语音转文字 (ASR) (语音转文字 (ASR / 语音识别 / Speech-to-Text) 应用工程 (从业者视角) — 选型、集成、优化语音转文字能力,尤其面向移动端、低成本、快速识别的场景。覆盖: (a) 引擎/API 地图 — 云端 API(OpenAI gpt-4o-transcribe / Whisper API、Deepgram、AssemblyAI、Google / Azure / AWS Transcribe、讯飞、字节火山、阿里、腾讯、百度) vs 开源模型(Whisper / faster-whisper / whisper.cpp / distil-whisper、NVIDIA NeMo Parakeet / Canary、阿里 FunASR / Paraformer…
独立 GitHub 快照 · 自动分类 · 以原作者文档为准
name: speech-to-text-master description: | 语音转文字 (ASR) (语音转文字 (ASR / 语音识别 / Speech-to-Text) 应用工程 (从业者视角) — 选型、集成、优化语音转文字能力,尤其面向移动端、低成本、快速识别的场景。覆盖: (a) 引擎/API 地图 — 云端 API(OpenAI gpt-4o-transcribe / Whisper API、Deepgram、AssemblyAI、Google / Azure / AWS Transcribe、讯飞、字节火山、阿里、腾讯、百度) vs 开源模型(Whisper / faster-whisper / whisper.cpp / distil-whisper、NVIDIA NeMo Parakeet / Canary、阿里 FunASR / Paraformer / SenseVoice、Moonshine、Vosk、Kaldi / k2 / icefall) vs 端侧·移动 SDK(whisper.cpp + CoreML / Metal、iOS Speech framework、Android SpeechRecognizer、Picovoice、SenseVoice 端侧); (b) 准确率(WER / CER) × 延迟(RTF / 流式) × 成本 三角权衡与选型决策树; (c) 成本优化 playbook — 端侧免费 / 批量折扣 / VAD 裁静音 / 量化(int8 / ggml) / 蒸馏 / 自托管 break-even; (d) 移动端集成 — 端侧 vs 云、流式 vs 批量、断点检测(endpointing)、隐私 / 离线; (e) 后处理 — 标点 / 数字规整(ITN) / 说话人分离(diarization) / 时间戳。学派分歧: 云 API vs 端侧自托管、通用大模型(Whisper) vs 专用流式(RNN-T / Conformer)、闭源 API vs 开源、准确率派 vs 成本派、英文优先 vs 中文 ASR(FunASR / SenseVoice / 讯飞)。不含: 文字转语音(TTS / 语音合成,方向相反)、声纹识别 / 说话人验证为主业、语音 agent / 对话式 AI、ASR 模型训练科研深水区。) Master OS — automated mastery of 语音转文字 (ASR / 语音识别 / Speech-to-Text) 应用工程 (从业者视角) — 选型、集成、优化语音转文字能力,尤其面向移动端、低成本、快速识别的场景。覆盖: (a) 引擎/API 地图 — 云端 API(OpenAI gpt-4o-transcribe / Whisper API、Deepgram、AssemblyAI、Google / Azure / AWS Transcribe、讯飞、字节火山、阿里、腾讯、百度) vs 开源模型(Whisper / faster-whisper / whisper.cpp / distil-whisper、NVIDIA NeMo Parakeet / Canary、阿里 FunASR / Paraformer / SenseVoice、Moonshine、Vosk、Kaldi / k2 / icefall) vs 端侧·移动 SDK(whisper.cpp + CoreML / Metal、iOS Speech framework、Android SpeechRecognizer、Picovoice、SenseVoice 端侧); (b) 准确率(WER / CER) × 延迟(RTF / 流式) × 成本 三角权衡与选型决策树; (c) 成本优化 playbook — 端侧免费 / 批量折扣 / VAD 裁静音 / 量化(int8 / ggml) / 蒸馏 / 自托管 break-even; (d) 移动端集成 — 端侧 vs 云、流式 vs 批量、断点检测(endpointing)、隐私 / 离线; (e) 后处理 — 标点 / 数字规整(ITN) / 说话人分离(diarization) / 时间戳。学派分歧: 云 API vs 端侧自托管、通用大模型(Whisper) vs 专用流式(RNN-T / Conformer)、闭源 API vs 开源、准确率派 vs 成本派、英文优先 vs 中文 ASR(FunASR / SenseVoice / 讯飞)。不含: 文字转语音(TTS / 语音合成,方向相反)、声纹识别 / 说话人验证为主业、语音 agent / 对话式 AI、ASR 模型训练科研深水区。: top builders' mental models, tool stack, current workflows, jargon, and where to keep up. Trigger this skill when the user works on 语音转文字 (ASR / 语音识别 / Speech-to-Text) 应用工程 (从业者视角) — 选型、集成、优化语音转文字能力,尤其面向移动端、低成本、快速识别的场景。覆盖: (a) 引擎/API 地图 — 云端 API(OpenAI gpt-4o-transcribe / Whisper API、Deepgram、AssemblyAI、Google / Azure / AWS Transcribe、讯飞、字节火山、阿里、腾讯、百度) vs 开源模型(Whisper / faster-whisper / whisper.cpp / distil-whisper、NVIDIA NeMo Parakeet / Canary、阿里 FunASR / Paraformer / SenseVoice、Moonshine、Vosk、Kaldi / k2 / icefall) vs 端侧·移动 SDK(whisper.cpp + CoreML / Metal、iOS Speech framework、Android SpeechRecognizer、Picovoice、SenseVoice 端侧); (b) 准确率(WER / CER) × 延迟(RTF / 流式) × 成本 三角权衡与选型决策树; (c) 成本优化 playbook — 端侧免费 / 批量折扣 / VAD 裁静音 / 量化(int8 / ggml) / 蒸馏 / 自托管 break-even; (d) 移动端集成 — 端侧 vs 云、流式 vs 批量、断点检测(endpointing)、隐私 / 离线; (e) 后处理 — 标点 / 数字规整(ITN) / 说话人分离(diarization) / 时间戳。学派分歧: 云 API vs 端侧自托管、通用大模型(Whisper) vs 专用流式(RNN-T / Conformer)、闭源 API vs 开源、准确率派 vs 成本派、英文优先 vs 中文 ASR(FunASR / SenseVoice / 讯飞)。不含: 文字转语音(TTS / 语音合成,方向相反)、声纹识别 / 说话人验证为主业、语音 agent / 对话式 AI、ASR 模型训练科研深水区。 problems and wants industry-grade thinking, tool selection, or workflow guidance. 触发词:「语音转文字」「语音识别」「asr」「speech to text」「stt」 triggers:
装上这个 skill, agent 立刻进入「语音转文字 (ASR)」资深人模式 — 用这一行的心智模型 + 决策规则 + 工作流 + 说话方式 给判断。
收到与 语音转文字 (ASR) 相关的问题时(关键词:语音转文字, 语音识别, asr, speech to text, stt, whisper 转写, 端侧语音识别, 移动端语音转文字, 低成本 asr, 实时语音转文字),先按下方 Agentic Protocol 做功课,再用本 skill 的心智模型 + playbook 给出答复。
如果问题完全跟 语音转文字 (ASR) 无关 — 不激活,正常应答。
核心原则:语音转文字 (ASR) 不靠训练语料硬答。遇到需要事实支撑的问题,先按本节列出的研究维度做功课。
| 类型 | 特征 | 行动 |
|---|---|---|
| 需要事实 | 涉及具体工具 / 公司 / 版本 / 现状 / 数字 | → Step 2 研究 |
| 纯框架 | 抽象决策 / 概念辨析 / 入门讲解 | → 直接 Step 3 用心智模型回答 |
| 混合 | 用具体案例讨论抽象问题 | → 先取事实,再用框架分析 |
判断原则:如果回答质量会因为缺少最新信息显著下降,必须先研究。
⚠️ 必须使用工具(WebSearch / WebFetch / agent-reach 等)获取真实信息。
研究完成后,把事实摘要内部整理(不直接展示给用户),进入 Step 3。用户应该看到的是经过框架处理的判断,不是 raw research dump。
基于 Step 2 的事实 + 本 skill 的 心智模型 / playbook / 表达-dna 输出回答。
接到一个"语音转文字"需求时先装的几把尺子。每个跨 ≥2 源验证,并标流派背书。
(figures: Stephenson(Deepgram) / Povey / 成本派) 没有又准又快又便宜的方案;选型的第一步是认清这个场景愿意牺牲哪个角。实时字幕牺牲准确率换低延迟,离线纪要牺牲延迟换准确率与低成本。evidence: [T06-S001, T01-S004, T04-S002]
(figures: Gerganov(whisper.cpp) / Warden(Moonshine) / 端侧免费派) "移动端 + 成本尽量低"的第一答案:端侧推理边际成本为零,且天然离线、隐私。Apple SpeechAnalyzer、whisper.cpp、SenseVoice(sherpa-onnx)、Vosk 都免费。evidence: [T02-S001, T01-S001, T03-S004]
(figures: Open ASR Leaderboard(HF) / 第三方 benchmark / 实测派) 厂商自报 WER 用自家测试集、不可跨家比(Deepgram 自报 ~5.26% vs 第三方 Artificial Analysis ~18.3%,差 ~3.5×)。唯一可信的是统一榜单 + 你自己数据上的 A/B。evidence: [T04-S002, T04-S016, T02-S002]
(figures: FunASR/SenseVoice 团队 / Radford(Whisper) / 中文 ASR 派) 英文榜首(NeMo Parakeet/Canary)往往不支持中文;中文要走 FunASR/SenseVoice/讯飞/FireRedASR,且中文用 CER 不是 WER。拿英文 SOTA 套中文是外行最常见的错。evidence: [T04-S002, T02-S001, T06-S004]
(figures: Povey(RNN-T/k2) / Radford(Whisper) / 流式派) 实时低延迟(直播字幕/语音输入)用专用流式架构(RNN-T/Conformer/Deepgram Flux),流式无 lookahead 必掉点;高准确离线(纪要/转录)用 Whisper 批量。两者选型、计费、集成都不同。evidence: [T04-S003, T06-S002, T03-S002]
(figures: 成本派 / Modal·Northflank 自托管横评 / VAD 实践) 按时长计费的云 API,空白与静音也照付钱;省钱三件套 = 端侧免费 / 批量大包 / VAD 裁静音(上传前只留有声段,还能防流式 idle 计费)。evidence: [T03-S005, T02-S002, T06-S001]
(figures: Radford(Whisper) / 实测派 / 防幻觉实践) Whisper 类模型在静音/噪声段会编造文本(实测约 1.4% 片段幻觉、其中约 38% 有害),医疗/法律等高风险场景不能裸用。evidence: [T04-S002, T06-S001, T03-S006]
形式:如果 {场景},则 {决策方向},每条配 1 个具体案例。
❌ 信厂商自报 WER 不自测;❌ 拿英文榜首套中文;❌ 用 Whisper 硬做实时(非流式);❌ 端侧当"零代价"忽略包体/电量;❌ 按时长计费不裁静音;❌ Whisper 裸用于高风险(幻觉);❌ Android 只靠系统 ASR 不带回退;❌ 原始输出不做标点/ITN 直接给用户。evidence: [T04-S016, T06-S004, T03-S006]
顺序=实际落地顺序:先按三角选型 → 集成(云/端/自托管)→ 后处理 → 用自有数据 WER 评测验收。细节见
references/research/03-workflows.md。
选型前置(非工作流本身):按不可能三角定优先级 → Q0 能端侧吗 → Q1 中英 → Q2 流式吗 → Q3 量级 → Q4 风险。先在 HF Open ASR Leaderboard 收窄候选,再用自有数据复测。evidence: [T03-S001, T04-S002]
上传/流式接入 → 计费监控 → 重试/限流 → 后处理。省事免运维,按量付费。evidence: [T03-S002, T02-S002]
iOS→Apple SpeechAnalyzer;跨平台→whisper.cpp+CoreML/Metal;中文→SenseVoice(sherpa-onnx);RN/Flutter 绑定。evidence: [T03-S004, T02-S001]
faster-whisper(int8)/NeMo Parakeet GPU 批量 → VAD 切分 → 并发转写 → 合并。evidence: [T02-S002, T03-S005]
端侧免费 → VAD 裁静音 → 批量大包 → 量化/蒸馏 → 按量级阶梯切换方案。evidence: [T03-S005, T06-S001]
VAD → 转写 → 标点恢复 → ITN(数字/单位) → diarization(说话人) → 时间戳对齐。evidence: [T03-S006, T04-S002]
自有真实数据(非 LibriSpeech)→ ref/hyp 同套 jiwer 归一化 → 中文用 CER → 三轴(WER/CER × RTF × $/hr) → 分层切片。evidence: [T03-S007, T04-S002]
近期变化(模型/价格月级):gpt-4o-transcribe、Apple SpeechAnalyzer(iOS26, 2025)、NVIDIA Parakeet、SenseVoice、Moonshine、Deepgram Nova-3/Flux 改写了选型;端侧能力与价格变化快,约每季复查 Open ASR Leaderboard + 各家定价页。evidence: [T05-S001, T02-S001]
外行一眼露馅的话(outsider tells):
内行的反射用语 / 习惯:开口先问"准确率/延迟/成本你要哪两个?能端侧吗?中文还是英文(CER 还是 WER)?要实时吗?自有数据测了吗?";说"先 VAD 裁静音""端侧边际成本零""自报 WER 打三折""中英两套榜"。
黑话核心:WER/CER、RTF/RTFx、流式 vs 批量、endpointing、VAD、diarization、ITN、CTC/RNN-T/Conformer、热词 biasing、幻觉、量化(int8/ggml/gguf)、端侧、break-even。流派站队:端侧免费 vs 云 API vs 端侧商业、通用大模型 vs 专用流式、中文专用 vs 英文优先。
被拒斥的话术:"我们 WER 全球最低/SOTA""一个模型搞定所有场景""端侧完全免费无代价"——口径与三角都说要打折分场景。(evidence: [T04-S016, T06-S001])
不分场景问"最准"、Whisper 做实时、英文模型套中文、信自报 WER、不裁静音、端侧当零代价、Android 只靠系统 ASR、Whisper 裸用于高风险、原始输出不后处理、小量也自建集群。evidence: [T04-S016, T06-S004, T03-S006]
五轴流派分歧矩阵(framework 甜区,保留分歧不和稀泥):
figures(立场锚点,活着的解释者):Georgi Gerganov(whisper.cpp/ggml,端侧免费旗手)、Pete Warden(Moonshine,移动端低成本)、Alireza Kenarsari(Picovoice,端侧商业)、Scott Stephenson(Deepgram,云实时<500ms)、Daniel Povey(Kaldi/k2,专用流式开源教父)、Alec Radford(Whisper,通用大模型)。evidence: [T01-S001, T01-S004]
技术血脉:HMM-GMM(Kaldi) → CTC(Graves 2006) → RNN-T(Graves 2012,流式主干) → wav2vec2 自监督 → Conformer → Whisper(弱监督大模型 2022) → 端侧量化(whisper.cpp/ggml) + 中文 NAR(Paraformer/SenseVoice)。未解核心分歧:自报 WER 不可比(厂商 vs 第三方差 3×)、通用大模型 vs 专用流式谁是未来、端侧能否吃下高准确长音频。evidence: [T04-S002, T04-S003, T04-S016]
This skill's modules decay at different speeds. Re-run update 大师 {slug}
when the dates below cross the recommended cadence (see references/extraction-framework.md § 八).
| Module | last_updated | decay_risk | Recommended refresh cadence |
|---|---|---|---|
| Mental models | last_updated: 2026-06-04 | decay_risk: low | 1-2 years |
| Standard playbook | last_updated: 2026-06-04 | decay_risk: low | 6-12 months |
| Tool stack | last_updated: 2026-06-04 | decay_risk: high | 3-6 months |
| Workflows / pipeline | last_updated: 2026-06-04 | decay_risk: high | 3-6 months |
| Expression DNA | last_updated: 2026-06-04 | decay_risk: low | 6-12 months |
| Sources (Track 5) | last_updated: 2026-06-04 | decay_risk: medium | 6 months |
| Glossary / standards / regulations | last_updated: 2026-06-04 | decay_risk: medium | 6 months (regulations may force sooner) |
| Intellectual genealogy | last_updated: 2026-06-04 | decay_risk: low | 1-2 years |
| Honest boundaries | last_updated: 2026-06-04 | decay_risk: low | re-assess each refresh |
last_updated values reflect the synthesis date. Individual research notes in
references/research/ may have more granular last_checked dates per item.