智客公社

标题: Whisper：OpenAI的语音识别利器，现在人人都能用！ [打印本页]
作者: C·Killua    时间: 2025-2-9 11:57
标题: Whisper：OpenAI的语音识别利器，现在人人都能用！
OpenAI 又放大招了！这次不是什么神秘的 AI 模型，而是直接开源了他们的语音识别系统——Whisper。这意味着，以前只有大佬才能玩转的语音转文字技术，现在普通开发者也能轻松上手了！是不是有点小激动？
一、Whisper 项目介绍

Whisper 是一个通用的语音识别模型，由 OpenAI 精心打造。它经过海量、多样化的音频数据训练，身兼多职，不仅能进行多语种语音识别，还能进行语音翻译和语种识别。简单来说，有了 Whisper，你就能轻松搞定各种语音处理任务，再也不用为听不懂外语视频而烦恼了！
1. 模型架构

Whisper 采用的是 Transformer 序列到序列模型。它将多语种语音识别、语音翻译、语种识别和语音活动检测等多种语音处理任务整合到一个模型中进行联合训练。这种方式将传统的复杂语音处理流程简化为一个单一模型，效率大大提升。

[attach]848392[/attach]

上图展示了 Whisper 的大致工作原理，是不是感觉有点高大上？其实用起来很简单！
二、Whisper 的基本功能

Whisper 的功能非常强大，主要包括：
三、Whisper 的部署方式

部署 Whisper 也非常简单，只需要几个简单的步骤：
1. 环境准备

首先，你需要准备好以下环境：
2. 安装 Whisper

使用 pip 命令即可轻松安装 Whisper：
pip install -U openai-whisper或者，直接从 GitHub 仓库安装：
pip install git+https://github.com/openai/whisper.git如果想更新到最新版本，可以使用以下命令：
pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git3. 安装 ffmpeg

ffmpeg 是一个强大的音视频处理工具，Whisper 需要它来处理音频文件。具体的安装方法可以参考 Whisper 的官方文档，这里就不赘述了。
4. 安装 Rust (可选)

如果 tiktoken 没有为你提供预构建的 wheel，可能需要安装 Rust。具体的安装方法也可以参考 Whisper 的官方文档。
四、Whisper 的使用方式

Whisper 的使用方式非常灵活，既可以通过命令行使用，也可以在 Python 代码中使用。
1. 命令行使用

使用命令行转录音频非常简单：
whisper audio.flac audio.mp3 audio.wav --model turbo指定语言：
whisper japanese.wav --language Japanese翻译成英语：
whisper japanese.wav --language Japanese --task translate查看所有选项：
whisper --help2. Python 代码中使用

在 Python 代码中使用 Whisper 也很方便：
import whispermodel = whisper.load_model("turbo")result = model.transcribe("audio.mp3")print(result["text"])3. 模型选择

Whisper 提供了多种模型尺寸，包括 tiny, base, small, medium, large 和 turbo。不同的模型在速度和准确率之间有所权衡。
Size
Parameters
English-only model
Multilingual model
Required VRAM
Relative speed
tiny
39 M
tiny.en
tiny
~1 GB
~10x
base
74 M
base.en
base
~1 GB
~7x
small
244 M
small.en
small
~2 GB
~4x
medium
769 M
medium.en
medium
~5 GB
~2x
large
1550 M
N/A
large
~10 GB
1x
turbo
809 M
N/A
turbo
~6 GB
~8x

一般来说，.en 模型在英语语音识别方面表现更好。turbo 是 large-v3 的优化版本，速度更快。
4. 性能表现

Whisper 在不同语言上的表现有所差异。
总的来说，Whisper 是一个非常强大的语音识别工具，无论是开发者还是普通用户，都可以从中受益。快来试试吧！
作者: 加冰的露露    时间: 2025-2-10 07:41
我觉得不错，太厉害了
作者: jingjing24    时间: 2025-2-10 21:17
我只是路过，不发表意见
作者: 柳xu_    时间: 2025-2-11 20:40
鼎力支持！！



欢迎光临 智客公社 (https://bbs.cnaiplus.com/) Powered by Discuz! X3.5