Google-USM EU AI Act Compliance Profile

Google USM: Extracted Gemma-3n Audio Encoder (USM)

[!Note] このモデルの実態は不明確です。Introducing Gemma 3n: The developer guideには、 USMに基づくエンコーダーが使用されていると記述されていますが、USMの論文とこのモデルにはいくつかの異なる点が存在します。 このモデルは0.6Bですが、USMの論文の0.6Bモデルとは層の数が異なります。 このモデルは Gemma 3n の AudioEncoder であり、本来の USM とは異なる可能性があります。

Model Description

このモデルは、Googleのマルチモーダルモデル google/gemma-3n-e2b-it から、音声エンコーダー部分 (audio_tower) のみを抽出したものです。

bf16版：https://huggingface.co/Atotti/google-usm-bf16

アーキテクチャは、論文 Universal Speech Model に基づくGemma3nAudioEncoderです。

このエンコーダーは、音声波形データを受け取り、その内容を表現する高次元の特徴量（エンコーディング）のシーケンスに変換する役割を果たします。

Intended Use

このモデルは単体で音声認識（文字起こし）などを行うものではなく、より大きなモデルのコンポーネントとして使用されることを想定しています。

• マルチモーダルモデルの音声入力部として: 生成AIに音声情報を与えるための特徴量を抽出します。
• 音声分類: このモデルの出力に分類ヘッドを追加して、特定の音声を分類するタスクでファインチューニングします。

How to Use

dependencies

import torch
import soundfile as sf
from transformers import Gemma3nAudioEncoder, Gemma3nAudioFeatureExtractor

encoder_id = "Atotti/google-usm"
source_model_id = "google/gemma-3n-e2b-it"

audio_encoder = Gemma3nAudioEncoder.from_pretrained(encoder_id)
feature_extractor = Gemma3nAudioFeatureExtractor.from_pretrained(source_model_id)

device = "cuda" if torch.cuda.is_available() else "cpu"
audio_encoder.to(device)
audio_encoder.eval()

waveform, sampling_rate = sf.read("/path/to/your_audio_file.wav")


inputs = feature_extractor(
    [waveform],
    sampling_rate=sampling_rate,
    return_tensors="pt"
)

audio_mel = inputs["input_features"].to(device)
audio_mel_mask = (inputs["input_features_mask"] == 0).to(device)

with torch.inference_mode():

    audio_encodings, output_mask = audio_encoder(
        audio_mel=audio_mel,
        audi

Your obligations as a Google-USM deployer

Track your progress

Sign up to track obligations, receive deadline reminders, and generate audit packages.

Tags

Library