Transformers documentation

Nemotron 3 Konuşmacı Ayrıştırma

Transformers

Başlayın

Transformers Kurulum Hızlı Başlangıç

Taban sınıfları

Modeller

Önişleyiciler

Çıkarım

Pipeline API

Generate API

Optimizasyon

Modellerle sohbet edin

Sunum

Eğitim

Başlayın

Özelleştirme

Parametre verimli ince ayar

Performans

Dağıtık eğitim

Donanım

Kantizasyon

Ekosistem entegrasyonları

Kaynaklar

API

Ana sınıflar

Modeller

Metin modelleri

Görüş modelleri

Ses modelleri

Video modelleri

Çok modlu modeller

Pekiştirmeli öğrenme modelleri

Zaman serisi modelleri

Dahili yardımcılar

Referans

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2026-09-23 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Nemotron 3 Konuşmacı Ayrıştırma

Genel Bakış

Nemotron 3 Diarization, gerçek dünya seslerinde “kimin ne zaman konuştuğunu” belirlemek üzere tasarlanmış, açık ağırlıklı bir akış konuşmacı ayrıştırma modelidir. Hem akış hem de çevrimdışı çıkarımı destekler, en fazla sekiz konuşmacıyı işler ve konuşmacı çıktıları, her konuşmacının girdi sesindeki ilk varlığına göre sıralanır.

Model, Streaming Sortformer için tanıtılan 1 ve 1, 2 Arrival-Order Speaker Cache (AOSC) ile FIFO kuyruğunu kullanır. Tek bir checkpoint, 80 ms'lik bir giriş tamponundan 30,4 sn'lik çevrimdışı tarzı bir tampona kadar yapılandırılabilir gecikme profillerini ve 10 ms'nin katları şeklinde yapılandırılabilir çıktı çerçeve çözünürlüğünü destekler. Parçalı çıkarım (chunked inference) ile maksimum ses süresi sınırlı değildir.

Kullanım

Çevrimdışı

import torch
from transformers import AutoModelForAudioFrameClassification, AutoProcessor
from transformers.audio_utils import load_audio

model_id = "nvidia/Nemotron-3-Diarization"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForAudioFrameClassification.from_pretrained(model_id, device_map="auto")

sampling_rate = processor.feature_extractor.sampling_rate
audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/diarization_example.mp3",
    sampling_rate=sampling_rate,
)
inputs = processor(audio, sampling_rate=sampling_rate).to(model.device, dtype=model.dtype)

with torch.inference_mode():
    logits = model(**inputs).logits  # (1, num_frames, 8), one frame every 10 ms

segments = processor.extract_speaker_dict(logits, inputs.attention_mask)[0]
for segment in segments:
    print(f"speaker_{segment['Speaker']}: {segment['Start']:.2f}s - {segment['End']:.2f}s")

Akış

Ses, parça parça gelir ve her ileri geçiş bir parçayı işler: işlemci, streaming_mode için onu keser ve num_lookahead_frames değerini ekler; bu, modelin dikkate aldığı ancak puanlamadığı, sonraki parçayı açan son izleme çerçevesi sayısıdır. İleri geçiş, sonraki çağrıya aktarılacak speaker_cache değerini döndürür. Bir oturumun son parçası is_last_audio_chunk=True ile çıkarılır: izleme çerçevesi olmadığından, kalan tüm çerçeveler puanlanır.

`streaming_mode`	Gecikme¹
`"low_latency"` (varsayılan)	1.04 s
`"very_low_latency"`	0.64 s
`"ultra_low_latency"`	0.32 s

¹ Modelin bir parça üzerinde çalışmadan önce beklemesi gereken ses: hesaplama süresi hariç, parça ve ileriye bakma (look-ahead) süresi.

import torch
from transformers import AutoModelForAudioFrameClassification, AutoProcessor
from transformers.audio_utils import load_audio

model_id = "nvidia/Nemotron-3-Diarization"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForAudioFrameClassification.from_pretrained(model_id, device_map="auto")
processor.set_streaming_mode("low_latency")  # the default, can also be "very_low_latency" and "ultra_low_latency"
print(f"Streaming latency: {processor.streaming_latency_ms} ms")

sampling_rate = processor.feature_extractor.sampling_rate
audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/diarization_example.mp3",
    sampling_rate=sampling_rate,
)


def inputs_generator():
    """Yields the processor outputs of each chunk."""
    yield processor(
        audio[: processor.num_samples_first_audio_chunk],
        sampling_rate=sampling_rate,
        is_streaming=True,
        is_first_audio_chunk=True,
    )

    mel_frame_idx = processor.num_mel_frames_per_step
    start_idx = processor.audio_chunk_start(mel_frame_idx)
    while (end_idx := start_idx + processor.num_samples_per_audio_chunk) <= audio.shape[0]:
        yield processor(
            audio[start_idx:end_idx],
            sampling_rate=sampling_rate,
            is_streaming=True,
            is_first_audio_chunk=False,
        )
        mel_frame_idx += processor.num_mel_frames_per_step
        start_idx = processor.audio_chunk_start(mel_frame_idx)

    # the audio ended: the frames left in the buffer are the last ones of the session
    yield processor(
        audio[start_idx:],
        sampling_rate=sampling_rate,
        is_streaming=True,
        is_first_audio_chunk=False,
        is_last_audio_chunk=True,
    )


speaker_cache, logits = None, []
with torch.inference_mode():
    for inputs in inputs_generator():
        inputs = inputs.to(model.device, dtype=model.dtype)
        # `inputs` carries `num_lookahead_frames` for every chunk but the last, `speaker_cache` links the chunks
        outputs = model(**inputs, speaker_cache=speaker_cache)
        logits.append(outputs.logits)  # the chunk's frames, without its look-ahead
        speaker_cache = outputs.speaker_cache

logits = torch.cat(logits, dim=1)  # (1, num_frames, 8), one frame every 10 ms
segments = processor.extract_speaker_dict(logits)[0]  # [{"Start": 0.0, "End": 15.43, "Speaker": 0}, ...]

Hızlandırmak

Bir akış adımının kodlayıcı girişi [speaker cache | FIFO | chunk] şeklindedir; uzunluğu, önbellek ve FIFO'nun dolup boşalmasıyla değişir: torch.compile bir oturumda yaklaşık yüz kez yeniden derleme yapardı. Her adımı modun en büyük penceresine kadar doldurmak (padding) şekli sabitler. Konumlar her chunk'ta sıfırdan başlar, bu nedenle sağ padding geçerli kareleri değiştirmez:

import torch.nn.functional as F

chunk_length, chunk_right_context = processor.streaming_modes[processor.streaming_mode]
max_window = (
    model.config.streaming_config.speaker_cache_length
    + model.config.streaming_config.fifo_length
    + chunk_length
    + chunk_right_context
)
encoder = model.model
compiled_forward = torch.compile(encoder.forward, mode="reduce-overhead", fullgraph=True, dynamic=False)


def padded_forward(inputs_embeds, attention_mask=None, position_ids=None, **kwargs):
    batch_size, num_frames, _ = inputs_embeds.shape
    if attention_mask is None:
        attention_mask = inputs_embeds.new_ones(batch_size, num_frames, dtype=torch.bool)
    padding = max_window - num_frames
    hidden_states = compiled_forward(
        inputs_embeds=F.pad(inputs_embeds, (0, 0, 0, padding)),
        attention_mask=F.pad(attention_mask.bool(), (0, padding), value=False),
        position_ids=torch.arange(max_window, device=inputs_embeds.device)[None, :],
        **kwargs,
    )
    return hidden_states[:, :num_frames].clone()  # CUDA graphs reuse the output buffer


encoder.forward = padded_forward

# warm up before the session: compiles, then records the CUDA graph, so the first real chunk runs at full speed
with torch.inference_mode():
    for _ in range(3):
        hidden_size = model.config.audio_config.hidden_size
        padded_forward(torch.zeros(1, max_window, hidden_size, device=model.device, dtype=model.dtype))

Yukarıdaki akış döngüsü bir kez derlenir. Çevrimdışı ileri geçiş de aynı şekilde parçalara ayrılır, bu nedenle aynı sarmalayıcı max_window içinde config.fifo_length, config.chunk_left_context, config.chunk_length ve config.chunk_right_context ile uygulanır.

Hızlanma oranı (eager'a kıyasla) (A100, batch boyutu 1)	float32	bfloat16
akış, adım başına	1.2x	4.4x
çevrimdışı, 488 s kayıtlı	1.3x	2.8x

Transformers

Nemotron 3 Konuşmacı Ayrıştırma

Genel Bakış

Kullanım

Çevrimdışı

Akış

Hızlandırmak

Nemotron3DiarizationConfig

sınıf transformers.Nemotron3DiarizationConfig

Nemotron3DiarizationAudioConfig

sınıf transformers.Nemotron3DiarizationAudioConfig

Nemotron3DiarizationHeadConfig

sınıf transformers.Nemotron3DiarizationHeadConfig

Nemotron3DiarizationStreamingConfig

sınıf transformers.Nemotron3DiarizationStreamingConfig

Nemotron3DiarizationAudioModel

sınıf transformers.Nemotron3DiarizationAudioModel

forward

Nemotron3DiarizationModel

sınıf transformers.Nemotron3DiarizationModel

forward

Nemotron3DiarizationProcessor

sınıf transformers.Nemotron3DiarizationProcessor

__call__

Nemotron3DiarizationSpeakerCache

sınıf transformers.Nemotron3DiarizationSpeakerCache

güncelle

Nemotron3DiarizationOutput

sınıf transformers.Nemotron3DiarizationOutput

Nemotron3DiarizationForAudioFrameClassification

sınıf transformers.Nemotron3DiarizationForAudioFrameClassification

forward

call