参数

• raw_speech (np.ndarray、list[float]、list[np.ndarray]、list[list[float]]) — 要提取特征的单个单声道波形序列或批量单声道波形。
• sampling_rate (int, 可选) — 输入音频的采样率。必须与 self.sampling_rate（16000 Hz）一致。
• return_tensors (str 或 TensorType，可选) — 如果设置，则返回指定框架的张量（"pt"、"np" 等）。
• padding（bool 或 str，可选，默认为 True）— 传递给 pad() 的填充策略。
• max_length (int, 可选) — 用于填充/截断的最大 LFR 序列长度。
• truncation (bool，可选，默认为 False) — 是否截断长度超过 max_length 的序列。
• pad_to_multiple_of (int, 可选) — 如果设置，则将 LFR 序列长度填充为该值的整数倍。
• return_attention_mask (bool，可选) — 是否返回 input_features_mask。默认为 self.return_attention_mask。

参数

• text (Union[str, list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True 以避免与批量输入产生歧义。
• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], 可选) — 要准备处理的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。 如果为 NumPy 数组/PyTorch 张量，每个音频的形状应为 (C, T)，其中 C 为通道数，T 为音频的采样长度。
• output_labels (bool，可选，默认值=False) — 是否返回用于训练的标签。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
• **kwargs (ProcessingKwargs，可选) — 每种模态（文本、图像、视频、音频）的额外处理选项。模型特定参数已在上方列出；有关支持参数的完整列表，请参阅 TypedDict 类。

参数

• audio (AudioInput 或 list[AudioInput]) — 要转录的音频。可以是 URL、本地路径、NumPy 数组、PyTorch 张量，或这些类型的列表。
• language (str 或 list[str]，可选) — 目标语言。接受中文、英文或日文的完整英文名称、ISO 代码（"zh"、 "en"、"ja"）或检查点的中文语言名称（"中文"、"英文"、"日文"）。 单个值会广播到整个批次。
• prompt (str 或 list[str]，可选) — 可能有助于提升转录效果的上下文信息。如果传入列表，其长度必须与音频批次大小一致。
• keywords (str、list[str] 或 list[list[str]]，可选) — 用于偏置识别的热词。字符串或扁平列表在整个批次中共享；嵌套列表则为每个音频样本提供各自的热词。
• transcription (str 或 list[str]，可选) — 用于训练的目标转录文本，每个音频对应一个。提供时，每个转录文本将作为助手轮次写入，并返回 labels（参见 call() 中的 output_labels）。
• tokenize (bool，可选，默认为 True) — 是否对提示词进行分词并处理音频。如果为 False，则不会加载音频，提示词将以字符串形式返回，其中包含未展开的音频占位符。将这些提示词与音频一起传递给处理器，即 processor(text=prompts, audio=audio)，其输出与 tokenize=True 时相同。
• **kwargs — 转发给 apply_chat_template() 的额外关键字参数。 处理器关键字参数（例如 text_kwargs、audio_kwargs、……）应通过 processor_kwargs={...} 传递。

参数

• input_features（形状为 (batch_size, sequence_length, feature_dim) 的 torch.Tensor）— 与输入音频特征对应的张量。可以使用 FunAsrNanoFeatureExtractor 获取音频特征。有关详细信息，请参阅 FunAsrNanoFeatureExtractor.call()（FunAsrNanoProcessor 使用 FunAsrNanoFeatureExtractor 处理音频）。
• input_features_mask（形状为 (batch_size, padded_feature_length) 的 torch.LongTensor）— 有效 mel 帧为 1，填充部分为 0。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 FunAsrNanoFeatureExtractor 获取音频特征。有关详细信息，请参阅 FunAsrNanoFeatureExtractor.call()（FunAsrNanoProcessor 使用 FunAsrNanoFeatureExtractor 来处理音频）。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 用于避免对填充特征索引执行注意力机制的掩码。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• input_features (torch.Tensor，形状为 (batch_size, sequence_length, feature_dim)，可选) — 与输入音频特征对应的张量。可以使用 FunAsrNanoFeatureExtractor 获取音频特征。有关详细信息，请参阅 FunAsrNanoFeatureExtractor.call()（FunAsrNanoProcessor 使用 FunAsrNanoFeatureExtractor 来处理音频）。
• input_features_mask（形状为 (batch_size, feature_sequence_length) 的 torch.Tensor）— 用于避免对填充特征索引执行注意力机制的掩码。
• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充 token 索引执行注意力机制的掩码。掩码值取自 [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length), 可选) — 输入序列中每个 token 在位置嵌入中的位置索引。取值范围为 [0, config.n_positions - 1].

  什么是位置 ID？

• past_key_values (~cache_utils.Cache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• inputs_embeds（形状为 (batch_size, sequence_length, hidden_size) 的 torch.Tensor，可选） — 可选地，您可以选择直接传入嵌入表示，而不是传入 input_ids。如果您希望对 input_ids 索引如何转换为相应向量拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。
• labels（形状为 (batch_size, sequence_length) 的 torch.LongTensor，可选）— 用于计算掩码语言建模损失的标签。
• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• logits_to_keep (Union[int, torch.Tensor], 可选，默认为 0) — 如果为 int，则计算最后 logits_to_keep 个 token 的 logits。如果为 0，则计算所有 input_ids 的 logits（特殊情况）。生成过程只需要最后一个 token 的 logits，仅针对该 token 进行计算可以节省内存，对于长序列或大词汇量而言，这种节省相当显著。 如果为 torch.Tensor，则必须是一维张量，对应于序列长度维度中需要保留的索引。 这在使用打包张量格式（将批次和序列长度合并为单一维度）时非常有用。