Интерфейс: BaseArgs

Свойства

accessToken

• Optional accessToken: string

Токен доступа для использования. Без него вы быстро упрётесь в лимиты запросов.

Можно бесплатно создать на hf.co/settings/token

Вы также можете передать ключ внешнего провайдера Inference, если планируете вызывать совместимого провайдера, такого как Together, Replicate, Cohere…

Определено в

inference/src/types.ts:125

---

endpointUrl

• Optional endpointUrl: string

URL конечной точки, которую следует использовать.

Если не указано, будет вызван конечный пункт Inference Providers по умолчанию на router.huggingface.co.

Определено в

inference/src/types.ts:142

---

модель

• Optional модель: string

Модель HF, которую следует использовать.

Если не указано, будет вызван huggingface.co/api/tasks для получения модели по умолчанию для задачи.

/!\ Устаревшее поведение позволяет использовать URL, но это устарело и будет удалено в будущем. Вместо этого используйте параметр endpointUrl.

Определено в

inference/src/types.ts:135

---

provider

• Optional provider: "baseten" | "cerebras" | "cohere" | "deepinfra" | "fal-ai" | "featherless-ai" | "fireworks-ai" | "groq" | "hf-inference" | "humain-ai" | "novita" | "nscale" | "openai" | "openrouter" | "ovhcloud" | "publicai" | "replicate" | "scaleway" | "together" | "wavespeed" | "zai-org" | "auto"

Укажите провайдера инференса для запуска этой модели.

По умолчанию установлено значение “auto”, то есть первый из провайдеров, доступных для модели, отсортированных в соответствии с порядком, заданным пользователем в https://hf.co/settings/inference-providers.

Определено в

inference/src/types.ts:149

Update on GitHub