Transformers

Comenzar

Transformers Instalación Introducción

Clases base

Modelos

Preprocesadores

Inferencia

API de Pipeline

Generar API

Optimización

Chatear con modelos

Servicio

Entrenamiento

Comenzar

Personalización

Ajuste fino eficiente en parámetros

Rendimiento

Entrenamiento distribuido

Hardware

Cuantización

Resumen Conceptos de cuantización Elija un método

Tareas comunes

Cuantizar al cargar

Cargar puntos de control pre-cuantizados

Optimum Contribuir con un método de cuantización

Integraciones del ecosistema

Recursos

API

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Optimum

Optimum es una biblioteca de optimización que admite la cuantización para Intel, Furiosa, ONNX Runtime, GPTQ y funciones de cuantización de PyTorch de bajo nivel. Está diseñada para mejorar el rendimiento en hardware específico, como CPUs/HPUs de Intel, GPUs de AMD, NPUs de Furiosa, etc., y en aceleradores de modelos como ONNX Runtime.

Update on GitHub

←VPTQ Contribuir con un método de cuantización→