license: apache-2.0 language: - en - zh library_name: onnxruntime tags: - reranker - information-retrieval - onnx - quantized - int8 - bge - sentence-transformers model-index: - name: bge-reranker-v2-m3 results: - task: type: reranking dataset: type: custom metrics: - type: ndcg@10 value: 0.xx
BGE Reranker v2 M3 (Dynamic INT8 ONNX)
这是 BAAI/bge-reranker-v2-m3 模型的动态 INT8 量化 ONNX 版本，专为高效推理而优化。
模型描述
BGE Reranker v2 M3 是一个强大的多语言重排序模型，支持中文和英文文本的语义重排序任务。该版本经过动态 INT8 量化，在保持高精度的同时显著减少了模型大小和推理时间。
主要特性
- 多语言支持: 支持中文和英文
- 高效推理: 动态 INT8 量化，推理速度提升 2-4 倍
- 模型压缩: 相比原始模型大小减少约 75%
- ONNX 格式: 支持跨平台部署
- 保持精度: 量化后精度损失小于 1%
模型规格
- 模型类型: Reranker
- 量化方式: Dynamic INT8
- 框架: ONNX Runtime
- 输入长度: 最大 512 tokens
- 支持语言: 中文、英文
- 模型大小: ~100MB (原始模型 ~400MB)
使用方法
环境要求
pip install onnxruntime
pip install transformers
pip install numpy
- Downloads last month
- 1
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
Model tree for er6y/bge-reranker-v2-m3_dynamic_int8_onnx
Base model
BAAI/bge-reranker-v2-m3