Hugging Face's logo

Transformers documentation

EoMT

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2025-03-24 tarihinde HF papers'ta yayımlandı ve 2025-06-27 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

EoMT

Genel Bakış

The Encoder-only Mask Transformer (EoMT) modeli, Tommie Kerssies, Niccolò Cavagnero, Alexander Hermans, Narges Norouzi, Giuseppe Averta, Bastian Leibe, Gijs Dubbelman ve Daan de Geus tarafından yazılan CVPR 2025 Highlight Paper Your ViT is Secretly an Image Segmentation Model makalesinde tanıtılmıştır. EoMT, Vision Transformer'ların görev özel bileşenler olmadan görüntü segmentasyonunu verimli bir şekilde gerçekleştirebildiğini ortaya koymaktadır.

Makalenin özeti aşağıdaki gibidir:

Vision Transformers (ViT), çeşitli bilgisayarla görme görevlerinde olağanüstü performans ve ölçeklenebilirlik göstermiştir. Tek ölçekli ViT'leri görüntü segmentasyonuna uygulamak için mevcut yöntemler, çok ölçekli özellikler üretmek için konvolüsyonel bir adaptör, bu özellikleri birleştirmek için bir piksel çözücü ve birleştirilmiş özellikleri kullanarak tahminlerde bulunmak için bir Transformer çözücü benimser. Bu makalede, yeterince büyük modeller ve kapsamlı ön eğitim verildiğinde, bu görevlere özgü bileşenlerin getirdiği indüktif önyargıların ViT tarafından kendisinin öğrenilebileceğini gösteriyoruz. Bu bulgulara dayanarak, düz ViT mimarisini görüntü segmentasyonu gerçekleştirmek için yeniden kullanan Encoder-only Mask Transformer'ı (EoMT) tanıtıyoruz. Büyük ölçekli modeller ve ön eğitim ile EoMT, görevlere özgü bileşenler kullanan en son modellerle benzer bir segmentasyon doğruluğu elde eder. Aynı zamanda, EoMT mimari sadeliği sayesinde bu yöntemlerden önemli ölçüde daha hızlıdır; örneğin, ViT-L ile 4 kata kadar daha hızlıdır. Farklı model boyutları boyunca EoMT, segmentasyon doğruluğu ve tahmin hızı arasında optimal bir denge sergileyerek, hesaplama kaynaklarının mimari karmaşıklık eklemek yerine ViT'nin kendisini ölçeklendirmek için harcanmasının daha iyi olacağını öne sürmektedir.

Bu model Yaswanth Gali tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Mimari Bilgileri

EoMT modeli, omurgası olarak register token içeren, DINOv2 ile ön eğitilmiş bir Vision Transformer kullanır. EoMT, önceki yaklaşımlarda yaygın olarak kullanılan görev özelindeki çözücüleri (decoder) gereksiz kılarak yalnızca kodlayıcıya (encoder) dayanır ve bu sayede segmentasyon hattını basitleştirir.

Mimari olarak EoMT, küçük bir öğrenilmiş sorgu kümesi ve hafif bir maske tahmin modülü tanıtır. Bu sorgular, son kodlayıcı bloklarına enjekte edilerek görüntü yamaları ile nesne sorguları arasında ortak dikkat (joint attention) mekanizmasını mümkün kılar. Eğitim sırasında, her bir sorgunun ilgili bölgesine odaklanmasını kısıtlamak için maskelenmiş dikkat (masked attention) uygulanır; bu, çapraz dikkati (cross-attention) etkili bir şekilde taklit eder. Bu kısıtlama, maske tavlama stratejisi (mask annealing strategy) ile kademeli olarak kaldırılarak, segmentasyon performansından ödün vermeden verimli, kodlayıcısız çıkarım (decoder-free inference) sağlanır.

drawing

Model, birleşik bir mimari ve görev bazlı son işleme kullanarak anlamsal, örnek ve panoptik segmentasyonu destekler.

Kullanım Örnekleri

Önceden eğitilmiş modellerle çıkarım için EoMT'nin Hugging Face uygulamasını kullanın.

Anlamsal Segmentasyon

EoMT modeli, kayan pencere çıkarımı (sliding-window inference) kullanarak semantik segmentasyon gerçekleştirir. Girdi görüntüsü, kısa kenarı hedef girdi boyutuyla eşleşecek şekilde yeniden boyutlandırılır ve ardından üst üste binen kırpıntılara (crops) ayrılır. Her kırpıntı modelden geçirilir. Çıkarımın ardından, her kırpıntıdan elde edilen tahmini logitler birleştirilip orijinal görüntü boyutuna yeniden ölçeklenerek nihai segmentasyon maskesi elde edilir.

Not:
semantic segmentation için özel bir hedef boyut kullanmak istiyorsanız, bunu aşağıdaki formatta belirtin:
{"shortest_edge": 512}
Burada longest_edge verilmediğine dikkat edin — bu bilinçli bir tercihtir. Semantic segmentation'da görüntüler genellikle en kısa kenarın hedef boyuta eşit veya ondan büyük olacak şekilde ölçeklendirilir bu nedenle longest_edge gerekmez.

import matplotlib.pyplot as plt
import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, EomtForUniversalSegmentation


model_id = "tue-mps/ade20k_semantic_eomt_large_512"
processor = AutoImageProcessor.from_pretrained(model_id)
model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw)

inputs = processor(
    images=image,
    return_tensors="pt",
)

with torch.inference_mode():
    outputs = model(**inputs)

# Prepare the original image size in the format (height, width)
target_sizes = [(image.height, image.width)]

# Post-process the model outputs to get final segmentation prediction
preds = processor.post_process_semantic_segmentation(
    outputs,
    target_sizes=target_sizes,
)

# Visualize the segmentation mask
plt.imshow(preds[0])
plt.axis("off")
plt.title("Semantic Segmentation")
plt.show()

Örnek Segmentasyonu

EoMT modeli, dolgulu çıkarım (padded inference) kullanarak örnek segmentasyonu gerçekleştirir. Girdi görüntüsü, uzun kenarı hedef girdi boyutuyla eşleşecek şekilde yeniden boyutlandırılır ve kısa kenar, kare oluşturmak için sıfır dolgusu (zero-padding) ile doldurulur. Sonuçta elde edilen maske ve sınıf logitleri, birleştirilmiş bir örnek segmentasyon haritası ile segment kimliği, sınıf etiketleri ve güven puanları gibi segment meta verilerini üretmek için son işleme (Mask2Former'dan uyarlanmış) tabi tutulur.

Not:
Özel bir hedef boyut kullanmak için, boyutu aşağıdaki biçimde bir sözlük olarak belirtin:
{"shortest_edge": 512, "longest_edge": 512}
Hem instance hem de panoptic segmentasyon için, giriş görüntüleri bu hedef boyuta ölçeklenir ve dolgu uygulanır.

import matplotlib.pyplot as plt
import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, EomtForUniversalSegmentation


model_id = "tue-mps/coco_instance_eomt_large_640"
processor = AutoImageProcessor.from_pretrained(model_id)
model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw)

inputs = processor(
    images=image,
    return_tensors="pt",
)

with torch.inference_mode():
    outputs = model(**inputs)

# Prepare the original image size in the format (height, width)
target_sizes = [(image.height, image.width)]

# Post-process the model outputs to get final segmentation prediction
preds = processor.post_process_instance_segmentation(
    outputs,
    target_sizes=target_sizes,
)

# Visualize the segmentation mask
plt.imshow(preds[0]["segmentation"])
plt.axis("off")
plt.title("Instance Segmentation")
plt.show()

Panotik Segmentasyon

EoMT modeli, örnek segmentasyonunda kullanılan aynı dolgulu çıkarım stratejisini kullanarak panoptik segmentasyon gerçekleştirir. Dolgu ve normalizasyon işlemlerinin ardından model, hem şey (örnekler) hem de madde (amorf bölgeler) sınıflarını tahmin eder. Sonuç olarak elde edilen maske ve sınıf logitleri, birleştirilmiş bir panoptik segmentasyon haritası ile segment kimliği, sınıf etiketleri ve güven puanları gibi segment meta verilerini üretmek için son işleme (Mask2Former'dan uyarlanmış) tabi tutulur.

import matplotlib.pyplot as plt
import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, EomtForUniversalSegmentation


model_id = "tue-mps/coco_panoptic_eomt_large_640"
processor = AutoImageProcessor.from_pretrained(model_id)
model = EomtForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

image = Image.open(requests.get("http://images.cocodataset.org/val2017/000000039769.jpg", stream=True).raw)

inputs = processor(
    images=image,
    return_tensors="pt",
)

with torch.inference_mode():
    outputs = model(**inputs)

# Prepare the original image size in the format (height, width)
target_sizes = [(image.height, image.width)]

# Post-process the model outputs to get final segmentation prediction
preds = processor.post_process_panoptic_segmentation(
    outputs,
    target_sizes=target_sizes,
)

# Visualize the panoptic segmentation mask
plt.imshow(preds[0]["segmentation"])
plt.axis("off")
plt.title("Panoptic Segmentation")
plt.show()

EomtImageProcessor

sınıf transformers.EomtImageProcessor

< >

( **kwargs: *<class 'transformers.models.eomt.image_processing_eomt.EomtImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'shortest_edge' -- 640, 'longest_edge': 640}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan False) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • do_split_image (bool, kwargs, opsiyonel, varsayılan self.do_split_image) — Girdi görüntülerinin anlamsal segmentasyon için üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. True olarak ayarlanırsa, girdi görüntüleri yamalar arası bir örtüşme ile size["shortest_edge"] boyutunda yamalara ayrılır. Aksi halde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır.
  • ignore_index (int, kwargs, opsiyonel, varsayılan self.ignore_index) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller ignore_index ile değiştirilir.

EomtImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: list[torch.Tensor] | None = Noneinstance_id_to_semantic_id: dict[int, int] | None = None**kwargs: *<class 'transformers.models.eomt.image_processing_eomt.EomtImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • segmentation_maps (ImageInput, isteğe bağlı) — Karşılık gelen görüntüler için ön işleme yapılacak segmentasyon haritaları.
  • instance_id_to_semantic_id (list[dict[int, int]] veya dict[int, int], isteğe bağlı) — Nesne örnek kimlikleri ile sınıf kimlikleri arasındaki eşleme.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • do_split_image (bool, kwargs, opsiyonel, varsayılan self.do_split_image) — Girdi görüntülerinin anlamsal segmentasyon için üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. True olarak ayarlanırsa, girdi görüntüleri yamalar arası bir örtüşme ile size["shortest_edge"] boyutunda yamalara ayrılır. Aksi halde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır.
  • ignore_index (int, kwargs, opsiyonel, varsayılan self.ignore_index) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller ignore_index ile değiştirilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

post_process_semantic_segmentation

< >

( outputstarget_sizes: listsize: dict[str, int] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Parametreler

  • outputs (EomtForUniversalSegmentation) — Modelin ham çıktıları.
  • target_sizes (list[tuple[int, int]]) — Batch'teki her görüntünün hedef boyutunu (yükseklik, genişlik) içeren bir tuple (tuple[int, int]) listesi.
  • size (dict[str, int], isteğe bağlı) — Ara maskelerin ölçeklendirileceği boyut. Varsayılan değer self.size'dir.
  • return_segmentation_scores (bool, isteğe bağlı, varsayılan False) — Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir. True olduğunda, döndürülen listenin her öğesi segmentation (sınıf kimlikleri, şekil (height, width)) ve segmentation_scores (şekil (num_classes, height, width)) alanlarına sahip bir SemanticSegmentationPostProcessorOutput nesnesidir.

Dönüş değeri

list[torch.Tensor] veya list[SemanticSegmentationPostProcessorOutput]

return_segmentation_scores=False (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip (height, width) biçiminde bir segmentasyon haritası olan, uzunluğu batch_size olan bir liste döndürülür. return_segmentation_scores=True olduğunda, segmentation (sınıf kimlikleri, biçim (height, width)) ve segmentation_scores (biçim (num_classes, height, width)) alanlarına sahip SemanticSegmentationPostProcessorOutput nesnelerinden oluşan bir liste döndürülür. Her iki durumda da (height, width), hedef boyuta karşılık gelir.

EomtForUniversalSegmentation çıktısını anlamsal segmentasyon haritalarına dönüştürür.

post_process_instance_segmentation

< >

( outputstarget_sizes: listthreshold: float = 0.8size: dict[str, int] | None = None )

Model çıktılarını Instance Segmentation Predictions olarak işler.

post_process_panoptic_segmentation

< >

( outputstarget_sizes: listthreshold: float = 0.8mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8stuff_classes: list[int] | None = Nonesize: dict[str, int] | None = None )

Model çıktılarını nihai panoptik segmentasyon tahminine dönüştürür.

EomtImageProcessorPil

sınıf transformers.EomtImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.eomt.image_processing_pil_eomt.EomtImageProcessorKwargs'> )

Parametreler

  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, varsayılan {'shortest_edge' -- 640, 'longest_edge': 640}): Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, isteğe bağlı, varsayılan False) — size bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntü kullanılıp kullanılmayacağı.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, varsayılan 2) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, isteğe bağlı, varsayılan True) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel, varsayılan 0.00392156862745098) — do_rescale True olarak ayarlandığında görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel, varsayılan True) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.485, 0.456, 0.406]) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel, varsayılan [0.229, 0.224, 0.225]) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel, varsayılan False) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, ya batch içindeki en büyük boyuta ya da görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • do_split_image (bool, kwargs, opsiyonel, varsayılan self.do_split_image) — Girdi görüntülerinin anlamsal segmentasyon için üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. True olarak ayarlanırsa, girdi görüntüleri yamalar arası bir örtüşme ile size["shortest_edge"] boyutunda yamalara ayrılır. Aksi halde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır.
  • ignore_index (int, kwargs, opsiyonel, varsayılan self.ignore_index) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller ignore_index ile değiştirilir.

EomtImageProcessor görüntü işleyicisi oluşturur.

ön işleme

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: list[torch.Tensor] | None = Noneinstance_id_to_semantic_id: dict[int, int] | None = None**kwargs: *<class 'transformers.models.eomt.image_processing_pil_eomt.EomtImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Parametreler

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ön işleme uygulanacak görüntü. Piksel değerleri 0 ile 255 arasında değişen tek bir görüntü veya görüntü grubu beklenir. Piksel değerleri 0 ile 1 arasında olan görüntüler geçiriliyorsa do_rescale=False olarak ayarlayın.
  • segmentation_maps (ImageInput, isteğe bağlı) — Karşılık gelen görüntüler için ön işleme yapılacak segmentasyon haritaları.
  • instance_id_to_semantic_id (list[dict[int, int]] veya dict[int, int], isteğe bağlı) — Nesne örnek kimlikleri ile sınıf kimlikleri arasındaki eşleme.
  • do_convert_rgb (bool, kwargs, opsiyonel) — Görselin RGB'ye dönüştürülüp dönüştürülmemesi.
  • do_resize (bool, kwargs, opsiyonel) — Görselin yeniden boyutlandırılıp boyutlandırılmayacağı.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Modelin kabul ettiği maksimum giriş boyutlarını açıklar.
  • default_to_square (bool, kwargs, opsiyonel) — Boyut bir int ise, yeniden boyutlandırma sırasında varsayılan olarak kare bir görüntüye geçilip geçilmeyeceği.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop uygulandıktan sonra çıktı görüntüsünün boyutu.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Görsel yeniden boyutlandırılıyorsa kullanılacak yeniden örnekleme filtresi. Bu, PILImageResampling enum değerlerinden biri olabilir. Yalnızca do_resize True olarak ayarlanırsa etkilidir.
  • do_rescale (bool, kwargs, opsiyonel) — Görselin yeniden ölçeklendirilip ölçeklendirilmeyeceği.
  • rescale_factor (float, kwargs, opsiyonel) — do_rescale True olarak ayarlanırsa görüntüyü yeniden ölçeklemek için kullanılan yeniden ölçekleme faktörü.
  • do_normalize (bool, kwargs, opsiyonel) — Görselin normalize edilip edilmeyeceği.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü ortalaması. Yalnızca do_normalize True olarak ayarlanırsa etkilidir.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, opsiyonel) — Normalizasyon için kullanılacak görüntü standart sapması. Yalnızca do_normalize True olarak ayarlanmışsa etkilidir.
  • do_pad (bool, kwargs, opsiyonel) — Görselin dolgu (padding) uygulanıp uygulanmayacağı. Dolgu, partideki en büyük boyuta veya görsel başına sabit kare bir boyuta yapılır. Kesin dolgu stratejisi modele bağlıdır.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Görsellerin doldurulacağı boyut, {"height": int, "width" int} biçiminde. Ön işleme için sağlanan herhangi bir görsel boyutundan büyük olmalıdır. pad_size sağlanmazsa, görseller batch içindeki en büyük yüksekliğe ve genişliğe doldurulur. Yalnızca do_pad=True. olduğunda uygulanır.
  • do_center_crop (bool, kwargs, opsiyonel) — Görselin ortadan kırpılıp kırpılmayacağı.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Yalnızca ChannelDimension.FIRST desteklenir. Yavaş işleyicilerle uyumluluk için eklendi.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, isteğe bağlı) — Girdi görüntüsü için kanal boyutu biçimi. Ayarlanmazsa, kanal boyutu biçimi girdi görüntüsünden çıkarılır. Aşağıdakilerden biri olabilir:
    • "channels_first" veya ChannelDimension.FIRST: (num_channels, height, width) biçiminde görüntü.
    • "channels_last" veya ChannelDimension.LAST: (yükseklik, genişlik, kanal sayısı) biçiminde görüntü.
    • "none" veya ChannelDimension.NONE: (height, width) biçiminde görüntü.
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Videoların işleneceği cihaz. Ayarlanmamışsa, cihaz girdi videolarından çıkarılır.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' olarak ayarlanırsa yığılmış tensörler döndürür, aksi takdirde tensör listesi döndürür.
  • disable_grouping (bool, kwargs, opsiyonel) — Görsellerin boyuta göre gruplandırılmasını devre dışı bırakıp onları toplu olarak değil, bireysel olarak işlenmesini belirtir. None ise, görseller CPU üzerindeyse True, aksi halde False olarak ayarlanır. Bu seçim, burada ayrıntılandırıldığı üzere ampirik gözlemlere dayanmaktadır: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, isteğe bağlı) — Girdideki her görüntü için kullanılacak görüntü jetonlarının sayısı. Geriye dönük uyumluluk için eklendi ancak gelecekteki modellerde bu, bir işlemci özniteliği olarak ayarlanmalıdır.
  • do_split_image (bool, kwargs, opsiyonel, varsayılan self.do_split_image) — Girdi görüntülerinin anlamsal segmentasyon için üst üste binen yamalar (patch) halinde bölünüp bölünmeyeceğini belirtir. True olarak ayarlanırsa, girdi görüntüleri yamalar arası bir örtüşme ile size["shortest_edge"] boyutunda yamalara ayrılır. Aksi halde, girdi görüntüleri hedef boyuta dolgu (padding) uygulanarak ayarlanır.
  • ignore_index (int, kwargs, opsiyonel, varsayılan self.ignore_index) — Segmentasyon haritalarında arka plan piksellerine atanacak etiket. Verildiğinde, segmentasyon haritasında 0 (arka plan) ile belirtilen pikseller ignore_index ile değiştirilir.

Dönüş değeri

~image_processing_base.BatchFeature

  • data (dict) — call yönteminin döndürdüğü listeler/diziler/tensörler sözlüğü (‘pixel_values’ vb.).
  • tensor_type (Union[None, str, TensorType], isteğe bağlı) — Başlatma sırasında PyTorch/Numpy Tensörlerindeki tamsayı listelerini dönüştürmek için burada bir tensor_type verebilirsiniz.

post_process_semantic_segmentation

< >

( outputstarget_sizes: listsize: dict[str, int] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Parametreler

  • outputs (EomtForUniversalSegmentation) — Modelin ham çıktıları.
  • target_sizes (list[tuple[int, int]]) — Batch'teki her görüntünün hedef boyutunu (yükseklik, genişlik) içeren bir tuple (tuple[int, int]) listesi.
  • size (dict[str, int], isteğe bağlı) — Ara maskelerin ölçeklendirileceği boyut. Varsayılan değer self.size'dir.
  • return_segmentation_scores (bool, isteğe bağlı, varsayılan False) — Segmentasyon haritasının yanı sıra segmentasyon puanlarının da döndürülüp döndürülmeyeceğini belirtir. True olduğunda, döndürülen listenin her öğesi segmentation (sınıf kimlikleri, şekil (height, width)) ve segmentation_scores (şekil (num_classes, height, width)) alanlarına sahip bir SemanticSegmentationPostProcessorOutput nesnesidir.

Dönüş değeri

list[torch.Tensor] veya list[SemanticSegmentationPostProcessorOutput]

return_segmentation_scores=False (varsayılan) olduğunda, her öğesi sınıf kimliklerine sahip (height, width) biçiminde bir segmentasyon haritası olan, uzunluğu batch_size olan bir liste döndürülür. return_segmentation_scores=True olduğunda, segmentation (sınıf kimlikleri, biçim (height, width)) ve segmentation_scores (biçim (num_classes, height, width)) alanlarına sahip SemanticSegmentationPostProcessorOutput nesnelerinden oluşan bir liste döndürülür. Her iki durumda da (height, width), hedef boyuta karşılık gelir.

EomtForUniversalSegmentation çıktısını anlamsal segmentasyon haritalarına dönüştürür.

post_process_instance_segmentation

< >

( outputstarget_sizes: listthreshold: float = 0.8size: dict[str, int] | None = None )

Model çıktılarını Instance Segmentation Predictions olarak işler.

post_process_panoptic_segmentation

< >

( outputstarget_sizes: listthreshold: float = 0.8mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8stuff_classes: list[int] | None = Nonesize: dict[str, int] | None = None )

Model çıktılarını nihai panoptik segmentasyon tahminine dönüştürür.

EomtConfig

sınıf transformers.EomtConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024num_hidden_layers: int = 24num_attention_heads: int = 16hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06image_size: int | list[int] | tuple[int, int] = 640patch_size: int | list[int] | tuple[int, int] = 16num_channels: int = 3mlp_ratio: int = 4layerscale_value: float = 1.0drop_path_rate: float | int = 0.0num_upscale_blocks: int = 2attention_dropout: float | int = 0.0use_swiglu_ffn: bool = Falsenum_blocks: int = 4no_object_weight: float = 0.1class_weight: float = 2.0mask_weight: float = 5.0dice_weight: float = 5.0train_num_points: int = 12544oversample_ratio: float = 3.0importance_sample_ratio: float = 0.75num_queries: int = 200num_register_tokens: int = 4 )

Parametreler

  • hidden_size (int, isteğe bağlı, varsayılan 1024) — Gizli temsillerin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 24) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 16) — Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.
  • hidden_act (str, isteğe bağlı, varsayılan gelu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • hidden_dropout_prob (Union[float, int], isteğe bağlı, varsayılan 0.0) — Gömme, kodlayıcı ve havuzlayıcıdaki tüm tam bağlı katmanlar için dropout olasılığı.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • layer_norm_eps (float, isteğe bağlı, varsayılan 1e-06) — Katman normalizasyon katmanları tarafından kullanılan epsilon.
  • image_size (Union[int, list[int], tuple[int, int]], isteğe bağlı, varsayılan 640) — Her bir görüntünün boyutu (çözünürlüğü).
  • patch_size (Union[int, list[int], tuple[int, int]], isteğe bağlı, varsayılan 16) — Her yamanın boyutu (çözünürlüğü).
  • num_channels (int, isteğe bağlı, varsayılan 3) — Giriş kanal sayısı.
  • mlp_ratio (int, isteğe bağlı, varsayılan 4) — MLP gizli boyutunun gömme boyutuna oranı.
  • layerscale_value (float, isteğe bağlı, varsayılan 1.0) — LayerScale parametresi için başlangıç değeri.
  • drop_path_rate (Union[float, int], isteğe bağlı, varsayılan 0.0) — Patch füzyonu için drop path oranı.
  • num_upscale_blocks (int, isteğe bağlı, varsayılan 2) — Çözücüde veya segmentasyon başlığında kullanılan yükseltme bloklarının sayısı.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.
  • use_swiglu_ffn (bool, isteğe bağlı, varsayılan False) — SwiGLU ileri beslemeli sinir ağı kullanılıp kullanılmayacağı.
  • num_blocks (int, isteğe bağlı, varsayılan 4) — Mimari içindeki özellik bloğu veya aşama sayısı.
  • no_object_weight (float, isteğe bağlı, varsayılan 0.1) — Panoptik/nesne segmentasyonunda ‘nesne yok’ sınıfı için kayıp ağırlığı.
  • class_weight (float, isteğe bağlı, varsayılan 2.0) — Sınıflandırma hedefleri için kayıp ağırlığı.
  • mask_weight (float, isteğe bağlı, varsayılan 5.0) — Maske tahmini için kayıp ağırlığı.
  • dice_weight (float, isteğe bağlı, varsayılan 5.0) — Panoptik segmentasyon kaybında dice kaybının göreli ağırlığı.
  • train_num_points (int, isteğe bağlı, varsayılan 12544) — Eğitim sırasında mask kaybı hesabı için örneklenen nokta sayısı.
  • oversample_ratio (float, isteğe bağlı, varsayılan 3.0) — Maske eğitimi için nokta örneklemesinde kullanılan aşırı örneklem oranı.
  • importance_sample_ratio (float, isteğe bağlı, varsayılan 0.75) — Eğitim sırasında önem değerine göre örnek alınacak noktaların oranı.
  • num_queries (int, isteğe bağlı, varsayılan 200) — Transformer'daki nesne sorgularının sayısı.
  • num_register_tokens (int, isteğe bağlı, varsayılan 4) — Transformer girdisine eklenen öğrenilebilir register token sayısı.

Bu, bir EomtModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Eomt modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, tue-mps/coco_panoptic_eomt_large_640 modelinin yapılandırmasına benzer bir yapılandırma elde etmenizi sağlar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import EomtConfig, EomtForUniversalSegmentation

>>> # Initialize configuration
>>> config = EomtConfig()

>>> # Initialize model
>>> model = EomtForUniversalSegmentation(config)

>>> # Access config
>>> config = model.config

EomtForUniversalSegmentation

sınıf transformers.EomtForUniversalSegmentation

< >

( config: EomtConfig )

Parametreler

  • config (EomtConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Örnek/semantik/panoptik segmentasyon için üstte başa sahip EoMT Modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( pixel_values: Tensormask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepatch_offsets: list[torch.Tensor] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → EomtForUniversalSegmentationOutput or tuple(torch.Tensor)

Parametreler

  • pixel_values (torch.Tensor, şekli (batch_size, num_channels, image_size, image_size)) — Girdi görüntülerine karşılık gelen tensörler. Piksel değerleri EomtImageProcessor kullanılarak elde edilebilir. Ayrıntılar için EomtImageProcessor.call() bölümüne bakın (processor_class, görüntü işleme için EomtImageProcessor kullanır).
  • mask_labels (list[torch.Tensor], isteğe bağlı) — modele verilecek, (num_labels, height, width) boyutunda mask etiketleri listesi
  • class_labels (list[torch.LongTensor], isteğe bağlı) — bir modele verilecek, (num_labels, height, width) biçiminde hedef sınıf etiketlerinin listesi. Bunlar, mask_labels etiketlerini tanımlar; örneğin class_labels[i][j] ise mask_labels[i][j] etiketi.
  • patch_offsets (list[torch.Tensor], isteğe bağlı) — Anlamsal segmentasyon için yamaların görüntü indeksini ve başlangıç ile bitiş konumlarını gösteren demetlerin listesi.

Dönüş değeri

EomtForUniversalSegmentationOutput veya tuple(torch.Tensor)

EomtForUniversalSegmentationOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırma (EomtConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

EomtForUniversalSegmentation forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, opsiyonel) — Etiketler mevcut olduğunda döndürülen hesaplanan kayıp.
  • class_queries_logits (torch.Tensor, isteğe bağlı) — Her sorgu için önerilen sınıfları temsil eden, (batch_size, num_queries, num_labels + 1) biçiminde bir tensör. + 1'in, null sınıfını dahil ettiğimiz için gerekli olduğunu unutmayın.
  • masks_queries_logits (torch.Tensor, isteğe bağlı) — Her sorgu için önerilen maskeleri temsil eden, (batch_size, num_queries, height, width) biçiminde bir tensör.
  • last_hidden_state (torch.Tensor, şekli (batch_size, num_channels, height, width)) — Son katmanın son gizli durumları (son özellik haritası).
  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (gömme çıktısı için bir tane + her aşamanın çıktısı için bir tane) içeren bir tuple, şekli (batch_size, sequence_length, hidden_size). Modelin tüm katmanlarının gizli durumları.
  • attentions (tuple(tuple(torch.Tensor)), opsiyonel, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — Her katman için bir adet tuple(torch.Tensor) içeren, (batch_size, num_heads, sequence_length, sequence_length) biçiminde bir tuple. Transformer decoder'dan Self ve Cross Attention ağırlıkları.
  • patch_offsets (list[torch.Tensor], isteğe bağlı) — semantik segmentasyon için yamaların görüntü indeksini ve başlangıç ile bitiş konumlarını gösteren demetlerin listesi.
Update on GitHub

←EfficientNet EoMT-DINOv3→