이 모델은 2022-04-14에 HF papers에 게시되었으며, 2022-09-22에 Hugging Face Transformers에 기여되었습니다.

ViTMSN

개요

ViTMSN 모델은 Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas가 Masked Siamese Networks for Label-Efficient Learning에서 제안했습니다. 이 논문은 마스킹된 패치의 프로토타입을 마스킹되지 않은 패치의 프로토타입과 매칭시키기 위한 결합 임베딩 아키텍처를 제시합니다. 이러한 설정을 통해 해당 방법은 low-shot 및 extreme low-shot 환경에서 뛰어난 성능을 달성합니다.

해당 논문의 초록은 다음과 같습니다:

이미지 표현을 학습하기 위한 자기지도 학습 프레임워크인 Masked Siamese Networks(MSN)를 제안합니다. 우리의 접근법은 무작위로 패치가 마스킹된 이미지 뷰의 표현을 원래의 마스킹되지 않은 이미지의 표현과 일치시킵니다. 이 자기지도 사전 학습 전략은 네트워크가 마스킹되지 않은 패치만 처리하기 때문에 Vision Transformers에 적용할 때 특히 확장성이 뛰어납니다. 그 결과, MSN은 joint-embedding 아키텍처의 확장성을 향상시키면서, low-shot 이미지 분류에서 경쟁력 있는 성능을 발휘하는 높은 의미 수준의 표현을 생성합니다. 예를 들어, ImageNet-1K에서 주석된 이미지 5,000개만 사용하여 우리의 base MSN 모델은 72.4%의 top-1 정확도를 달성하며, ImageNet-1K 라벨의 1%만 사용하여 75.7%의 top-1 정확도를 달성하여 이 벤치마크에서 자기지도 학습의 새로운 state-of-the-art를 설정합니다.

이 모델은 sayakpaul이(가) 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 팁

• MSN(masked siamese networks)은 Vision Transformers(ViTs)의 자기 지도 사전 학습 방법입니다. 사전 학습의 목표는 이미지의 마스킹되지 않은 뷰에 할당된 프로토타입을 동일한 이미지의 마스킹된 뷰의 프로토타입과 일치시키는 것입니다.
• 저자들은 백본의 사전 학습된 가중치만 공개했습니다(ImageNet-1k 사전 학습). 따라서 자체 이미지 분류 데이터셋에서 이를 사용하려면 ViTMSNModel에서 초기화되는 ViTMSNForImageClassification 클래스를 사용하세요. 세부적인 파인튜닝 튜토리얼은 이 노트북을 참고하세요.
• MSN은 특히 low-shot 및 extreme low-shot 환경에서 유용합니다. 주목할 점은, fine-tuning을 수행할 때 ImageNet-1K 레이블의 1%만으로도 75.7%의 top-1 정확도를 달성한다는 것입니다.

Scaled Dot Product Attention(SDPA) 사용

PyTorch에는 torch.nn.functional의 일부로 네이티브 scaled dot-product attention(SDPA) 연산자가 포함되어 있습니다. 이 함수는 입력과 사용 중인 하드웨어에 따라 적용할 수 있는 여러 구현 방식을 포함합니다. 자세한 내용은 공식 문서 또는 GPU Inference 페이지를 참고하세요.

구현이 사용 가능한 경우 torch>=2.1.1에서는 기본적으로 SDPA가 사용되지만, from_pretrained()에서 attn_implementation="sdpa"를 설정하여 SDPA 사용을 명시적으로 요청할 수도 있습니다.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

최고의 속도 향상을 위해 모델은 반정밀(half-precision, 예: torch.float16 또는 torch.bfloat16)로 로드하는 것을 권장합니다.

로컬 벤치마크(A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04)에서 float32와 facebook/vit-msn-base 모델을 사용하여 추론 시 다음과 같은 속도 향상을 확인했습니다.

리소스

ViT MSN을 시작하는 데 도움이 되는 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다.

• 이 노트북은 ViTMSNForImageClassification를 지원합니다.
• 참고: 이미지 분류 작업 가이드

여기에 포함할 리소스를 제출하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 기존 리소스와 중복되지 않고 새로운 것을 보여주는 것이 이상적입니다.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker