Değişiklik Günlüğü

3 Kasım 2026

• reset_classifier() ve checkpoint yeniden inşası: ViT, EVA, BEiT, NaFlexViT, RepViT ve iFormer'de düzeltmeler Sınıflandırıcı veya havuzlama değiştirildikten sonra modelleri dışa aktarırken / yeniden yüklerken normalizasyon yerleşimi ve damıtma ayarlarını koru. Ayrıca havuzlanmamış PiT dışa aktarımını ve damıtma devre dışı bırakılmış EfficientFormerV2'yi de düzelt.
• NaFlex: dönüştürme sırasında ViT / EVA norm yerleşimini düzeltme, DINOv3 / Lingbot kontrol noktaları için SwiGLU hizalamasını destekleme ve veri yükleyicilerde gri tonlama / RGB dışı giriş kanallarını koruma.
• RepViT, HGNet, MViTv2 ve pre-norm ViT'ler için katman bazlı LR decay gruplamasını ve output_stride=8/16 ile InceptionNeXt özellik boyutlarını düzeltin.
• Sürüm 1.0.31.

24 Ekim 2026

• forward_intermediates() ve prune_intermediate_layers() artık her model tarafından desteklenmektedir. CSPNet, NFNet, DLA, DenseNet (#2870, teşekkürler ghaith-mq), CoaT, ConViT, ConvMixer, CrossViT, HRNet, Inception-v3, Inception-ResNet-v2, NASNet, PNASNet, SelecSLS, SENet, Sequencer2d, VGG, Visformer, Xception ve Aligned Xception için yeni eklendi; NaFlexViT ve MobileNetV5 kodlayıcıları için prune_intermediate_layers() eklendi. CoaT, ConViT, ConvMixer, CrossViT ve Visformer features_only desteği kazandı.
• prune_intermediate_layers() düzeltmeleri
  • prune_head=True, tüm başlığı (head norm, pre-logits katmanları, attention pooling) kaldırır; böylece budanmış model, yalnızca bazı paralel ölçekleri / dalları alınmış CoaT, CrossViT ve HRNet durumları hariç olmak üzere kullanılmayan parametre bırakmaz (DDP w/o find_unused_parameters). Başlığı korumak için prune_head=False geçin.
  • Hiyerarşik bir modelin daha önceki bir aşamaya budanması, son aşama için boyutlandırılmış son normu ve başlığı kaldırır; forward_features() son tutulan özellikte sona erer ve num_features / head_hidden_size bu değerle eşleşir. Kök özelliğe budama, onun ardından gelen kök havuzlamayı kaldırır.
  • Birçok ailede grad checkpointing, stop_early, class token / post network kaldırma ve budanmış / feature_cls='getter' modellerinin TorchScript'i için düzeltmeler.
• head_hidden_size, concat pooling (catavgmax) dahil olmak üzere tüm modellerde ve reset_classifier() sonrasında, logit öncesi (pooled) gerçek genişliktir. Bir modelin şu anda uygulayamadığı pool türleri, sessizce yok sayılmak veya forward sırasında hata vermek yerine, oluşturma / sıfırlama sırasında hata fırlatır.
• Diğer düzeltmeler: VOLO num_classes=0 çıktısı sınıf jetonu gömümüdür (forward_head(pre_logits=True) ile eşleşir), vit_pe_core içinde map olmayan bir havuzlama ile reset_classifier() dikkat havuzlamasını kaldırır, save_for_hf üzerinden havuzlama türü dışa aktarımı başlığın güncel havuzlamasını okur ve başlıksız (num_classes=0) Swin, SwinV2, DaViT ve NextViT denetim noktaları doğru şekilde yeniden yüklenir.

13 Ekim 2026

• Yeni sweep.py ile hiperparametre taramaları: herhangi bir train.py argümanı üzerinde ızgara / rastgele arama, iş başına tek etkili --config, yerel GPU havuzunda çalıştırma ve yeniden başlatılabilirlik. WSD taramaları, her hiperparametre kombinasyonu için tek bir kararlı gövde eğitir ve bu gövdenin kilometre taşı kontrol noktalarından bağımsız soğuma süreçleri dallandırır; böylece tam çalıştırmaların maliyetinin küçük bir kısmıyla birkaç bütçede tavlama karşılaştırması yapar. eğitim belgelerine bakın.
• train.py: --resume auto deneyin kendi last.pth.tar dosyasından (checkpoint geçmişi, model_best ve summary.csv tutarlı kalır) yerinde devam eder, --stop-epoch N zaman çizelgesini değiştirmeden durdurur, --save-epochs N [N ...] milestone-N.pth.tar anlık görüntülerini saklar ve YAML --config değerleri betiğin argümanlarına karşı doğrulanır.
• PlateauLRScheduler (--sched plateau) kullanımdan kaldırıldı. timm zamanlayıcıları, epoch veya güncelleme sayısının durum içermeyen işlevleridir; metrik odaklı plateau zamanlaması bu modele uymamış ve durumu checkpoint'lenmediği için devam işlemi asla tam olmamıştır. Bunun yerine cosine veya wsd kullanın.
• Dokümanlar: yeni Model API sayfası, eski model bazlı sayfaların yerini alan her model modülü için üretilen model ailesi sayfaları ve genişletilmiş veri / kayıp / modeller referans sayfaları.
• Model API tutarlılık düzeltmeleri: reset_classifier() tüm modellerde mevcut birleştirmeyi (pooling) korur, bilinmeyen yapılandırıcı argümanları her yerde TypeError fırlatır, Swin ailesi dynamic_img_size, LeViT katman bazlı lr azaltması, hiçbir parametreyle eşleşmeyen no_weight_decay adları (NesT, SwinV2, XCiT, FocalNet), tüm set_input_size aileleri için yeniden boyutlandırma durumu kaydedilir.
• Düzeltmeler: GCViT, bir parti içindeki küresel sorgu karışık görüntülerini, RDNet ve MobileNetV5 için gradyan denetleme noktası, save_for_hf bayık test giriş boyutu, EfficientViT (MSRA) dikdörtgen yeniden boyutlandırma, ImageDataset görüntü dönüştürme hataları (#2846). reparameterize_model timm.models içine taşındı.

9 Ekim 2026

• OpenMMLab'dan dönüştürülen ImageNet-1k sınıflandırma ağırlıklarıyla CSPNeXt (RTMDet omurgası) cspnext_{tiny,s,m,l,x} eklendi. Munehiro Kobayashi'ye teşekkürler.
• Optimizatör iyileştirmeleri
  • RMSpropTF, LaProp, LAMB, LARS, AdaBelief için Foreach (çoklu tensör) uygulamaları. Foreach adımları, cihaz L2 önbellek boyutuna göre parçalanır (TIMM_FOREACH_CHUNK_SIZE ile geçersiz kılınabilir).
  • AdamWLegacy / NAdamW için RMS güncelleme kırpma (clipping_threshold), yeni ayrık / düzeltilmiş ağırlık çürümesi NovoGrad varyantları (novogradw, novogradc).
  • Birçok optimizyonda doğruluk düzeltmeleri, bunlar arasında yerinde güncellenen tensör lr ile düzeltilmiş ağırlık çürümesi, küçük lr değerlerinde FP16 güncelleme duraksamaları, düşük hassasiyet durum yönetimi (Kron, AdaBelief, NovoGrad) ve artık yerinde p.grad değişikliği yapılmaması.
  • Adopt, SGDW, AdafactorBV için torch.compile / CUDA grafik düzeltmeleri.
  • Kullanım, adlandırma kuralları ve aileleri kapsayan yeni optimizör belgeleri.
• WSD (warmup-stable-decay) LR zamanlayıcısı ekleyin (--sched wsd, --lr-decay-fn, --lr-stable-timescale).
• bfloat16 / float16 modelleri için Model EMA düzeltmeleri. ModelEmaV3 bfloat16 EMAs varsayılan olarak stokastik yuvarlamayı kullanır, float16 modeller ise float32 EMA tutar.
• Model yeniden boyutlandırma set_input_size()
  • Pencere tabanlı modeller için genişletilmiş destek (MaxViT, CoAtNet, BEiT, EfficientViT-MSRA, relpos ViT, Swin ailesi).
  • Swin / SwinV2 / SwinV2-CR yeniden boyutlandırma sırasında her aşamanın pencere/ızgara oranını korur; mevcut boyutta yapılan bir çağrı artık hiçbir şey yapmaz. Aşama bazında window_size / window_ratio desteklenir. Aynı boyutta yapılan bir çağrıda çıktıları değiştiren Swin S3 ve SwinV2 window16 / window12 modellerindeki hatayı düzeltir.
  • SwinV2'de pencere boyutu 1, tek sayılı aşama özellik boyutları ve CUDA / düşük hassasiyette hibrit ViT yeniden boyutlandırma ile NaN sorununu düzeltin.
• Grad accumulation artığı işleme düzeltmesi (#2821), küçük veri setlerinde dağıtık örneklem alma / tekrarlı artırma, önceden eğitilmiş kaynak geçersiz kılma ve distillation öğretmen kurulumu, train.py ile --sched none ve kare olmayan girdiler için eval merkezli kırpma interpolasyonu.
• PyTorch sürümleri arasında ONNX dışa aktarma uyumluluğu düzeltmeleri, dropout tutarlılığı düzeltmeleri ve daha fazla meta-device init düzeltmesi.

25 Eylül 2026

• Çok etiketli sınıflandırma desteği
  • train.py / validate.py dosyalarına --task multilabel ekleyin; eğitim BCE (MultiLabelClassificationTask) ile yapılır. Ayrıntılar için eğitim belgelerini inceleyin.
  • Targets, sınıf dizinlerinin listeleri, yoğun çoklu-sıcak vektörler (--target-format multihot) veya sınıf başına bir ikili alan (--target-key a,b,c) olabilir; iç içe geçmiş alanlara / yolları ile erişilebilir. hfds, hfids, tfds (çoklu alan anahtarları) ve wds okuyucuları tarafından desteklenir.
  • Mixup / CutMix ve NaFlex yükleyicileri çoklu etiket hedeflerini destekler. Etiket yumuşatma, her hedefi 0.5'e doğru kaydırır ve çoklu etiket için varsayılan olarak 0'dır.
  • Doğrulama, varsayılan --eval-metric olan mAP ile birlikte mikro, makro ve örnek F1 değerlerini raporlar; F1 eşiği --multilabel-threshold ile ayarlanır.
  • Yeni veri seti düzeyi değerlendiriciler, dağıtık sınıflandırıcı (sampler) dolgusunu hariç tutarak, dağıtık sıralar (ranks) üzerinde tam doğrulama kümesi üzerinden metrikleri hesaplar.
  • Örnek / referans olarak, kutudan çıktığı gibi çalışan veri setleri için Hub'daki timm multi-label image datasets koleksiyonuna göz atın.
• Yeni kayıp seçenekleri: --loss
  • Poly-1, Two-way, ZLPR ve Distribution-Balanced kayıpları.
  • class_weights.py tarafından toplanan etiket sayılarından hesaplanan BCE / ASL için sınıf-sıklık ağırlıklandırması.
  • ASL artık fp16 güvenli ve varsayılan olarak batchmean indirgeme kullanır
• RoPE Yeniden Yapılandırması Sadece eğitim için kullanılan RoPE koordinat artırmalarını (kaydırma, titreme, yeniden ölçekleme) eksenel, karışık ve MRoPE gömme türlerine genişletin; DINOv3 ile yardımcıları paylaşırken mevcut artırmama davranışını koruyun. Fourier / döner oluşturuculara (build_fourier_pos_embed, build_rotary_pos_embed) ve eksenel RoPE modüllerine grid_type ve normalize_coords seçeneklerini, EVA'ya ise yapılandırılabilir MRoPE bölümlerini ekleyin. Tuple çıktılı RotaryEmbedding ve temel fabrika varyantında rotate_half desteğini sağlayın. EVA, NaFlexViT ve MRoPE dikkat birleştirmede (attention pooling) döner yerleşimi yönlendirmesini düzeltin. Yarım/bfloat16 modellerde öğrenilmemiş RoPE frekans ve koordinat tamponlarını en az float32 olarak tutun ve autocast altında karışık RoPE fazlarını float32 ile hesaplayın. Bu hassasiyet düzeltmeleri düşük hassasiyetli model çıktılarını değiştirebilir. Piksel ızgaraları ve referans şekli yeniden ölçekleme için toplu (batched) RoPE gömme işlemlerini düzeltin. DINOv3'te grid_indexing='xy' artık istendiği gibi koordinat kanallarını değiştirir; bu daha önce hatalı yapılandırmalar için çıktılar değişir. apply_rot_embed, apply_rot_embed_cat ve apply_rot_embed_list fonksiyonlarının, sin/cos değerlerini önce aşağı dönüştürmeden (downcast) döndürme işleminden sonra dönüştürerek (cast) her girdinin dtype değerini döndürmesini sağlayın. İki eksenel RoPE modülünü özel bir temel (private base) altında birleştirin. Mevcut çağrılar uyumlu kalmaya devam eder, ancak bands tamponu artık hem önbellekli hem de dinamik modlarda tutulur (önbellekli modda rope.bands artık None değildir).
  • Sadece eğitim için RoPE koordinat artımlarını (kaydırma, titreme, yeniden ölçekleme) aksiyel, karışık ve MRoPE gömme türlerine genişletin; DINOv3 ile yardımcıları paylaşırken mevcut artırma davranışını koruyun.
  • Fourier / rotary oluşturucularına (build_fourier_pos_embed, build_rotary_pos_embed) ve axial RoPE modüllerine grid_type ve normalize_coords seçeneklerini ekleyin ve EVA'da yapılandırılabilir MRoPE bölümleri ekleyin.
  • RotaryEmbedding'in tuple çıktılı ve base fabrika varyantında rotate_half desteği.
  • EVA, NaFlexViT ve MRoPE dikkat birleştirmede doğru döndürme yerleşimi yönlendirmesini düzeltin.
  • Yarım/bfloat16 modellerde öğrenilmemiş RoPE frekans ve koordinat tamponlarını en azından float32 olarak tutun ve autocast altında karma RoPE fazlarını float32 ile hesaplayın. Bu hassasiyet düzeltmeleri, düşük hassasiyetli model çıktılarını değiştirebilir.
  • Piksel ızgaraları ve referans şekli yeniden ölçeklendirme için toplu RoPE gömme düzeltmeleri. DINOv3 grid_indexing='xy' artık istendiği gibi koordinat kanallarını değiştirir; bu daha önce hatalı yapılandırmalar için çıktılar değişir.
  • apply_rot_embed, apply_rot_embed_cat ve apply_rot_embed_list işlevlerinin, sin/cos değerlerini önce aşağı dönüştürmeden (downcast) döndürmeden önce her girdinin dtype değerini döndürmesini sağlayın.
  • İki aksiyel RoPE modülünü özel bir taban altında birleştirin. Mevcut çağrılar uyumlu kalmaya devam eder, ancak bands tamponu artık hem önbelleğe alınmış hem de dinamik modlarda tutulur (önbelleğe alınmış modda rope.bands artık None değildir).
• LeViT ve ilgili modeller (EfficentFormer*, EfficientViT-MSRA, TinyViT) için önbelleğe alınmış dikkat önyargıları ile eğitim/değerlendirme modu geçişi ve dtype değişiklikleri düzeltmeleri.

22 Eylül 2026

• Qwen-Drive-1.0-4B görme kulesi ağırlıklarını ekleyin.
• Ön yükleme yükleyici akış yeniden kullanımı/senkronizasyonunu ve kare olmayan ve tek bantlı görüntüler için AugMix'i düzeltin.
• AdaMuon conv LR ölçeklemesini, AdafactorBigVision kırpma işlemini, MARS gradyan geçmişini ve Kron checkpoint yüklemesini düzeltin.
• Eski eval dikkat önyargısı önbelleklerini, budanmış model özellik meta verilerini, dilate edilmiş max-pool dolgusunu ve asimetrik kayıp gradyan modunu düzeltin.
• Sürüm 1.0.30

10-11 Eylül 2026

• Qwen3-VL / Qwen3.5 / Qwen3.8 ViT sınıflandırıcı ve kodlayıcı varyantlarını, yerel uzamsal birleştirici (spatial merger) olan ve olmayan sınıflandırıcılar dahil olmak üzere ekleyin.
• EVA ve NaFlexViT desteğiyle Sapiens2 ViT'leri eklendi. Her iki model ekleme de yerel timm Hub ağırlıklarını içerir. Yonghye Kwon'a teşekkürler.
• Yerel timm Hub ağırlıklarıyla iFormer eklendi. Teşekkürler Ryan Hou.
• Yerel timm Hub ağırlıklarıyla EfficientViM eklendi. Teşekkürler smellslikeml.
• DeepSeek-V4 / V4.1 ViT sınıflandırıcılarını ve kodlayıcılarını yerel timm Hub ağırlıklarıyla ekleyin. Teşekkürler Yonghye Kwon.
• Varsayılan NaFlex SigLIP konum interpolasyonunu değiştirin, inference.py giriş boyutu seçimini ve --model-kwargs ayrıştırmasını iyileştirin.
• Birkaç model için meta-device inşasını ve device/dtype fabrika desteğini düzeltin; daha hızlı CI için yapılandırma testlerini meta'ya taşıyın, meta bağlam kapsamı.

27 Ağustos 2026

• LowFormer modeli ve ağırlıklarını ekleyin
• Ajanlar tarafından ortaya çıkarılan, gerçek ancak küçük veya yaygın olarak karşılaşılmayan bir dizi hatayı düzeltin veya birleştirin
• Sürüm 1.0.29

11 Ağustos 2026

• model tanımları ve önceden eğitilmiş ağırlıklar eklendi:
  • CPUBone, düşük paralelleştirme yeteneğine sahip cihazlar için verimli bir görme omurgası.
  • PP-LCNetV2.
  • LingBot-Vision.
• NaFlex dışı eğitim için parti başına görüntü ve parti boyutu zamanlaması ekleyin; kademeli küçükten büyüğe çözünürlük zamanlamaları dahil.
• NaFlexViT'yi yalnızca anahtar dikkat maskeleri, derlemeye uygun ve bellek verimli konum örneklemesi ile önbelleğe alınmış değişken yama interpolasyonu ile iyileştirin.
• Model fabrikası yolunu ve checkpoint işleme sürecini iyileştirin; eşit token konumsal gömme yeniden örneklemesini düzeltin.

10 Temmuz 2026

• Optimizatör torch.compile ve tensör öğrenme hızı desteğini iyileştirin.
• NaFlexViT yama yerleşimini (NaFlex-CLAP için) genişletin ve forward_intermediates (NaFlex sözlük girişi) desteğini ekleyin.
• Pickle yükleme işlemini güçlendirin ve özel etiket çıkarımını iyileştirin.
• Sürüm 1.0.28

27 Mayıs 2026

• EUPE ViT (DINOv3 tarzı) ve ConvNeXt modelleri için model tanımları ve önceden eğitilmiş ağırlıklar ekleyin. Efficient Universal Perception Encoder makalesine bakın.
• (DINOv2 tarzı) ViT'ler için TIPSv2 model tanımlarını ve önceden eğitilmiş ağırlıkları ekleyin. TIPSv2 makalesine bakın.

8 Mayıs 2026

• Sürüm 1.0.27

23 Nisan 2026

• NaFlex pipeline desteği (görsel başına değişken en-boy oranı/boyutu) ile Gemma4 ViT kodlayıcıları eklendi. Teşekkürler Yonghye Kwon
• NaFlexVit'te DINOv3 ağırlıklarını destekle. Teşekkürler Yonghye Kwon
• Muon yedeğinin (AdamW/NadamW) lr davranışına yönelik bazı iyileştirmeler

23 Mart 2026

• Pickle checkpoint işleme güvenliğini iyileştirin. Tüm yükleme işlemlerini varsayılan olarak weights_only=True olarak ayarlayın, ArgParse için safe_global ekleyin.
• Çekirdek ViT/EVA modelleri ve katmanları için dikkat maskesi işleme sürecini iyileştirin. bool maskelerini çözümlen, SSL görevleri için is_causal parametresini iletin.
• ViT ve etkinleştirilmemiş konum gömme ile sınıf ve kayıt jetonlarının kullanımını düzeltin.
• ViT'de bir havuzlama seçeneği olarak Patch Representation Refinement (PRR) eklendi. Teşekkürler Sina (https://github.com/sinahmr).
• Dikkat havuzlama katmanları için çıktı projeksiyonu / MLP boyutlarının tutarlılığını iyileştirin.
• Hiera modeli için F.SDPA optimizasyonu, Flash Attention çekirdeğinin kullanılmasına izin verir.
• SGDP optimizörüne dikkat uyarısı eklendi.
• Sürüm 1.0.26. Hugging Face'ten ayrılışımdan bu yana ilk bakım sürümü.

23 Şubat 2026

• Distillation görev sarmalayıcılarına token damıtma eğitimi desteği ekleyin
• Resmi olarak kaldırılmadan önce bazı torch.jit kullanımlarını kaldır
• AdamP optimizatörüne dikkat uyarısı eklendi
• meta-device başlatma durumunda bile, init_empty_weights gibi hilelerle tamponların başlatılabilmesi için reset_parameters() çağrın
• Muon optimizatörünü DTensor/FSDP2 ile çalışacak şekilde ayarlayın (instead of clamp_min yerine clamp, DTensor için NS dalını değiştirin)
• Sürüm 1.0.25

21 Oca 2026

• Compat Break: içindeki QKV ile MLP bias farkı gözden kaçırıldı ParallelScalingBlock (& DiffParallelScalingBlock)
  • Eğitilmiş timm modellerini etkilemez ancak aşağı akış kullanımını etkileyebilir.

5 & 6 Ocak 2026

• Sürüm 1.0.24
• Tüm modellerde RTX Pro 6000, 5090 ve 4090 kartlarla PyTorch 2.9.1 kullanılarak çıkarım zamanlaması için yeni benchmark sonuç csv dosyaları ekleyin
• Eski importları etkileyen, kullanımdan kaldırılmış timm.models.layers import yolundaki taşınmış modül hatasını düzelt
• Sürüm 1.0.23

30 Aralık 2025

• Daha iyi NAdaMuon ile eğitilmiş dpwee, dwee, dlittle ((diferansiyel) ViT'ler, önceki çalışmalara kıyasla küçük bir artışla
  • https://huggingface.co/timm/vit_dlittle_patch16_reg1_gap_256.sbb_nadamuon_in1k (top-1 %83,24)
  • https://huggingface.co/timm/vit_dwee_patch16_reg1_gap_256.sbb_nadamuon_in1k (top-1 %81,80)
  • https://huggingface.co/timm/vit_dpwee_patch16_reg1_gap_256.sbb_nadamuon_in1k (top-1 %81,67)
• ~21M parametreli timm CSATv2 modelinin 512x512 ve 640x640 çözünürlüklerdeki
  • https://huggingface.co/timm/csatv2_21m.sw_r640_in1k (top-1 %83,13)
  • https://huggingface.co/timm/csatv2_21m.sw_r512_in1k (top-1 %82,58)
• Kalıcı olmayan parametre başlatma işlemini __init__ içinden çıkarıp, meta-device başlatma sonrasında init_non_persistent_buffers() üzerinden dışarıdan çağrılabilecek ortak bir yönteme dönüştürün.

12 Aralık 2025

• CSATV2 modeli eklendi (teşekkürler https://github.com/gusdlf93) — DCT stem & spatial attention içeren hafif ancak yüksek çözünürlüklü bir model. https://huggingface.co/Hyunil/CSATv2
• Mevcut timm Muon uygulamasına AdaMuon ve NAdaMuon optimizör desteği eklenir. Görevler için tanıdık hiperparametrelerle AdamW'ye kıyasla daha rekabetçi görünmektedir.
• Yıl sonu PR temizliği, uzun süredir açık olan birkaç PR'ın unsurlarını birleştirme
  • Diferansiyel dikkat birleştirme (DiffAttention), ve ViT için uygun DiffParallelScalingBlock (ekleme, bazı küçük ViT'leri eğitme
    • https://huggingface.co/timm/vit_dwee_patch16_reg1_gap_256.sbb_in1k
    • https://huggingface.co/timm/vit_dpwee_patch16_reg1_gap_256.sbb_in1k
  • Birkaç havuzlama modülü ekleyin: LsePlus ve SimPool
  • Temizlik, DropBlock2d optimizasyonu (ByobNet tabanlı modellere de destek eklenmesi)
• Üst sınırdaki birim testlerini PyTorch 2.9.1 + Python 3.13'e yükseltin, alt sınırda hâlâ PyTorch 1.13 + Python 3.10

1 Aralık 2025

• Hafif bir görev soyutlaması ekleyin, yeni görevler aracılığıyla eğitim betiğine logit ve özellik damıtma desteği ekleyin.
• Eski APEX AMP desteğini kaldırın

4 Kasım 2025

• 1.0.21 sürümünde ortaya çıkan LayerScale / LayerScale2d init hatasını (init değerlerinin yok sayılması) düzeltildi. Teşekkürler https://github.com/Ilya-Fradlin
• Sürüm 1.0.22

31 Ekim 2025 🎃

• imagenet & OOD varyant sonuç csv dosyalarını birkaç yeni model ekleyecek şekilde güncelleyin ve birkaç torch & timm sürümü üzerinde doğruluğu kontrol edin
• AdamW ile Muon karşılaştırması için yapılan hparam araması kapsamında EfficientNet-X ve EfficientNet-H B5 model ağırlıkları eklendi (Muon çalışmaları üzerinde hâlâ çalışılıyor)

16-20 Ekim 2025

• Muon optimizörünün bir uygulamasını ekleyin (taban olarak https://github.com/KellerJordan/Muon) özel ayarlarla
  • conv ağırlıkları için ek esneklik ve iyileştirilmiş işleme ile ortogonalizasyon için uygun olmayan ağırlık şekillerine yönelik geri dönüşler
  • NS iterasyonları için alloc'ları azaltarak ve füzyonlu (b)add(b)mm işlemlerini kullanarak küçük bir hız artışı
  • varsayılan olarak, muon parametre şekli için uygun değilse (veya parametre grubu bayrağıyla hariç tutulduysa) nesterov=True ise NAdamW, değilse AdamW güncellemelerini kullanır
  • torch uygulaması gibi, adjust_lr_fn üzerinden birkaç LR ölçek ayarlama fonksiyonundan seçim yapın
  • birden fazla NS katsayısı ön ayarından seçim yapın veya ns_coefficients ile kendi değerlerinizi belirtin
• ‘meta’ cihaz modelinin başlatılmasının ilk 2 adımı destekleniyor
  • ‘meta’ cihaz bağlamı altında oluşturmayı bozan birkaç işlemi düzelt
  • timm içindeki tüm modeller ve modüllere (nn.Module'den türeyen her şeye) cihaz ve dtype fabrika kwarg desteği ekleyin
• Kodda önceden eğitilmiş cfg'lere lisans alanları eklendi
• Sürüm 1.0.21

21 Eylül 2025

• DINOv3 ViT ağırlık etiketlerini lvd_1689m -> lvd1689m olarak yeniden eşleyin (aynı şekilde sat_493m -> sat493m)
• Sürüm 1.0.20

17 Eylül 2025

• DINOv3 (https://arxiv.org/abs/2508.10104) ConvNeXt ve ViT modelleri eklendi. ConvNeXt modelleri mevcut timm modeline eşlendi. ViT desteği, DINOv3'e özgü RoPE uygulamasıyla eşleşmesi için yeni bir RotaryEmbeddingDinoV3 ile EVA taban modeli üzerinden sağlandı
  • HuggingFace Hub: https://huggingface.co/collections/timm/timm-dinov3-68cb08bb0bee365973d52a4d
• MobileCLIP-2 (https://arxiv.org/abs/2508.20691) görme kodlayıcıları. Yeni MCI3/MCI4 FastViT varyantları eklendi ve ağırlıklar mevcut FastViT ile B, L/14 ViT'lere eşlendi.
• MetaCLIP-2 Worldwide (https://arxiv.org/abs/2507.22062) ViT encoder ağırlıkları eklendi.
• SigLIP-2 (https://arxiv.org/abs/2502.14786) timm NaFlexViT modeli üzerinden eklenen NaFlex ViT encoder ağırlıkları.
• Çeşitli düzeltmeler ve katkıları

23 Temmuz 2025

• OpenCLIP 3.0.0 tarafından timm tabanlı kodlayıcı modellerinde yeniden boyutlandırmaya izin vermek için kullanılan set_input_size() yöntemini EVA modellerine ekleyin.
• OpenCLIP 3.0.0'daki PE-Core S & T modelleri için gerekli olan 1.0.18 sürümü
• Python 3.9 uyumluluğunu bozan küçük bir yazım sorununu düzeltti. 1.0.19 yama sürümü.

21 Temmuz 2025

• NaFlexViT'e ROPE desteği eklendi. EVA tabanını (eva.py) kapsayan tüm modeller, EVA, EVA02, Meta PE ViT, timm SBB ViT w/ ROPE ve Naver ROPE-ViT dahil olmak üzere, model oluşturulurken use_naflex=True parametresi geçirildiğinde artık NaFlexViT ile yüklenebilir.
• Daha fazla Meta PE ViT kodlayıcı eklendi; bunlar arasında küçük/çok küçük varyantlar, tiling ile dil varyantları ve daha fazla uzamsal varyant yer alıyor.
• PatchDropout, NaFlexViT ve ayrıca EVA modelleriyle düzeltildi (Naver ROPE-ViT eklendikten sonra oluşan bir regresyon)
• grid_indexing='xy' ile XY sırasını düzeltme, 'xy' modunda etkilenen kare olmayan görüntü kullanımı (yalnızca ROPE-ViT ve PE etkilendi).

7 Temmuz 2025

• Güncellenmiş resmi ağırlıklarla eşleştirilmek üzere Google Gemma 3n davranışını iyileştirmek için MobileNet-v5 omurga ayarları
  • Sapma (bias) ekleyin (güncellenmiş ağırlıklarda sıfırlanır, eski ağırlıklarla uyumsuzluk)
  • GELU -> GELU (tanh approx). JAX'a daha yakın olmak için küçük bir değişiklik
• Katman-azalması desteğine iki argüman ekleyin: bir minimum ölçek kelepçesi ve 'optimizasyon yok' ölçek eşiği
• Norm hesaplama işleminin float32 olarak zorlanabilmesi için etkinleştirilebilen ‘Fp32’ LayerNorm, RMSNorm ve SimpleNorm varyantlarını ekleyin
• Yukarıdakilerle norm, norm+act katmanları için bazı tip tanımları ve argüman temizliği yapıldı
• eva.py içinde Naver ROPE-ViT (https://github.com/naver-ai/rope-vit) desteği, karma mod için RotaryEmbeddingMixed modülü ve HuggingFace Hub üzerindeki ağırlıklar eklendi

• ROPE modülleri, yardımcıları ve FX izleme yaprağı kaydının bazı temizlik işlemleri
• 1.0.17 sürümünün hazırlanması

26 Haziran 2025

• Gemma 3n görüntü kodlayıcısı için MobileNetV5 omurgası (yalnızca kodlayıcı varyantı)
• Version 1.0.16 yayınlandı

23 Haziran 2025

• NaFlexViT'e F.grid_sample tabanlı 2B ve faktörize edilmiş konum gömme yeniden boyutlandırma eklendi. Farklı boyutların çok olduğu durumlarda daha hızlı (örnek https://github.com/stas-sl tarafından sağlanmıştır).

• vmap yerine matmul kullanarak patch embed resample işlemini daha da hızlandırın (https://github.com/stas-sl tarafından paylaşılan kod parçasına dayanmaktadır).

• Test sırasında oluşturulan, ImageNet-1k ve aynı hparam'lere sahip 3 farklı pos embed yapılandırmasına sahip 3 başlangıçta yerli en-boy oranı NaFlexViT checkpoint'ini ekleyin.

  Model	En İyi 1 Doğruluk	İlk 5 Doğruluk	Parametreler (M)	Değerlendirme Sıralama Uzunluğu
  naflexvit_base_patch16_par_gap.e300_s576_in1k	83.67	96.45	86.63	576
  naflexvit_base_patch16_parfac_gap.e300_s576_in1k	83.63	96.41	86.46	576
  naflexvit_base_patch16_gap.e300_s576_in1k	83.50	96.46	86.63	576

• forward_intermediates için gradyan denetleme noktası (gradient checkpointing) desteği eklenir ve bazı denetleme noktası hataları düzeltilir. Teşekkürler https://github.com/brianhou0208

• ‘corrected weight decay’ (https://arxiv.org/abs/2506.02285) seçeneğini AdamW (legacy), Adopt, Kron, Adafactor (BV), Lamb, LaProp, Lion, NadamW, RmsPropTF, SGDW optimizörlerine ekleyin

• PE (perception encoder) ViT modellerini, ağırlıkları anlık olarak yeniden eşleştirmek yerine yerel timm ağırlıklarını kullanacak şekilde değiştirin

• Prefetch loader'daki cuda stream hatasını düzelt

5 Haziran 2025

• Başlangıç NaFlexVit model kodu. NaFlexVit, aşağıdaki özelliklere sahip bir Vision Transformer'dır:
  1. Tek bir modülde kapsüllenmiş gömme ve konum kodlaması
  2. Ön yamalanmış (sözlük) girdilerde nn.Linear yama gömme desteği
  3. NaFlex değişken en-boy oranı ve değişken çözünürlük desteği (SigLip-2: https://arxiv.org/abs/2502.14786)
  4. FlexiViT değişken yama boyutu desteği (https://arxiv.org/abs/2212.08013)
  5. NaViT kesirli/faktörize konum gömme desteği (https://arxiv.org/abs/2307.06304)
• Mevcut vit modelleri vision_transformer.py NaFlexVit modeline, use_naflex=True parametresine eklenerek yüklenebilir. Yakında yerel ağırlıklar geliyor create_model
  • Yakında bazı yerel ağırlıklar
• Değişken en-boy oranına / boyutuna sahip görüntülerle eğitim / ince ayar / değerlendirme yapılmasını sağlayan tam bir NaFlex veri hattı mevcuttur
  • train.py ve validate.py dosyalarında etkinleştirmek için --naflex-loader argümanını ekleyin; bu argüman bir NaFlexVit ile birlikte kullanılmalıdır
• NaFlex veri hattı ile NaFlexVit modeline yüklenmiş mevcut (klasik) bir ViT'yi değerlendirmek için:
  • python validate.py /imagenet --amp -j 8 --model vit_base_patch16_224 --model-kwargs use_naflex=True --naflex-loader --naflex-max-seq-len 256
• Eğitim, dikkat edilmesi gereken bazı ek argüman özelliklerine sahiptir
  • --naflex-train-seq-lens' argümanı, eğitim sırasında her batch için rastgele seçilecek dizi uzunluklarını belirtir
  • --naflex-max-seq-len argümanı, doğrulama için hedef dizi uzunluğunu ayarlar
  • --model-kwargs enable_patch_interpolator=True --naflex-patch-sizes 12 16 24 eklemek, interpolasyon ile batch başına rastgele patch boyutu seçimini etkinleştirir
  • --naflex-loss-scale argümanı, parti boyutuna göre her parti için kayıp ölçekleme modunu değiştirirken, timm NaFlex yükleme işlemi her dizi uzunluğu için parti boyutunu değiştirir

28 Mayıs 2025

• sayesinde bir dizi küçük/hızlı model eklendi https://github.com/brianhou0208
  • SwiftFormer - (ICCV2023) SwiftFormer: Transformer tabanlı gerçek zamanlı mobil görü uygulamaları için verimli katkılı dikkat
  • FasterNet - (CVPR2023) Koş, Yürüme: Daha Hızlı Sinir Ağları İçin Daha Yüksek FLOPS Peşinde
  • SHViT - (CVPR2024) SHViT: Bellek Verimli Tek Başlı Görüntü Dönüşümü
  • StarNet - (CVPR2024) Yıldızları Yeniden Yaz
  • GhostNet-V3 GhostNetV3: Kompakt Modeller İçin Eğitim Stratejilerinin İncelenmesi
• EVA ViT'yi (en yakın eşleşme) Perception Encoder modellerini destekleyecek şekilde güncelleme (https://arxiv.org/abs/2504.13181) Meta'dan, Hub ağırlıklarını yükleyerek ancak hâlâ özel timm ağırlıklarını itmem gerekiyor
  • ROPE uygulamasına biraz esneklik ekleyin
• destekleyen model sayısında büyük artış forward_intermediates() ve şükranlar https://github.com/brianhou0208
  • DaViT, EdgeNeXt, EfficientFormerV2, EfficientViT(MIT), EfficientViT(MSRA), FocalNet, GCViT, HGNet /V2, InceptionNeXt, Inception-V4, MambaOut, MetaFormer, NesT, Next-ViT, PiT, PVT V2, RepGhostNet, RepViT, ResNetV2, ReXNet, TinyViT, TResNet, VoV
• Yeni ağırlıklarla TNT modeli güncellendi forward_intermediates() https://github.com/brianhou0208 sayesinde
• local-dir: ön eğitilmiş şeması eklendi; model adı olarak local-dir:/path/to/model/folder kullanılabilir, böylece model / ön eğitilmiş yapılandırma ve ağırlıklar, yerel bir klasörden Hugging Face Hub modelleri (config.json + ağırlık dosyası) olarak alınır.
• onnx dışa aktarımı için düzeltmeler ve iyileştirmeler

21 Şubat 2025

• SigLIP 2 ViT görüntü kodlayıcıları eklendi (https://huggingface.co/collections/timm/siglip-2-67b8e72ba08b09dd97aecaf9)
  • Değişken çözünürlük / en-boy oranı NaFlex sürümleri devam etmektedir
• SBB tarifleriyle eğitilmiş ‘SO150M2’ ViT ağırlıkları eklendi; mükemmel sonuçlar, daha az eğitimle önceki denemeye kıyasla ImageNet üzerinde daha iyi performans.
  • vit_so150m2_patch16_reg1_gap_448.sbb_e200_in12k_ft_in1k - 88,1% top-1
  • vit_so150m2_patch16_reg1_gap_384.sbb_e200_in12k_ft_in1k - %87,9 top-1
  • vit_so150m2_patch16_reg1_gap_256.sbb_e200_in12k_ft_in1k - %87,3 top-1
  • vit_so150m2_patch16_reg4_gap_256.sbb_e200_in12k
• InternViT-300M ‘2.5’ ağırlıkları güncellendi
• Sürüm 1.0.15

1 Şubat 2025

• Bilgi olarak: PyTorch 2.6 & Python 3.13, timm'in mevcut ana ve yayınlanmış sürümleriyle test edildi ve çalışıyor.

27 Oca 2025

• Kron Optimizer (Kronecker faktörlü ön koşullandırıcı ile PSGD) ekle
  • https://github.com/evanatyourservice/kron_torch adresindeki kod
  • Bkz. https://sites.google.com/site/lixilinx/home/psgd

19 Ocak 2025

• LeViT safetensor ağırlıklarının yüklenmesini düzeltin, devre dışı bırakılması gereken dönüştürme kodunu kaldırın
• SBB tarifleriyle eğitilmiş ‘SO150M’ ViT ağırlıkları eklendi; sonuçlar iyi ancak ImageNet-12k/1k ön eğitim/ince ayar için optimal yapıda değil
  • vit_so150m_patch16_reg4_gap_256.sbb_e250_in12k_ft_in1k - %86,7 top-1
  • vit_so150m_patch16_reg4_gap_384.sbb_e250_in12k_ft_in1k - 87.4% top-1
  • vit_so150m_patch16_reg4_gap_256.sbb_e250_in12k
• Çeşitli yazım, imla vb. temizlik
• LeViT düzeltmesini yayınlamak için 1.0.14 sürümü

9 Ocak 2025

• Saf bfloat16 veya float16 ile eğitim ve doğrulama desteği ekleyin
• wandb proje adı argümanı https://github.com/caojiaolong tarafından eklendi, ad için arg.experiment kullanılır
• Sabit bağlantı (hard-link) desteği olmayan dosya sistemlerinde (ör. FUSE fs bağlamaları) checkpoint kaydının çalışmaması sorununu düzelt
• 1.0.13 sürümü

6 Ocak 2025

• timm.models içinde, ortamda TIMM_REENTRANT_CKPT=1 ayarlanmadığı sürece use_reentrant=False varsayılanını kullanan torch.utils.checkpoint.checkpoint() sarmalayıcısını ekleyin.

31 Aralık 2024

• convnext_nano 384x384 ImageNet-12k ön eğitim & ince ayar. https://huggingface.co/models?search=convnext_nano%20r384
• https://github.com/apple/ml-aim adresinden AIM-v2 kodlayıcılarını ekleyin, Hub'da görüntüleyin: https://huggingface.co/models?search=timm%20aimv2
• Mevcut PaliGemma'ya https://github.com/google-research/big_vision adresindeki PaliGemma2 kodlayıcılarını ekleyin, Hub'da görüntüleyin: https://huggingface.co/models?search=timm%20pali2
• Eksik L/14 DFN2B 39B CLIP ViT, vit_large_patch14_clip_224.dfn2b_s39b eklendi
• Mevcut RmsNorm katmanı ve fonksiyonunu standart formülasyona uygun hale getirin, mümkün olduğunda PT 2.5 uygulamasını kullanın. Eski uygulamayı SimpleNorm katmanına taşıyın; bu, merkezleme veya sapma içermeyen LN'dir. Bunu kullanan yalnızca iki timm modeli vardı ve bunlar güncellendi.
• Model oluşturma için cache_dir argümanının geçersiz kılınmasına izin ver
• HF veri seti sarmalayıcısı için trust_remote_code parametresini iletin
• Oluşturucu tarafından eklenen inception_next_atto modeli
• Adan optimizörüne dikkat ve Lamb ayrıştırılmış ağırlık çürümesi seçenekleri
• https://github.com/brianhou0208 tarafından düzeltilen bazı feature_info meta verileri
• load time remapping kullanan tüm OpenCLIP ve JAX (CLIP, SigLIP, Pali vb.) model ağırlıkları, hf-hub: tabanlı yükleme ile çalışabilmeleri için kendi HF Hub örneklerine sahip olarak verildi ve bu nedenle yeni Transformers TimmWrapperModel ile çalışacaklardır

28 Kasım 2024

• Daha fazla optimizör
  • MARS optimizörünü ekle (https://arxiv.org/abs/2411.10438, https://github.com/AGI-Arena/MARS)
  • LaProp optimizörünü ekle (https://arxiv.org/abs/2002.04839, https://github.com/Z-T-WANG/LaProp-Optimizer)
  • Adafactor, Adafactor Big Vision, AdamW (legacy), Adopt, Lamb, LaProp, Lion, NadamW, RMSPropTF, SGDW için ‘Cautious Optimizers’ (https://arxiv.org/abs/2411.16085, https://github.com/kyleliang919/C-Optim) kaynaklı maskeleme eklendi
  • Optimizatörler ve fabrika ile ilgili bazı docstring'leri ve tip açıklamalarını temizleme
• in12k üzerinde ön eğitilmiş ve 384x384 çözünürlükte in1k üzerinde ince ayarlanmış MobileNet-V4 Conv Medium modellerini ekleyin
  • https://huggingface.co/timm/mobilenetv4_conv_medium.e250_r384_in12k_ft_in1k
  • https://huggingface.co/timm/mobilenetv4_conv_medium.e250_r384_in12k
  • https://huggingface.co/timm/mobilenetv4_conv_medium.e180_ad_r384_in12k
  • https://huggingface.co/timm/mobilenetv4_conv_medium.e180_r384_in12k
• Küçük cs3darknet modelini ekleyin, hız için oldukça iyi
  • https://huggingface.co/timm/cs3darknet_focus_s.ra4_e3600_r256_in1k

12 Kasım 2024

• Optimizatör fabrikası yeniden yapılandırması
  • Yeni fabrika, bazı anahtar özelliklere sahip bir OptimInfo veri sınıfı kullanarak optimizatörleri kaydederek çalışır
  • Optimizatörleri keşfetmek, bilgi veya sınıf almak için yeniden tasarlanan create_optimizer_v2 fn'ine list_optimizers, get_optimizer_class, get_optimizer_info eklendi
  • optim.optim_factory öğesini kullanımdan kaldırın, işlevleri optim/_optim_factory.py ve optim/_param_groups.py dosyalarına taşıyın ve timm.optim üzerinden içe aktarmayı teşvik edin
• Adopt (https://github.com/iShohei220/adopt) optimizatörünü ekle
• Adafactor optimizörünün ‘Big Vision’ varyantını ekleyin (https://github.com/google-research/big_vision/blob/main/big_vision/optax.py)
• Orijinal Adafactor'ı, konvolüsyonlar için daha iyi faktörizasyon boyutları seçecek şekilde düzelt
• Orijinaline kıyasla torch.where işlevselliğinde bazı iyileştirmelerle LAMB optimizatörünü ince ayar yapın, kırpma işlemini biraz yeniden yapılandırın
• vit, deit, eva modellerinde dinamik görüntü boyutu desteği, kare olmayan yama ızgaralarından yeniden boyutlandırmayı destekleyecek şekilde iyileştirildi, teşekkürler https://github.com/wojtke

31 Ekim 2024

Yeni, çok iyi eğitilmiş ResNet & ResNet-V2 18/34 (temel blok) ağırlıkları ekleyin. https://huggingface.co/blog/rwightman/resnet-trick-or-treat adresine bakın.

19 Ekim 2024

• CUDA'ya özgü çağrıları önlemek için torch amp kullanımını temizlendi; PyTorch 2.5'teki yeni cihaz uzantısı otomatik yükleme özelliği sayesinde artık çalışması beklenen Ascend (NPU) cihazları için destek, MengqingCao tarafından birleştirildi. PyTorch 2.5'te Intel Arc (XPU) da test edildi ve (büyük ölçüde) çalıştı.

16 Ekim 2024

• Kullanımı durdurulmuş timm.models.registry yolundan içe aktarma sırasında oluşan hatayı düzeltildi, mevcut kullanım durdurma uyarılarının önceliği görünür olmaları için artırıldı
• InternViT-300M ağırlıklarını (https://huggingface.co/OpenGVLab/InternViT-300M-448px) timm kütüphanesine vit_intern300m_patch14_448 olarak aktarın

14 Ekim 2024

• İstek üzerine eklenen 18/18d/34/34d ResNet model tanımlarının Pre-activation (ResNetV2) sürümü (ağırlıklar bekleniyor)
• Sürüm 1.0.10

11 Ekim 2024

• MambaOut (https://github.com/yuweihao/MambaOut) modeli ve ağırlıkları eklendi. SSM içermeyen SSM görme modellerine yönelik şakacı bir yaklaşım (temelde gating ile ConvNeXt). Orijinal ağırlıkların yanı sıra özel varyasyonlar ve ağırlıklar.

• SigLIP SO400M ViT, ImageNet-1k üzerinde 378x378 çözünürlükte ince ayarlandı; mevcut SigLIP 384x384 modelleri için 378x378 seçeneği eklendi
  • vit_so400m_patch14_siglip_378.webli_ft_in1k - 89.42 top-1
  • vit_so400m_patch14_siglip_gap_378.webli_ft_in1k - 89.03
• Son çok dilli (i18n) varyantından SigLIP SO400M ViT kodlayıcısı, patch16 @ 256x256 (https://huggingface.co/timm/ViT-SO400M-16-SigLIP-i18n-256). OpenCLIP güncellemesi bekleniyor.
• İki ConvNeXt ‘Zepto’ modeli ve ağırlığı eklendi (biri örtüşen kök, diğeri yama kök kullanıyor). RMSNorm kullanıyor, önceki ‘Atto’dan daha küçük, 2,2M parametre.
  • convnext_zepto_rms_ols.ra4_e3600_r224_in1k - 224'te 73.20 top-1
  • convnext_zepto_rms.ra4_e3600_r224_in1k - 72.81 @ 224

Eylül 2024

• Birim testlerin iyileştirilmesi ve niş düşük kaynaklı uygulamalar için küçük test modelleri seti ekleyin (https://huggingface.co/blog/rwightman/timm-tiny-test)
• MobileNetV4-Conv-Small (0.5x) modeli eklendi (https://huggingface.co/posts/rwightman/793053396198664)
  • mobilenetv4_conv_small_050.e3000_r224_in1k - 65.81 top-1 @ 256, 64.76 @ 224
• MNV4 Small tarifiyle eğitilmiş MobileNetV3-Large varyantlarını ekleyin
  • mobilenetv3_large_150d.ra4_e3600_r256_in1k - 81.81 @ 320, 80.94 @ 256
  • mobilenetv3_large_100.ra4_e3600_r224_in1k - 77.16 @ 256, 76.31 @ 224

21 Ağu 2024

• ImageNet-12k üzerinde eğitilen ve ImageNet-1k üzerinde ince ayarı yapılan güncellenmiş SBB ViT modelleri, çok daha büyük ve yavaş olan birçok modeli zorluyor

• MNV4 taban zorluk tarifi ile MobileNet-V1 1.25, EfficientNet-B1 ve ResNet50-D ağırlıkları

• SAM2 (HieraDet) omurga mimarisi ve ağırlık yükleme desteği eklendi
• in12k üzerinde abswin pos embed ile eğitilen ve 1k üzerinde ince ayar yapılan Hiera Small ağırlıklarını ekleyin

8 Ağustos 2024

• RDNet eklendi (‘DenseNets Reloaded’, https://arxiv.org/abs/2403.19588), teşekkürler Donghyun Kim

28 Temmuz 2024

• mobilenet_edgetpu_v2_m ağırlıkları, ra4 mnv4-small tabanlı reçete ile eklendi. 224'te %80,1 top-1 ve 256'da %80,7.
• Sürüm 1.0.8

26 Temmuz 2024

• Daha fazla MobileNet-v4 ağırlığı, ImageNet-12k ön eğitimi ve ince ayarları, anti-aliased ConvLarge modelleri

• İmparatorluk MobileNet-V1 ve EfficientNet-B0 baz çizgisi zorlukları (https://huggingface.co/blog/rwightman/mobilenet-baselines)

• Model oluşturulduktan sonra görüntü boyutunu, yama boyutunu ve pencere boyutunu değiştirmeye izin vermek için vit ve swin v1/v2 modellerine set_input_size() prototipi eklendi.
• swin içinde farklı boyut işleme için geliştirilmiş destek, set_input_size dışında, daha esnek giriş boyutu kısıtlamalarına izin vermek üzere __init__ içine always_partition ve strict_img_size argümanları da eklendi
• Ara 'Getter' özellik sarmalayıcısı için sıralaması bozuk indeks bilgilerini düzeltin, aynı için çıktı veya aralık indekslerini kontrol edin.
• Test için gerçekten ImageNet-1k üzerinde eğitilmiş birkaç tiny < .5M parametreli model ekleyin

• vit reg token init düzeltmesi, teşekkürler Promisery
• Diğer çeşitli düzeltmeler

24 Haziran 2024

• 3 daha fazla MobileNetV4 hyrid ağırlığı, farklı MQA ağırlık başlatma şeması ile

• DaViT modelinde florence2 ağırlık yükleme

12 Haziran 2024

• MobileNetV4 modelleri ve timm ile eğitilmiş ilk ağırlık seti eklendi:

• Apple MobileCLIP (https://arxiv.org/pdf/2311.17049, FastViT ve ViT-B) görüntü kulesi modeli desteği ve ağırlıkları eklendi (OpenCLIP desteğinin bir parçası).
• ViTamin (https://arxiv.org/abs/2404.02132) CLIP görüntü kulesi modeli ve ağırlıkları eklendi (OpenCLIP desteğinin bir parçası).
• OpenAI CLIP değiştirilmiş ResNet görüntü kulesi modelleme ve ağırlık desteği (ByobNet üzerinden). AttentionPool2d yeniden yapılandırıldı.

14 Mayıs 2024

• Ortalama havuzlama (average pooling) ile PaliGemma jax ağırlıklarının SigLIP ViT modellerine yüklenmesini destekler.
• Meta'dan Hiera modellerini ekleyin (https://github.com/facebookresearch/hiera).
• Dönüşümler için normalize= bayrağını ekleyin, orijinal dytpe'ye sahip normalize edilmemiş bir torch.Tensor döndürün (chug için)
• Version 1.0.3 sürümü

11 Mayıs 2024

• Searching for Better ViT Baselines (For the GPU Poor) ağırlıkları ve vit varyantları yayınlandı. Tiny ve Base arasındaki model şekilleri araştırılıyor.

• Dikkat haritalarını timm modellerinden çıkarmak için AttentionExtract yardımcı sınıfı eklendi. Örnek için https://github.com/huggingface/pytorch-image-models/discussions/1232#discussioncomment-9320949 adresine bakın.
• forward_intermediates() API'si iyileştirildi ve diğer çıkarma yöntemlerine sahip bazı ConvNet'ler dahil olmak üzere daha fazla modele eklendi.
• 1047 model mimarisinden 1017'si features_only=True ile özellik çıkarımını destekler. Kalan 34 mimari desteklenebilir ancak öncelik taleplerine göre.
• Eski JIT aktivasyonlarını da içeren torch.jit.script ile işaretlenmiş fonksiyonları kaldırın. Dynamo ile çakışma yaratır ve kullanıldığında dynamo çok daha iyi bir iş çıkarır.

11 Nisan 2024

• Uzun süredir beklenen 1.0 sürümüne hazırlık yaparken, her şey bir süredir stabil durumda.
• Bir süredir eksik olan önemli bir özellik, düz gizli durumlara veya standart olmayan modül düzenlerine sahip ViT modelleri için features_only=True desteği (şu ana kadar 'vit_*', 'twins_*', 'deit*', 'beit*', 'mvitv2*', 'eva*', 'samvit_*', 'flexivit*' kapsanıyor)
• Yukarıdaki özellik desteği, bir özellik sarmalayıcı modülüyle veya doğrudan kullanılabilen yeni forward_intermediates() API'si aracılığıyla sağlanmıştır.

model = timm.create_model('vit_base_patch16_224')
final_feat, intermediates = model.forward_intermediates(input)
output = model.forward_head(final_feat)  # pooling + classifier head

print(final_feat.shape)
torch.Size([2, 197, 768])

for f in intermediates:
    print(f.shape)
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])
torch.Size([2, 768, 14, 14])

print(output.shape)
torch.Size([2, 1000])

model = timm.create_model('eva02_base_patch16_clip_224', pretrained=True, img_size=512, features_only=True, out_indices=(-3, -2,))
output = model(torch.randn(2, 3, 512, 512))

for o in output:
    print(o.shape)
torch.Size([2, 768, 32, 32])
torch.Size([2, 768, 32, 32])

• TinyCLIP görme kulesi ağırlıkları eklendi, teşekkürler Thien Tran

19 Şubat 2024

• Next-ViT modelleri eklendi. https://github.com/bytedance/Next-ViT adresinden uyarlandı.
• HGNet ve PP-HGNetV2 modelleri eklendi. SeeFun tarafından https://github.com/PaddlePaddle/PaddleClas adresinden uyarlandı.
• setup.py kaldırıldı, PDM tarafından desteklenen pyproject.toml tabanlı derlemeye geçildi
• Daha az yük için _for_each kullanan güncellenmiş model EMA uygulamasını ekleyin
• GPU olmayan cihazlar için eğitim betiğinde cihaz argümanlarını destekleyin
• Diğer çeşitli düzeltmeler ve küçük eklemeler
• Desteklenen en düşük Python sürümü 3.8 olarak artırıldı
• Sürüm 0.9.16

8 Ocak 2024

Veri kümeleri & dönüştürme yeniden yapılandırması

• HuggingFace akış (iterable) veri seti desteği (--dataset hfids:org/dataset)
• Daha iyi bölünme bilgisi alma için Webdataset sarmalayıcı ayarlamaları, desteklenen HF hub webdataset'lerinden bölünmeleri otomatik olarak alabilir
• HF datasets ve webdataset sarmalayıcısının, https://huggingface.co/timm adresine yapılan son timm ImageNet yüklemeleriyle HF hub'dan akış işlevselliği test edildi
• Veri kümeleri arasında girdi ve hedef sütun/alan anahtarlarını tutarlı hale getirin ve args üzerinden iletin
• e:g: --input-size 1 224 224 veya --in-chans 1 kullanıldığında tam monokrom desteği, veri setinde PIL görüntü dönüşümünü uygun şekilde ayarlar
• PixParse belge yapay zekâsı projesinde kullanılmak üzere çeşitli alternatif kırpma ve yeniden boyutlandırma dönüşümlerini (ResizeKeepRatio, RandomCropOrPad vb.) iyileştirildi
• Artırma işlemlerine ve argümanlara, gri tonlama ve Gauss bulanıklığı seçeneklerinin yanı sıra SimCLR tarzı renk titremesi olasılığını ekleyin
• Eğitim betiğinde doğrulama kümesi olmadan eğitim yapılmasına izin ver (--val-split '')
• Eğitim için sıkça elle kodladığım yaygın BCE kayıp ayarları olan --bce-sum (sınıf boyutu üzerinden toplam) ve --bce-pos-weight (pozitif ağırlıklandırma) argümanlarını ekleyin

23 Kasım 2023

• EfficientViT-Large modelleri eklendi, teşekkürler SeeFun
• Python 3.7 uyumluluğunu düzelt, yakında desteği kaldırılacak
• Diğer çeşitli düzeltmeler
• Sürüm 0.9.12

20 Kasım 2023

• Hugging Face Hub tabanlı timm modelleri için önemli bir esneklik eklendi model_args girişi aracılığıyla. model_args oluşturma sırasında modellere kwargs olarak iletilecektir.
  • Örnek için https://huggingface.co/gaunernst/vit_base_patch16_1024_128.audiomae_as2m_ft_as20k/blob/main/config.json adresine bakın
  • Kullanım: https://github.com/huggingface/pytorch-image-models/discussions/2035
• En güncel modellerle imagenet değerlendirme ve test seti csv dosyaları güncellendi
• vision_transformer.py tip ve doküman temizliği, Laureηt tarafından
• 0.9.11 sürümü

3 Kasım 2023

• DFN (Data Filtering Networks) ve MetaCLIP ViT ağırlıkları eklendi
• DINOv2 ‘register’ ViT model ağırlıkları eklendi (https://huggingface.co/papers/2309.16588, https://huggingface.co/papers/2304.07193)
• Bunu kullanan OpenAI, DFN, MetaCLIP ağırlıkları için quickgelu ViT varyantlarını ekleyin (daha az verimli)
• Aryan sayesinde ResNet ve MobileNet-v3'e geliştirilmiş tip tanımları eklendi
• ImageNet-12k üzerinde ince ayar yapılmış (LAION-2B CLIP'ten) convnext_xxlarge
• 0.9.9 sürümü

20 Ekim 2023

• SigLIP görsel kulesi ağırlıkları şu dosyada desteklenir: vision_transformer.py.
  • İnce ayar ve aşağı akış özellik kullanımında büyük potansiyel.
• Vision Transformers Need Registers makalesine uygun olarak vit modellerinde deneysel ‘register’ desteği
• Yeni ağırlık yayınıyla RepViT güncellendi. wangao teşekkürler
• Swin modellerine yama yeniden boyutlandırma desteği (ön eğitilmiş ağırlıkların yüklenmesi sırasında) ekleyin
• 0.9.8 sürümü bekleniyor

1 Eylül 2023

• TinyViT, SeeFun tarafından eklendi
• EfficientViT (MIT)'yi PT 1.10'a kadar geriye dönük olarak çalışması için torch.autocast kullanacak şekilde düzeltin
• 0.9.7 sürümü

28 Ağu 2023

• şu modellerde dinamik img boyutu desteği eklendi: vision_transformer.py, vision_transformer_hybrid.py, deit.py, ve eva.py geriye dönük uyumluluğu bozmadan. Model oluşturulurken args'a dynamic_img_size=True ekleyerek grid boyutunun değiştirilmesine izin verilir (her forward pass'te abs ve/veya ROPE pos embed interpolasyonu yapılır). Patch size'a bölünemeyen image boyutlarına izin vermek için dynamic_img_pad=True eklenir (her forward pass'te sağ alt köşe patch size'a kadar padlenir). Herhangi bir dinamik modun etkinleştirilmesi, PatchEmbed modülü leaf olarak eklenmediği sürece FX tracing'i bozar. Oluşturma sırasında farklı img_size geçirerek position embedding'i yeniden boyutlandırma yöntemi (önceden eğitilmiş embed ağırlıkları bir kez interpolasyon) hâlâ çalışır. Oluşturma sırasında patch_size'ı değiştirme yöntemi (önceden eğitilmiş patch_embed ağırlıkları bir kez yeniden boyutlandırma) hâlâ çalışır. Örnek doğrulama komutu python validate.py --data-dir /imagenet --model vit_base_patch16_224 --amp --amp-dtype bfloat16 --img-size 255 --crop-pct 1.0 --model-kwargs dynamic_img_size=True dyamic_img_pad=True
  • Model oluşturulurken, grid boyutunun değiştirilmesine izin vermek için (her ileri geçişte abs ve/veya ROPE konum gömme değerlerini interpolasyonla) argümanlara dynamic_img_size=True ekleyin.
  • Görsel boyutlarının yama boyutuna tam bölünmediği durumları desteklemek için dynamic_img_pad=True ekleyin (her ileri geçişte alt sağ köşe yama boyutuna kadar doldurulur).
  • Dinamik modlardan herhangi birinin etkinleştirilmesi, PatchEmbed modülü yaprak olarak eklenmediği sürece FX izlemeyi bozar.
  • Oluşturma sırasında farklı img_size değerleri geçirerek konum gömme boyutunu yeniden ayarlama yöntemi (önceden eğitilmiş gömme ağırlıklarını bir kez interpolasyonla) hâlâ çalışmaktadır.
  • Oluşturma sırasında patch_size'ı değiştirme (önceden eğitilmiş patch_embed ağırlıklarını bir kez yeniden boyutlandırma) yöntemi hâlâ çalışır.
  • Örnek doğrulama komutu python validate.py --data-dir /imagenet --model vit_base_patch16_224 --amp --amp-dtype bfloat16 --img-size 255 --crop-pct 1.0 --model-kwargs dynamic_img_size=True dyamic_img_pad=True

25 Ağu 2023

• Son sürümden bu yana birçok yeni model
  • FastViT - https://arxiv.org/abs/2303.14189
  • MobileOne - https://arxiv.org/abs/2206.04040
  • InceptionNeXt - https://arxiv.org/abs/2303.16900
  • RepGhostNet - https://arxiv.org/abs/2211.06088 (teşekkürler https://github.com/ChengpengChen)
  • GhostNetV2 - https://arxiv.org/abs/2211.12905 (teşekkürler https://github.com/yehuitang)
  • EfficientViT (MSRA) - https://arxiv.org/abs/2305.07027 (teşekkürler https://github.com/seefun)
  • EfficientViT (MIT) - https://arxiv.org/abs/2205.14756 (teşekkürler https://github.com/seefun)
• Ekle --reparam argümanını benchmark.py, onnx_export.py, ve validate.py modelde aşağıdakilerden herhangi birinin tetiklenmesi için katman yeniden parametrelendirme / birleştirme işlemini başlatmak üzere reparameterize(), switch_to_deploy() veya. FastViT, MobileOne, RepGhostNet, EfficientViT (MSRA), RepViT, RepVGG ve LeViT dahil fuse()
  • FastViT, MobileOne, RepGhostNet, EfficientViT (MSRA), RepViT, RepVGG ve LeViT dahil
• 0.9.6 “okula dönüş” sürümünün hazırlanması

11 Ağustos 2023

• Swin, MaxViT, CoAtNet ve BEiT modelleri, önceden eğitilmiş ağırlıkların uyarlanmasıyla birlikte oluşturulma sırasında görüntü/pencere boyutunun yeniden boyutlandırılmasını destekler
• Kare olmayan yeniden boyutlandırma ile test etmek için örnek doğrulama komutu python validate.py --data-dir /imagenet --model swin_base_patch4_window7_224.ms_in22k_ft_in1k --amp --amp-dtype bfloat16 --input-size 3 256 320 --model-kwargs window_size=8,10 img_size=256,320

3 Ağustos 2023

• HRNet w18_small ve w18_small_v2 için GluonCV ağırlıkları eklendi. SeeFun tarafından dönüştürüldü
• selecsls* model adlandırma regresyonunu düzelt
• ViT/EVA için patch ve konum gömme, yükleme sırasında bfloat16/float16 ağırlıklar (veya anında yeniden boyutlandırma için aktivasyonlar) ile çalışır
• v0.9.5 sürüm hazırlığı

27 Temmuz 2023

• timm tarafından eğitilen seresnextaa201d_32x8d.sw_in12k_ft_in1k_384 ağırlıkları (ve .sw_in12k ön eğitimi) eklendi; ImageNet-1k üzerinde %87,3 top-1 doğruluk oranına sahip, bildiğim en iyi ImageNet ResNet ailesi modeli.
• RepViT modeli ve ağırlıkları (https://arxiv.org/abs/2307.09283) wangao tarafından eklendi
• SeeFun tarafından eklenen I-JEPA ViT özellik ağırlıkları (sınıflandırıcı yok)
• SAM-ViT (segment anything) özellik ağırlıkları (sınıflandırıcı yok) SeeFun tarafından eklendi
• EfficientNet için alternatif özellik çıkarma yöntemleri ve negatif indeksler desteği ekleyin
• NAdamW optimizleyicisi ekle
• Çeşitli düzeltmeler

11 Mayıs 2023

• timm 0.9 yayınlandı, 0.8.xdev sürümlerinden geçiş

10 Mayıs 2023

• Hugging Face Hub'dan indirme artık varsayılan, https://huggingface.co/timm adresinde 1132 model, timm içinde 1163 ağırlık
• DINOv2 vit özellik omurgası ağırlıkları, Leng Yue sayesinde eklendi
• FB MAE vit özellik omurga ağırlıkları eklendi
• OpenCLIP DataComp-XL L/14 feat omurga ağırlıkları eklendi
• Ağırlıkları Fredo Guan tarafından eklenen MetaFormer (poolformer-v2, caformer, convformer, güncellenmiş poolformer (v1))
• vit/deit modellerinde gizli durumları almak için DINO uygulamasından ilham alan deneysel get_intermediate_layers fonksiyonu. Bu işin yarısı ve önemli ölçüde değişebilir… geri bildirimler memnuniyetle karşılanır.
• Model oluşturma, pretrained=True ve ağırlıklar mevcut değilse hata fırlatır (rastgele başlatmaya devam etmek yerine)
• Orijinal sınıflandırıcılarda 1001 sınıfa sahip inception / nasnet TF kaynaklı ağırlıklarla ilgili regresyonu düzelt
• Fabrikaya eklenen bitsandbytes (https://github.com/TimDettmers/bitsandbytes) optimizörleri için bnb öneki kullanılır, örneğin bnbadam8bit
• Çeşitli temizlik ve düzeltmeler
• 0.9 sürümüne geçiş yapmadan ve timm kütüphanesini ön sürüm durumundan çıkarmadan önce son testler

27 Nisan 2023

• HF Hub'a yüklenen timm modellerinin %97'si ve çok ağırlıklı ön eğitilmiş yapılandırmaları destekleyecek şekilde neredeyse tümü güncellendi
• Multi-weight eklendikçe başka bir model grubunun daha küçük temizlik ve yeniden yapılandırması. Daha fazla fused_attn (F.sdpa) ve features_only desteği ile torchscript düzeltmeleri.

21 Nisan 2023

• Eğitim betiğine gradyan biriktirme desteği eklendi ve test edildi (--grad-accum-steps), teşekkürler Taeksang Kim
• HF Hub'da daha fazla ağırlık (cspnet, cait, volo, xcit, tresnet, hardcorenas, densenet, dpn, vovnet, xception_aligned)
• train.py dosyasına, sınıflandırıcı başlığını ölçeklemek ve ince ayar için sabit bir önyargı ayarlamak amacıyla --head-init-scale ve --head-init-bias parametreleri eklendi
• Tüm InplaceABN (inplace_abn) kullanımını kaldırın; tresnet içindeki kullanımı standart BatchNorm ile değiştirin (ağırlıklar buna göre değiştirildi).

12 Nisan 2023

• Uzun süredir elimde duran ONNX dışa aktarma betiğini, doğrulama betiğini ve yardımcıları ekliyorum. Son ONNX + PyTorch sürümleriyle daha iyi dışa aktarma için 'same' dolgusunu ayarlıyorum.
• vit ve vit benzeri modeller için dropout argümanlarını yeniden yapılandırın, drop_rate'ı drop_rate (sınıflandırıcı dropout), proj_drop_rate (blok mlp / çıkış projeksiyonları), pos_drop_rate (konum gömme drop), attn_drop_rate (dikkat dropout) olarak ayırın. Ayrıca vit ve eva modellerine patch dropout (FLIP) ekleyin.
• Daha fazla vit modeline fused F.scaled_dot_product_attention desteği eklenir, kontrol için ortam değişkeni (TIMM_FUSED_ATTN) ve etkinleştirme/devre dışı bırakma için yapılandırma arayüzü eklenir
• EVA-CLIP omurgalarını, 4B parametreli ‘enormous’ modele kadar tümüyle, görsel kulesi ağırlıklarıyla birlikte ve kaçırılan 336x336 OpenAI ViT modunu ekleyin.

5 Nisan 2023

• Çoklu ağırlık desteğiyle Hugging Face Hub'a yüklenen tüm ResNet modelleri
  • Daha önce eklenen tüm timm eğitim ağırlıkları, ayırt etmek için reçete tabanlı etiketlerle birlikte
  • Tüm ResNet karşı saldırıya geçiyor A1/A2/A3 (tohum 0) ve R50 örnek B/C1/C2/D ağırlıkları mevcut
  • Mevcut torchvision orijinallerine torchvision v2 tarifi ağırlıklarını ekleyin
  • Karşılaştırma tablosu https://huggingface.co/timm/seresnextaa101d_32x8d.sw_in12k_ft_in1k_288#model-comparison adresinde görülebilir.
• Birkaç anti-aliased ResNet modeli için yeni ImageNet-12k + ImageNet-1k fine-tune'ları mevcut
  • resnetaa50d.sw_in12k_ft_in1k - 81.7 @ 224, 82.6 @ 288
  • resnetaa101d.sw_in12k_ft_in1k - 83.5 @ 224, 84.1 @ 288
  • seresnextaa101d_32x8d.sw_in12k_ft_in1k - 86.0 @ 224, 86.5 @ 288
  • seresnextaa101d_32x8d.sw_in12k_ft_in1k_288 - 86.5 @ 288, 86.7 @ 320

31 Mart 2023

• convnext-base/large CLIP modelleri için ilk ConvNext-XXLarge CLIP -> IN-1k ince ayarı ve IN-12k ara ince ayarlarını ekleyin.

• EVA-02 MIM önceden eğitilmiş ve ince ayarlanmış ağırlıklarını ekleyin, HF hub'a gönderin ve tüm EVA modelleri için model kartlarını güncelleyin. İlk kez %90'ın üzerinde top-1 (top-5'te %99) başarı! MIM, CLIP ve birçok model, veri seti ve eğitim tarifi ayarlamasını birleştiren çalışmalarının ayrıntıları için orijinal kodu ve ağırlıklarını https://github.com/baaivision/EVA adresinde inceleyin.

• DeiT ve MLP-Mixer tabanlı modeller için çoklu ağırlık ve HF hub

22 Mart 2023

• Çoklu ağırlık desteğiyle birlikte HF hub'a daha fazla ağırlık eklendi, bunlar arasında: regnet.py, rexnet.py, byobnet.py, resnetv2.py, swin_transformer.py, swin_transformer_v2.py, swin_transformer_v2_cr.py
• Swin Transformer modelleri, özellik çıkarımını (swinv2_cr_* için NCHW özellik haritaları, diğer tümü için NHWC) ve uzamsal gömme çıktılarını destekler.
• FocalNet (https://github.com/microsoft/FocalNet) modelleri ve ağırlıkları, önemli yeniden yapılandırma, özellik çıkarımı ve sabit çözünürlük/boyutlandırma kısıtı olmadan eklendi
• RegNet ağırlıkları, HF hub push, SWAG, SEER ve torchvision v2 ağırlıklarıyla arttı. SEER, model boyutu açısından performans olarak oldukça zayıf, ancak potansiyel olarak faydalı olabilir.
• Daha fazla ImageNet-12k ön eğitilmiş ve 1k ince ayarlı timm ağırlıkları:
  • rexnetr_200.sw_in12k_ft_in1k - 82.6 @ 224, 83.2 @ 288
  • rexnetr_300.sw_in12k_ft_in1k - 84.0 @ 224, 84.5 @ 288
  • regnety_120.sw_in12k_ft_in1k - 85.0 @ 224, 85.4 @ 288
  • regnety_160.lion_in12k_ft_in1k - 85.6 @ 224, 86.0 @ 288
  • regnety_160.sw_in12k_ft_in1k - 85.6 @ 224, 86.0 @ 288 (SWAG PT + 1k FT ile karşılaştırıldığında bu aynı ancak çok daha düşük çözünürlükte, SEER FT'yi ezip geçiyor)
• Model adı kullanım dışı bırakma + yeniden eşleme işlevi eklendi (0.8.x sürümünü ön yayın dışına çıkarmak için bir kilometre taşı). Eşlemeler ekleniyor…
• Küçük hata düzeltmeleri ve iyileştirmeler.

26 Şubat 2023

• İnce ayar ve özellikler için ConvNeXt-XXLarge CLIP önceden eğitilmiş görüntü kulesi ağırlıklarını ekleyin (ince ayar belirsiz) — bkz. model kartı
• convnext_xxlarge varsayılan LayerNorm eps değerini 1e-5 olarak güncelle (CLIP ağırlıkları için, iyileştirilmiş kararlılık)
• 0.8.15dev0

20 Şubat 2023

• 320x320 convnext_large_mlp.clip_laion2b_ft_320 ve convnext_large_mlp.clip_laion2b_ft_soup_320 CLIP görüntü kulesi ağırlıklarını özellikler ve ince ayar için ekleyin
• 0.8.13dev0 pypi sürümü, huggingface org'a geçişle birlikte en son değişiklikler için

16 Şubat 2023

• safetensor checkpoint desteği eklendi
• ‘Scaling Vision Transformers to 22 B. Params’ (https://arxiv.org/abs/2302.05442) makalesindeki fikirleri ekleyin — qk norm, RmsNorm, parallel block
• F.scaleddot_product_attention desteğini (yalnızca PyTorch 2.0) `vit,vit_relpos,coatnet/maxxvit` (başlangıç olarak) ekleyin
• Lion optimizörü (çoklu tensör seçeneğiyle) eklendi (https://arxiv.org/abs/2302.06675)
• gradient checkpointing, features_only=True ile çalışır

7 Şubat 2023

• results klasörüne yeni çıkarım (inference) benchmark sayıları eklendi.
• convnext LAION CLIP eğitim ağırlıkları ve in1k ince ayarlarının ilk seti eklendi
  • convnext_base.clip_laion2b_augreg_ft_in1k - 86.2% @ 256x256
  • convnext_base.clip_laiona_augreg_ft_in1k_384 - 86.5% @ 384x384
  • convnext_large_mlp.clip_laion2b_augreg_ft_in1k - 87.3% @ 256x256
  • convnext_large_mlp.clip_laion2b_augreg_ft_in1k_384 - 87.9% @ 384x384
• DaViT modelleri eklendi. features_only=True desteklenir. Fredo tarafından https://github.com/dingmyu/davit adresinden uyarlanmıştır.
• MaxViT, ConvNeXt ve DaViT arasında ortak bir NormMlpClassifierHead kullanın
• EfficientFormer-V2 modeli eklendi, EfficientFormer güncellendi ve LeViT (yakından ilgili mimariler) yeniden yapılandırıldı. Ağırlıklar HF hub'da.
  • Yeni EfficientFormer-V2 mimarisi, orijinalden (https://github.com/snap-research/EfficientFormer) önemli ölçüde yeniden yapılandırılmıştır. features_only=True parametresini destekler.
  • EfficientFormer için küçük güncellemeler.
  • LeViT modellerini aşamalara yeniden yapılandırın, yeni conv varyantlarına features_only=True desteği ekleyin, ağırlık eşlemesi gereklidir.
• ImageNet meta verilerini (synsetler, indeksler) /results dizininden timm/data/_info dizinine taşıyın.
• Çeşitli ImageNet sınıflandırıcı yerleşimleri için etiketleme sağlamak amacıyla ImageNetInfo / DatasetInfo sınıflarını ekleyin timm
  • inference.py dosyasını şu şekilde kullanacak şekilde güncelleyin: python inference.py --data-dir /folder/to/images --model convnext_small.in12k --label-type detail --topk 5
• 0.8.10 pypi ön sürümü (son testler) için hazır.

20 Ocak 2023

• 384x384 çözünürlüğünde iki convnext 12k -> 1k ince ayarı ekleyin

  • convnext_tiny.in12k_ft_in1k_384 - 85.1 @ 384
  • convnext_small.in12k_ft_in1k_384 - 86.2 @ 384

• Tüm MaxxViT ağırlıklarını HF hub'a gönderin ve rw tabanlı MaxViT ile CoAtNet 1/2 modelleri için yeni ImageNet-12k -> 1k ince ayarlarını ekleyin

11 Ocak 2023

• ConvNeXt ImageNet-12k ön eğitim serisini iki yeni ince ayar ağırlığıyla (ve ön FT .in12k etiketleriyle) güncelle
  • convnext_nano.in12k_ft_in1k - 82.3 @ 224, 82.9 @ 288 (daha önce yayınlandı)
  • convnext_tiny.in12k_ft_in1k - 84.2 @ 224, 84.5 @ 288
  • convnext_small.in12k_ft_in1k - 85.2 @ 224, 85.3 @ 288

6 Ocak 2023

• Sonunda --model-kwargs ve --opt-kwargs parametrelerini, nadir kullanılan argümanları komut satırından doğrudan model sınıflarına iletmek için betiklere ekledim
  • train.py --data-dir /imagenet --model resnet50 --amp --model-kwargs output_stride=16 act_layer=silu
  • train.py --data-dir /imagenet --model vit_base_patch16_clip_224 --img-size 240 --amp --model-kwargs img_size=240 patch_size=12
• Arg geçişini daha iyi desteklemek ve model yapılandırmalarıyla birleştirmek için popüler bazı modelleri temizleme, daha fazlası yolda.

5 Ocak 2023

• ConvNeXt-V2 modelleri ve ağırlıkları mevcut convnext.py
  • Makale: ConvNeXt V2: Masked Autoencoders ile ConvNets'in Ortak Tasarımı ve Ölçeklendirilmesi
  • Referans uygulama: https://github.com/facebookresearch/ConvNeXt-V2 (NOT: ağırlıklar şu anda CC-BY-NC lisanslı) @dataclass

23 Aralık 2022 🎄☃

• FlexiViT modellerini ve ağırlıklarını ekleyin https://github.com/google-research/big_vision (makaleyi inceleyin https://arxiv.org/abs/2212.08013)
  • NOT: Şu anda yeniden boyutlandırma, model oluşturulurken statiktir; uçuşta dinamik / eğitim yama boyutu örneklemesi devam etmektedir (WIP).
• Çok daha fazla model artık çoklu ağırlıklara güncellendi ve HF hub üzerinden indirilebilir durumda (convnext, efficientnet, mobilenet, vision_transformer*, beit)
• Daha fazla model önceden eğitilmiş etiketi ve ayarlamalar, bazı model adları değiştirildi (kullanımdan kaldırma çevirileri üzerinde çalışılıyor, şu an için ana dalı DEV dalı olarak düşünün, kararlı kullanım için 0.6.x kullanın)
• Daha fazla ImageNet-12k (22k'nin bir alt kümesi) ön eğitim modeli ortaya çıkıyor:
  • efficientnet_b5.in12k_ft_in1k - 85.9 @ 448x448
  • vit_medium_patch16_gap_384.in12k_ft_in1k - 85.5 @ 384x384
  • vit_medium_patch16_gap_256.in12k_ft_in1k - 84.5 @ 256x256
  • convnext_nano.in12k_ft_in1k - 82.9 @ 288x288

8 Aralık 2022

• şuna 'EVA l' ekle vision_transformer.py, EVA-CLIP hedefleriyle MAE tarzı ViT-L/14 MIM ön eğitimi, ImageNet-1k üzerinde FT (bazıları için ImageNet-22k ara aşamasıyla)
  • https://github.com/baaivision/EVA

6 Aralık 2022

• ‘EVA g’, hem MIM ön eğitimi hem de CLIP ön eğitimi içeren BEiT tarzı ViT-g/14 model ağırlıklarını beit.py.
  • https://github.com/baaivision/EVA
  • makale: https://arxiv.org/abs/2211.07636

5 Aralık 2022

• Ön sürüm (0.8.0dev0) çoklu ağırlık desteğinin ön sürümü (model_arch.pretrained_tag). kurulum için pip install --pre timm
  • vision_transformer, maxvit, convnext destekle gelen ilk üç model uygulamasıdır
  • model adları bununla birlikte değişiyor (önceki _21k vb. fn birleştirilecek), hâlâ deprecation işlemlerini düzenliyorum
  • hatalar olasıdır, ancak geri bildirimime ihtiyacım var, lütfen deneyin
  • stabilite gerekiyorsa, lütfen 0.6.x pypi sürümlerini kullanın veya 0.6.x dalından klonlayın
• PyTorch 2.0 compile desteği train/validate/inference/benchmark'a eklendi, --torchcompile argümanını kullanın
• Inference script, çıktı üzerinde daha fazla kontrol sağlar; üst sınıf indeksi + olasılık için k seçin, json, csv veya parquet çıktısı
• LAION-2B ve orijinal OpenAI CLIP modellerinden tam bir dizi ince ayarlı CLIP görüntü kulesi ağırlıkları ekleyin

• Resmi uygulamasından MaxViT Tensorflow ağırlıklarının portu https://github.com/google-research/maxvit
  • Upscale edilmiş 384/512 in21k ince ayar ağırlıklarında beklenenden daha büyük düşüşler oldu, muhtemelen detay eksikliği var, ancak 21k FT küçük ön işleme adımlarına hassas görünüyordu

15 Ekim 2022

• Eğitim ve doğrulama betiği iyileştirmeleri
• GPU dışı (yani CPU) cihaz desteği
• Eğitim betiği için SLURM uyumluluğu
• HF veri kümeleri desteği (ReaderHfds aracılığıyla)
• TFDS/WDS veri yükleme iyileştirmeleri (dağıtık kullanım için örnek dolgusu/sarmalama, örnek sayısı tahminiyle ilgili olarak düzeltildi)
• in_chans !=3 için script / loader desteği
• Adan optimizleyici
• args üzerinden adım başına LR zamanlamasını etkinleştirebilir
• Dataset ‘parsers’ adlandırması, amacını daha iyi yansıtması için ‘readers’ olarak değiştirildi
• AMP argümanları değiştirildi, APEX --amp-impl apex ile, bfloat16 --amp-dtype bfloat16 ile destekleniyor
• main branch 0.7.x sürümüne geçildi, 0.6x fork stable release of weight only adds için oluşturuldu
• master -> main dalı yeniden adlandırma

10 Ekim 2022

• Daha fazla ağırlık maxxvit serisinde, ilk ConvNeXt bloğuna dayalı coatnext ve maxxvit deneyleri:
  • coatnext_nano_rw_224 - 82.0 @ 224 (G) — (ConvNeXt conv bloğu kullanır, BatchNorm yok)
  • maxxvit_rmlp_nano_rw_256 - 83.0 @ 256, 83.7 @ 320 (G) (ConvNeXt conv bloğu kullanır, BN yok)
  • maxvit_rmlp_small_rw_224 - 84.5 @ 224, 85.1 @ 320 (G)
  • maxxvit_rmlp_small_rw_256 - 84.6 @ 256, 84.9 @ 288 (G) — daha iyi eğitilebilir, hparams ayarlanmalı (ConvNeXt bloğu kullanır, BN yok)
  • coatnet_rmlp_2_rw_224 - 84.6 @ 224, 85 @ 320 (T)
  • NOT: resmi MaxVit ağırlıkları (in1k) https://github.com/google-research/maxvit adresinde yayınlanmıştır — benim uygulamanın onlarınkinden bağımsız olarak oluşturulması ve birkaç küçük fark içermesi + tüm TF same padding meselesi nedeniyle taşımak ve uyarlamak için bazı ek iş gereklidir.

23 Eylül 2022

• LAION-2B CLIP görüntü kuleleri, ince ayar veya özellik çıkarımı için (sınıflandırıcı olmadan) önceden eğitilmiş omurga olarak desteklenir
  • vit_base_patch32_224_clip_laion2b
  • vit_large_patch14_224_clip_laion2b
  • vit_huge_patch14_224_clip_laion2b
  • vit_giant_patch14_224_clip_laion2b

7 Eylül 2022

• Hugging Face timm belgeleri ana sayfası artık mevcut, gelecekte daha fazlasını burada arayın
• https://github.com/microsoft/unilm/tree/master/beit2 adresindeki base ve large 224x224 modelleri için BEiT-v2 ağırlıklarını ekleyin
• daha fazla ağırlık eklendi maxxvit serisine bir pico (7.5M parametre, 1.9 GMAC), iki tiny değişkeni:
  • maxvit_rmlp_pico_rw_256 - 80.5 @ 256, 81.3 @ 320 (T)
  • maxvit_tiny_rw_224 - 83.5 @ 224 (G)
  • maxvit_rmlp_tiny_rw_256 - 84.2 @ 256, 84.8 @ 320 (T)

29 Ağu 2022

• MaxVit pencere boyutu varsayılan olarak img_size ile ölçeklenir. Bunu kullanan yeni bir RelPosMlp MaxViT ağırlığı ekleyin:
  • maxvit_rmlp_nano_rw_256 - 83.0 @ 256, 83.6 @ 320 (T)

26 Ağu 2022

• CoAtNet (https://arxiv.org/abs/2106.04803) ve MaxVit (https://arxiv.org/abs/2204.01697) timm orijinal modelleri
  • her ikisi de maxxvit.py model tanımında bulunur, orijinal makalelerin kapsamı dışında sayısız deney içerir
  • MaxVit yazarlarının tamamlanmamış Tensorflow sürümü https://github.com/google-research/maxvit adresinde bulunabilir
• Başlangıç CoAtNet ve MaxVit timm önceden eğitilmiş ağırlıkları (daha fazlası üzerinde çalışılıyor):
  • coatnet_nano_rw_224 - 81.7 @ 224 (T)
  • coatnet_rmlp_nano_rw_224 - 82.0 @ 224, 82.8 @ 320 (T)
  • coatnet_0_rw_224 - 82.4 (T) — NOT timm ‘0’ coatnet modelleri 3. aşamada 2 blok daha içerir
  • coatnet_bn_0_rw_224 - 82.4 (T)
  • maxvit_nano_rw_256 - 82.9 @ 256 (T)
  • coatnet_rmlp_1_rw_224 - 83.4 @ 224, 84 @ 320 (T)
  • coatnet_1_rw_224 - 83.6 @ 224 (G)
  • (T) = bits_and_tpu dalı eğitim koduyla TPU üzerinde eğitildi, (G) = GPU üzerinde eğitildi
• GCVit (ağırlıklar https://github.com/NVlabs/GCVit adresinden uyarlandı, lisans gereksinimleri nedeniyle kod %100 timm yeniden yazımıdır)
• MViT-V2 (çok ölçekli vit, https://github.com/facebookresearch/mvit'den uyarlandı)
• EfficientFormer (https://github.com/snap-research/EfficientFormer adresinden uyarlandı)
• PyramidVisionTransformer-V2 (https://github.com/whai362/PVT adresinden uyarlandı)
• AMP ile float32 yükseltme işleminden kaçınan LayerNorm ve GroupNorm için ‘Fast Norm’ desteği (daha fazla hızlanma için kullanılabilirse APEX LN kullanılır)

15 Ağu 2022

• ConvNeXt atto ağırlıkları eklendi
  • convnext_atto - 75.7 @ 224, 77.0 @ 288
  • convnext_atto_ols - 75.9 @ 224, 77.2 @ 288

5 Ağustos 2022

• Ağırlıklı daha fazla özel ConvNeXt küçük model tanımı
  • convnext_femto - 77.5 @ 224, 78.7 @ 288
  • convnext_femto_ols - 77.9 @ 224, 78.9 @ 288
  • convnext_pico - 79.5 @ 224, 80.4 @ 288
  • convnext_pico_ols - 79.5 @ 224, 80.5 @ 288
  • convnext_nano_ols - 80.9 @ 224, 81.6 @ 288
• ONNX dışa aktarımını iyileştirmek, yeni bir taban varyantı ve orijinal (https://github.com/mmaaz60/EdgeNeXt) ağırlıkları eklemek için EdgeNeXt güncellendi

28 Temmuz 2022

• Yeni eklenen DeiT-III Medium (width=512, depth=12, num_heads=8) model ağırlıkları. Hugo Touvron'a teşekkürler!

27 Temmuz 2022

• Tüm çalışma zamanı (runtime) benchmark ve doğrulama sonuçları csv dosyaları nihayet güncel!
• Birkaç ağırlık ve model tanımı daha eklendi:
  • darknetaa53 - 79.8 @ 256, 80.5 @ 288
  • convnext_nano - 80.8 @ 224, 81.5 @ 288
  • cs3sedarknet_l - 81.2 @ 256, 81.8 @ 288
  • cs3darknet_x - 81.8 @ 256, 82.2 @ 288
  • cs3sedarknet_x - 82.2 @ 256, 82.7 @ 288
  • cs3edgenet_x - 82.2 @ 256, 82.7 @ 288
  • cs3se_edgenet_x - 82.8 @ 256, 83.5 @ 320
• cs3* ağırlıkları, hepsi bits_and_tpu dalı kullanılarak TPU üzerinde eğitildi. TRC programına teşekkürler!
• ConvNeXt'e (dilation) output_stride=8 ve 16 desteği ekleyin
• deit3 modellerinin pos_emb'yi yeniden boyutlandıramaması sorunu düzeltildi
• Version 0.6.7 PyPi sürümü (0.6.5'ten bu yana yukarıdaki hata düzeltmeleri ve yeni ağırlıklar ile)

8 Temmuz 2022

Daha fazla model, daha fazla düzeltme

• Resmi araştırma modelleri (ağırlıklarla birlikte) eklendi:
  • (https://github.com/mmaaz60/EdgeNeXt) adresinden EdgeNeXt
  • (https://github.com/apple/ml-cvnets) adresinden MobileViT-V2
  • (https://github.com/facebookresearch/deit) adresindeki DeiT III (ViT'in İntikamı)
• Kendi modellerim:
  • İstek üzerine, hem basic hem de bottleneck için 1 blok tekrarı içeren küçük ResNet tanımları eklendi (resnet10 ve resnet14)
  • CspNet, dataclass yapılandırmasıyla yeniden yapılandırıldı, basitleştirilmiş CrossStage3 (cs3) seçeneği. Bunlar YOLO-v5+ omurga tanımlarına daha yakın.
  • Daha fazla göreli konum vit ayarı. İki srelpos (paylaşılan göreli konum) modeli eğitildi ve sınıf jetonu içeren orta boy bir model.
  • EdgeNeXt'e alternatif bir downsample modu ekleyin ve small bir model eğitin. Orijinal small modelden daha iyi, ancak onların yeni USI eğitilmiş ağırlıkları kadar değil.
• Kendi model ağırlığı sonuçlarım (tümü ImageNet-1k eğitimi)
  • resnet10t - 66.5 @ 176, 68.3 @ 224
  • resnet14t - 71.3 @ 176, 72.3 @ 224
  • resnetaa50 - 80.6 @ 224 , 81.6 @ 288
  • darknet53 - 80.0 @ 256, 80.5 @ 288
  • cs3darknet_m - 77.0 @ 256, 77.6 @ 288
  • cs3darknet_focus_m - 76.7 @ 256, 77.3 @ 288
  • cs3darknet_l - 80.4 @ 256, 80.9 @ 288
  • cs3darknet_focus_l - 80.3 @ 256, 80.9 @ 288
  • vit_srelpos_small_patch16_224 - 81.1 @ 224, 82.1 @ 320
  • vit_srelpos_medium_patch16_224 - 82.3 @ 224, 83.1 @ 320
  • vit_relpos_small_patch16_cls_224 - 82.6 @ 224, 83.6 @ 320
  • edgnext_small_rw - 79.6 @ 224, 80.4 @ 320
• Yukarıdaki cs3, darknet ve vit_*relpos ağırlıkları, TRC programı sayesinde TPU üzerinde eğitildi! Geri kalanları aşırı ısınan GPU'larda eğitildi.
• Hugging Face Hub desteği düzeltmeleri doğrulandı, demo defter TBA
• Önceden eğitilmiş ağırlıklar / yapılandırmalar, baş uyarlama desteğiyle harici olarak (ör. yerel diskten) yüklenebilir.
• timm veri kümeleri/okuyucuları tarafından taranan görüntü uzantılarının değiştirilmesine yönelik destek ekleyin. Bkz. (https://github.com/rwightman/pytorch-image-models/pull/1274#issuecomment-1178303103)
• Kullanılacak varsayılan ConvNeXt LayerNorm uygulaması F.layer_norm(x.permute(0, 2, 3, 1), ...).permute(0, 3, 1, 2) aracılığıyla LayerNorm2d tüm durumlarda. Bazı donanımlarda (ör. CL'li Ampere) önceki özel uygulamadan biraz daha yavaş, ancak daha geniş donanım / PyTorch sürüm aralıklarında genel olarak daha az gerileme. Önceki uygulama models/layers/norm.py içinde LayerNormExp2d olarak mevcut.
  • bazı donanımlarda (ör. CL ile Ampere) önceki özel uygulamadan biraz daha yavaş, ancak genel olarak daha geniş donanım / PyTorch sürüm aralıklarında daha az performans düşüşü.
  • önceki uygulama models/layers/norm.py içinde LayerNormExp2d olarak mevcuttur
• Sayısız hata düzeltmesi
• Şu anda yaklaşan PyPi 0.6.x sürümü için test yapılıyor
• LeViT için daha büyük modellerin ön eğitimi hâlâ devam ediyor; damıtma olmadan iyi / kolay eğitim almıyorlar. Damıtma desteğini ekleme zamanı (sonunda) geldi mi?
• ImageNet-22k ağırlık eğitimi + ince ayar devam ediyor, çoklu ağırlık desteği üzerindeki çalışma (yavaşça) ilerliyor (ağırlıkların sayısı ÇOK fazla, inilecek) …

13 Mayıs 2022

• Resmi Swin-V2 modelleri ve ağırlıkları (https://github.com/microsoft/Swin-Transformer) adresinden eklendi. torchscript desteği sağlamak için temizlendi.
• Mevcut timm Swin-V2-CR uygulaması için bazı yeniden yapılandırma çalışmaları yapılacak; resmi sürüme daha yakın hale getirmek için biraz daha iş yapılması ve bazı yönlerin birleştirilip birleştirilmeyeceğine karar verilmesi muhtemeldir.
• Daha fazla Vision Transformer göreli konum / artırmalı post-norm deneyleri (TRC programı sayesinde hepsi TPU üzerinde eğitildi)
  • vit_relpos_small_patch16_224 - 81.5 @ 224, 82.5 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_medium_patch16_rpn_224 - 82.3 @ 224, 83.1 @ 320 — rel pos + res-post-norm, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_medium_patch16_224 - 82.5 @ 224, 83.3 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_base_patch16_gapcls_224 - 82.8 @ 224, 83.9 @ 320 — rel pos, layer scale, class token, avg pool (yanlışlıkla)
• 512 boyutlu, 8 başlı ‘medium’ ViT model varyantını yeniden hayata geçirin (2020’de ilk ViT uygulamasında, DeiT öncesi ‘small’ modelde kullanıldıktan sonra)
• Mevcut uygulama ile resmi Swin-V2 uygulamasındaki bazı eklemeler arasında geçiş yapılabilmesi için ViT göreli konum desteği ekleyin
• Sequencer2D uygulaması (https://arxiv.org/abs/2205.01972), yazar tarafından eklenen PR ile (https://github.com/okojoalg)

2 Mayıs 2022

• Görsel Transformer deneyleri, Göreli Konum (Swin-V2 log-koord) ekleme (vision_transformer_relpos.py) ve Kalıntı Post-Norm dalları (Swin-V2'den) (vision_transformer*.py)
  • vit_relpos_base_patch32_plus_rpn_256 - 79.5 @ 256, 80.6 @ 320 — rel pos + genişletilmiş genişlik + res-post-norm, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_base_patch16_224 - 82.5 @ 224, 83.6 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_base_patch16_rpn_224 - 82.3 @ 224 — rel pos + res-post-norm, sınıf token'ı yok, ortalama havuzlama
• Sadece ilk vit'te kullanılmış ve yeni ön eğitimlerde (ör. How to Train Your ViT) nadiren kullanılan temsil katmanını kaldırmak için Vision Transformer yeniden yapılandırması
• vit_* modelleri, sınıf jetonunun kaldırılmasını, küresel ortalama havuzlamanın kullanılmasını ve fc_norm'un kullanılmasını (beit, mae gibi) destekler.

22 Nisan 2022

• timm modelleri artık fast.ai içinde resmi olarak destekleniyor! Yeni Practical Deep Learning kursu için tam zamanında. timmdocs dokümantasyon bağlantısı timm.fast.ai olarak güncellendi.
• TPU ile eğitilen serisine iki model ağırlığı daha eklendi. Bazı In22k ön eğitimleri hâlâ devam ediyor.
  • seresnext101d_32x8d - 83.69 @ 224, 84.35 @ 288
  • seresnextaa101d_32x8d (AvgPool2d ile anti-aliased) - 224'te 83.85, 288'de 84.57

23 Mart 2022

• Üç şey herkesin ViT hakkında bilmesi gerekenler başlıklı Three things everyone should know about ViT makalesindeki model yapılandırmalarını desteklemek için temel vit modellerine ParallelBlock ve LayerScale seçeneği ekleyin
• convnext_tiny_hnf (head norm first) ağırlıkları, (yaklaşık) A2 tarifiyle eğitildi, %82,2 top-1, daha fazla epoch ile daha iyi sonuç alınabilir.

21 Mart 2022

• norm_norm_norm birleştirildi. ÖNEMLİ Yaklaşan 0.6.x sürümü için bu güncelleme, master dalını bir süre için istikrarsız hale getirebilir. İstikrar gerekiyorsa 0.5.x dalı veya önceki bir 0.5.x sürümü kullanılabilir.
• Bu sürümde açıklanan önemli ağırlık güncellemesi (tamamı TPU ile eğitildi)
  • regnety_040 - 82.3 @ 224, 82.96 @ 288
  • regnety_064 - 83.0 @ 224, 83.65 @ 288
  • regnety_080 - 83.17 @ 224, 83.86 @ 288
  • regnetv_040 - 224'te 82.44, 288'de 83.18 (timm pre-act)
  • regnetv_064 - 83.1 @ 224, 83.71 @ 288 (timm pre-act)
  • regnetz_040 - 83.67 @ 256, 84.25 @ 320
  • regnetz_040h - 256'da 83.77, 320'de 84.5 (başta ek fc ile)
  • resnetv2_50d_gn - 80.8 @ 224, 81.96 @ 288 (pre-act GroupNorm)
  • resnetv2_50d_evos 80.77 @ 224, 82.04 @ 288 (pre-act EvoNormS)
  • regnetz_c16_evos - 81.9 @ 256, 82.64 @ 320 (EvoNormS)
  • regnetz_d8_evos - 256'de 83.42, 320'de 84.04 (EvoNormS)
  • xception41p - 82 @ 299 (timm pre-act)
  • xception65 - 83.17 @ 299
  • xception65p - 83.14 @ 299 (timm pre-act)
  • resnext101_64x4d - 82.46 @ 224, 83.16 @ 288
  • seresnext101_32x8d - 83.57 @ 224, 84.270 @ 288
  • resnetrs200 - 83.85 @ 256, 84.44 @ 320
• HuggingFace hub desteği düzeltildi; önceden eğitilmiş model tanımları ve ağırlıkları için alternatif ‘config kaynaklarına’ izin verme konusunda başlangıç altyapısı hazırlandı (genel yerel dosya / uzak URL desteği yakında)
• SwinTransformer-V2 uygulaması eklendi. Christoph Reich tarafından gönderildi. Eğitim deneylerim ve model değişikliklerim devam ediyor, bu nedenle uyumluluk kırılmaları yaşanabilir.
• https://github.com/microsoft/Cream/tree/main/AutoFormerV2 adresinden Swin-S3 (AutoFormerV2) modelleri/ağırlıkları eklendi
• Ağırlıkları https://github.com/apple/ml-cvnets adresinden uyarlanan MobileViT modelleri
• Ağırlıkları https://github.com/sail-sg/poolformer adresinden uyarlanan PoolFormer modelleri
• Ağırlıkları https://github.com/sail-sg/volo adresinden uyarlanan VOLO modelleri
• EvoNorm, FilterResponseNorm, GroupNorm gibi BatchNorm dışı norm katmanlarıyla deneyler yapan önemli çalışmalar
• Birçok modele eklenen alternatif norm + act (‘NormAct’) katmanları için desteği geliştirin, özellikle EfficientNet/MobileNetV3, RegNet ve hizalı Xception
• EfficientNet ailesine gruplu conv desteği eklendi
• Tüm modellere, 'katman bazlı' LR azalması ve LR zamanlayıcıya eklenen lr ölçeğinin uygulanması için model parametrelerinin gruplandırılmasına izin veren 'group matching' API'si eklendi
• Birçok modele gradient checkpointing desteği eklendi
• forward_head(x, pre_logits=False) fn, forward_features + forward_head çağrılarının ayrı ayrı yapılabilmesine izin vermek için tüm modellere eklenmiştir
• Tüm vision transformer ve vision MLP modelleri, CNN modelleriyle tutarlılık sağlamak amacıyla forward_features üzerinden havuzlanmamış / token seçilmemiş özellikler döndürmek üzere güncellenmiştir; token seçimi veya havuzlama artık forward_head içinde uygulanmaktadır.

2 Şubat 2022

• Chris Hughes dün blogunda timm için kapsamlı bir inceleme yayınladı. Kesinlikle okunmaya değer. PyTorch Image Models (timm) ile Başlangıç: Bir Uygulayıcının Kılavuzu
• Şu anda norm_norm_norm dalını gelecek hafta civarında master (0.6.x sürümü) dalına birleştirmek için hazırlık yapıyorum.
  • Değişiklikler normalden daha kapsamlıdır ve bazı model API kullanımlarını kararsızlaştırıp bozabilir (tam geriye dönük uyumluluk hedefleniyor). Bu nedenle pip install git+https://github.com/rwightman/pytorch-image-models kurulumlarına dikkat edin!
  • 0.5.x sürümleri ve 0.5.x dalı, tozlar oturana kadar bir veya iki cherry pick ile kararlı kalmaya devam edecektir. Kararlı bir sürüm istiyorsanız, bir süre için pypi kurulumunu kullanmanızı öneririz.

14 Ocak 2022

• Version 0.5.4, pypi'ye yayınlanacak. Son pypi güncellemesinden bu yana uzun bir süre geçti ve riskli değişiklikler yakında main dalına birleştirilecek…
• Resmi uygulamadan (https://github.com/facebookresearch/ConvNeXt) ağırlıklı ConvNeXT modellerini ekleyin, birkaç performans iyileştirmesi yapın, timm özellikleriyle uyumlu hale getirin
• Birkaç küçük (~1,8-3M parametre) / mobil optimizasyonlu model eğitmeyi denedim, birkaçı şu ana kadar iyi görünüyor, daha fazlası yolda…
  • mnasnet_small - 65.6 top-1
  • mobilenetv2_050 - 65.9
  • lcnet_100/075/050 - 72.1 / 68.8 / 63.1
  • semnasnet_075 - 73
  • fbnetv3_b/d/g - 79.1 / 79.7 / 82.0
• rsomani95 tarafından eklenen TinyNet modelleri
• LCNet, MobileNetV3 mimarisi aracılığıyla eklendi

5 Ocak 2023

• Mevcut ConvNeXt-V2 modelleri ve ağırlıkları eklendi convnext.py
  • Makale: ConvNeXt V2: Masked Autoencoders ile ConvNets'in Ortak Tasarımı ve Ölçeklendirilmesi
  • Referans uygulama: https://github.com/facebookresearch/ConvNeXt-V2 (NOT: ağırlıklar şu anda CC-BY-NC lisanslıdır)

23 Aralık 2022 🎄☃

• FlexiViT modellerini ve ağırlıklarını ekleyin https://github.com/google-research/big_vision (makaleyi inceleyin https://arxiv.org/abs/2212.08013)
  • NOT: Şu anda yeniden boyutlandırma, model oluşturulurken statiktir; uçuşta dinamik / eğitim yama boyutu örneklemesi devam etmektedir (WIP).
• Çok daha fazla model artık çoklu ağırlıklara güncellendi ve HF hub üzerinden indirilebilir durumda (convnext, efficientnet, mobilenet, vision_transformer*, beit)
• Daha fazla model önceden eğitilmiş etiketi ve ayarlamalar, bazı model adları değiştirildi (kullanımdan kaldırma çevirileri üzerinde çalışılıyor, şu an için ana dalı DEV dalı olarak düşünün, kararlı kullanım için 0.6.x kullanın)
• Daha fazla ImageNet-12k (22k'nin bir alt kümesi) ön eğitim modeli ortaya çıkıyor:
  • efficientnet_b5.in12k_ft_in1k - 85.9 @ 448x448
  • vit_medium_patch16_gap_384.in12k_ft_in1k - 85.5 @ 384x384
  • vit_medium_patch16_gap_256.in12k_ft_in1k - 84.5 @ 256x256
  • convnext_nano.in12k_ft_in1k - 82.9 @ 288x288

8 Aralık 2022

• şuna 'EVA l' ekle vision_transformer.py, EVA-CLIP hedefleriyle MAE tarzı ViT-L/14 MIM ön eğitimi, ImageNet-1k üzerinde FT (bazıları için ImageNet-22k ara aşamasıyla)
  • https://github.com/baaivision/EVA

6 Aralık 2022

• ‘EVA g’, hem MIM ön eğitimi hem de CLIP ön eğitimi içeren BEiT tarzı ViT-g/14 model ağırlıklarını beit.py.
  • https://github.com/baaivision/EVA
  • makale: https://arxiv.org/abs/2211.07636

5 Aralık 2022

• Ön sürüm (0.8.0dev0) çoklu ağırlık desteğinin ön sürümü (model_arch.pretrained_tag). kurulum için pip install --pre timm
  • vision_transformer, maxvit, convnext destekle gelen ilk üç model uygulamasıdır
  • model adları bununla birlikte değişiyor (önceki _21k vb. fn birleştirilecek), hâlâ deprecation işlemlerini düzenliyorum
  • hatalar olasıdır, ancak geri bildirimime ihtiyacım var, lütfen deneyin
  • stabilite gerekiyorsa, lütfen 0.6.x pypi sürümlerini kullanın veya 0.6.x dalından klonlayın
• PyTorch 2.0 compile desteği train/validate/inference/benchmark'a eklendi, --torchcompile argümanını kullanın
• Inference script, çıktı üzerinde daha fazla kontrol sağlar; üst sınıf indeksi + olasılık için k seçin, json, csv veya parquet çıktısı
• LAION-2B ve orijinal OpenAI CLIP modellerinden tam bir dizi ince ayarlı CLIP görüntü kulesi ağırlıkları ekleyin

• Resmi uygulamasından MaxViT Tensorflow ağırlıklarının portu https://github.com/google-research/maxvit
  • Upscale edilmiş 384/512 in21k ince ayar ağırlıklarında beklenenden daha büyük düşüşler oldu, muhtemelen detay eksikliği var, ancak 21k FT küçük ön işleme adımlarına hassas görünüyordu

15 Ekim 2022

• Eğitim ve doğrulama betiği iyileştirmeleri
• GPU dışı (yani CPU) cihaz desteği
• Eğitim betiği için SLURM uyumluluğu
• HF veri kümeleri desteği (ReaderHfds aracılığıyla)
• TFDS/WDS veri yükleme iyileştirmeleri (dağıtık kullanım için örnek dolgusu/sarmalama, örnek sayısı tahminiyle ilgili olarak düzeltildi)
• in_chans !=3 için script / loader desteği
• Adan optimizleyici
• args üzerinden adım başına LR zamanlamasını etkinleştirebilir
• Dataset ‘parsers’ adlandırması, amacını daha iyi yansıtması için ‘readers’ olarak değiştirildi
• AMP argümanları değiştirildi, APEX --amp-impl apex ile, bfloat16 --amp-dtype bfloat16 ile destekleniyor
• main branch 0.7.x sürümüne geçildi, 0.6x fork stable release of weight only adds için oluşturuldu
• master -> main dalı yeniden adlandırma

10 Ekim 2022

• Daha fazla ağırlık maxxvit serisinde, ilk ConvNeXt bloğuna dayalı coatnext ve maxxvit deneyleri:
  • coatnext_nano_rw_224 - 82.0 @ 224 (G) — (ConvNeXt conv bloğu kullanır, BatchNorm yok)
  • maxxvit_rmlp_nano_rw_256 - 83.0 @ 256, 83.7 @ 320 (G) (ConvNeXt conv bloğu kullanır, BN yok)
  • maxvit_rmlp_small_rw_224 - 84.5 @ 224, 85.1 @ 320 (G)
  • maxxvit_rmlp_small_rw_256 - 84.6 @ 256, 84.9 @ 288 (G) — daha iyi eğitilebilir, hparams ayarlanmalı (ConvNeXt bloğu kullanır, BN yok)
  • coatnet_rmlp_2_rw_224 - 84.6 @ 224, 85 @ 320 (T)
  • NOT: resmi MaxVit ağırlıkları (in1k) https://github.com/google-research/maxvit adresinde yayınlanmıştır — benim uygulamanın onlarınkinden bağımsız olarak oluşturulması ve birkaç küçük fark içermesi + tüm TF same padding meselesi nedeniyle taşımak ve uyarlamak için bazı ek iş gereklidir.

23 Eylül 2022

• LAION-2B CLIP görüntü kuleleri, ince ayar veya özellik çıkarımı için (sınıflandırıcı olmadan) önceden eğitilmiş omurga olarak desteklenir
  • vit_base_patch32_224_clip_laion2b
  • vit_large_patch14_224_clip_laion2b
  • vit_huge_patch14_224_clip_laion2b
  • vit_giant_patch14_224_clip_laion2b

7 Eylül 2022

• Hugging Face timm belgeleri ana sayfası artık mevcut, gelecekte daha fazlasını burada arayın
• https://github.com/microsoft/unilm/tree/master/beit2 adresindeki base ve large 224x224 modelleri için BEiT-v2 ağırlıklarını ekleyin
• daha fazla ağırlık eklendi maxxvit serisine bir pico (7.5M parametre, 1.9 GMAC), iki tiny değişkeni:
  • maxvit_rmlp_pico_rw_256 - 80.5 @ 256, 81.3 @ 320 (T)
  • maxvit_tiny_rw_224 - 83.5 @ 224 (G)
  • maxvit_rmlp_tiny_rw_256 - 84.2 @ 256, 84.8 @ 320 (T)

29 Ağu 2022

• MaxVit pencere boyutu varsayılan olarak img_size ile ölçeklenir. Bunu kullanan yeni bir RelPosMlp MaxViT ağırlığı ekleyin:
  • maxvit_rmlp_nano_rw_256 - 83.0 @ 256, 83.6 @ 320 (T)

26 Ağu 2022

• CoAtNet (https://arxiv.org/abs/2106.04803) ve MaxVit (https://arxiv.org/abs/2204.01697) timm orijinal modelleri
  • her ikisi de maxxvit.py model tanımında bulunur, orijinal makalelerin kapsamı dışında sayısız deney içerir
  • MaxVit yazarlarının tamamlanmamış Tensorflow sürümü https://github.com/google-research/maxvit adresinde bulunabilir
• Başlangıç CoAtNet ve MaxVit timm önceden eğitilmiş ağırlıkları (daha fazlası üzerinde çalışılıyor):
  • coatnet_nano_rw_224 - 81.7 @ 224 (T)
  • coatnet_rmlp_nano_rw_224 - 82.0 @ 224, 82.8 @ 320 (T)
  • coatnet_0_rw_224 - 82.4 (T) — NOT timm ‘0’ coatnet modelleri 3. aşamada 2 blok daha içerir
  • coatnet_bn_0_rw_224 - 82.4 (T)
  • maxvit_nano_rw_256 - 82.9 @ 256 (T)
  • coatnet_rmlp_1_rw_224 - 83.4 @ 224, 84 @ 320 (T)
  • coatnet_1_rw_224 - 83.6 @ 224 (G)
  • (T) = bits_and_tpu dalı eğitim koduyla TPU üzerinde eğitildi, (G) = GPU üzerinde eğitildi
• GCVit (ağırlıklar https://github.com/NVlabs/GCVit adresinden uyarlandı, lisans gereksinimleri nedeniyle kod %100 timm yeniden yazımıdır)
• MViT-V2 (çok ölçekli vit, https://github.com/facebookresearch/mvit'den uyarlandı)
• EfficientFormer (https://github.com/snap-research/EfficientFormer adresinden uyarlandı)
• PyramidVisionTransformer-V2 (https://github.com/whai362/PVT adresinden uyarlandı)
• AMP ile float32 yükseltme işleminden kaçınan LayerNorm ve GroupNorm için ‘Fast Norm’ desteği (daha fazla hızlanma için kullanılabilirse APEX LN kullanılır)

15 Ağu 2022

• ConvNeXt atto ağırlıkları eklendi
  • convnext_atto - 75.7 @ 224, 77.0 @ 288
  • convnext_atto_ols - 75.9 @ 224, 77.2 @ 288

5 Ağustos 2022

• Ağırlıklı daha fazla özel ConvNeXt küçük model tanımı
  • convnext_femto - 77.5 @ 224, 78.7 @ 288
  • convnext_femto_ols - 77.9 @ 224, 78.9 @ 288
  • convnext_pico - 79.5 @ 224, 80.4 @ 288
  • convnext_pico_ols - 79.5 @ 224, 80.5 @ 288
  • convnext_nano_ols - 80.9 @ 224, 81.6 @ 288
• ONNX dışa aktarımını iyileştirmek, yeni bir taban varyantı ve orijinal (https://github.com/mmaaz60/EdgeNeXt) ağırlıkları eklemek için EdgeNeXt güncellendi

28 Temmuz 2022

• Yeni eklenen DeiT-III Medium (width=512, depth=12, num_heads=8) model ağırlıkları. Hugo Touvron'a teşekkürler!

27 Temmuz 2022

• Tüm çalışma zamanı kıyaslama ve doğrulama sonuçları csv dosyaları güncel!
• Birkaç ağırlık ve model tanımı daha eklendi:
  • darknetaa53 - 79.8 @ 256, 80.5 @ 288
  • convnext_nano - 80.8 @ 224, 81.5 @ 288
  • cs3sedarknet_l - 81.2 @ 256, 81.8 @ 288
  • cs3darknet_x - 81.8 @ 256, 82.2 @ 288
  • cs3sedarknet_x - 82.2 @ 256, 82.7 @ 288
  • cs3edgenet_x - 82.2 @ 256, 82.7 @ 288
  • cs3se_edgenet_x - 82.8 @ 256, 83.5 @ 320
• cs3* ağırlıkları, hepsi bits_and_tpu dalı kullanılarak TPU üzerinde eğitildi. TRC programına teşekkürler!
• ConvNeXt'e (dilation) output_stride=8 ve 16 desteği ekleyin
• deit3 modellerinin pos_emb'yi yeniden boyutlandıramaması sorunu düzeltildi
• Version 0.6.7 PyPi sürümü (0.6.5'ten bu yana yukarıdaki hata düzeltmeleri ve yeni ağırlıklar ile)

8 Temmuz 2022

Daha fazla model, daha fazla düzeltme

• Resmi araştırma modelleri (ağırlıklarla birlikte) eklendi:
  • (https://github.com/mmaaz60/EdgeNeXt) adresinden EdgeNeXt
  • (https://github.com/apple/ml-cvnets) adresinden MobileViT-V2
  • (https://github.com/facebookresearch/deit) adresindeki DeiT III (ViT'in İntikamı)
• Kendi modellerim:
  • İstek üzerine, hem basic hem de bottleneck için 1 blok tekrarı içeren küçük ResNet tanımları eklendi (resnet10 ve resnet14)
  • CspNet, dataclass yapılandırmasıyla yeniden yapılandırıldı, basitleştirilmiş CrossStage3 (cs3) seçeneği. Bunlar YOLO-v5+ omurga tanımlarına daha yakın.
  • Daha fazla göreli konum vit ayarı. İki srelpos (paylaşılan göreli konum) modeli eğitildi ve sınıf jetonu içeren orta boy bir model.
  • EdgeNeXt'e alternatif bir downsample modu ekleyin ve small bir model eğitin. Orijinal small modelden daha iyi, ancak onların yeni USI eğitilmiş ağırlıkları kadar değil.
• Kendi model ağırlığı sonuçlarım (tümü ImageNet-1k eğitimi)
  • resnet10t - 66.5 @ 176, 68.3 @ 224
  • resnet14t - 71.3 @ 176, 72.3 @ 224
  • resnetaa50 - 80.6 @ 224 , 81.6 @ 288
  • darknet53 - 80.0 @ 256, 80.5 @ 288
  • cs3darknet_m - 77.0 @ 256, 77.6 @ 288
  • cs3darknet_focus_m - 76.7 @ 256, 77.3 @ 288
  • cs3darknet_l - 80.4 @ 256, 80.9 @ 288
  • cs3darknet_focus_l - 80.3 @ 256, 80.9 @ 288
  • vit_srelpos_small_patch16_224 - 81.1 @ 224, 82.1 @ 320
  • vit_srelpos_medium_patch16_224 - 82.3 @ 224, 83.1 @ 320
  • vit_relpos_small_patch16_cls_224 - 82.6 @ 224, 83.6 @ 320
  • edgnext_small_rw - 79.6 @ 224, 80.4 @ 320
• Yukarıdaki cs3, darknet ve vit_*relpos ağırlıkları, TRC programı sayesinde TPU üzerinde eğitildi! Geri kalanları aşırı ısınan GPU'larda eğitildi.
• Hugging Face Hub desteği düzeltmeleri doğrulandı, demo defter TBA
• Önceden eğitilmiş ağırlıklar / yapılandırmalar, baş uyarlama desteğiyle harici olarak (ör. yerel diskten) yüklenebilir.
• timm veri setleri/çözümleyicileri tarafından taranan görüntü uzantılarının değiştirilmesine yönelik destek ekleyin. Bkz. (https://github.com/rwightman/pytorch-image-models/pull/1274#issuecomment-1178303103)
• Kullanılacak varsayılan ConvNeXt LayerNorm uygulaması F.layer_norm(x.permute(0, 2, 3, 1), ...).permute(0, 3, 1, 2) aracılığıyla LayerNorm2d tüm durumlarda. Bazı donanımlarda (ör. CL'li Ampere) önceki özel uygulamadan biraz daha yavaş, ancak daha geniş donanım / PyTorch sürüm aralıklarında genel olarak daha az gerileme. Önceki uygulama models/layers/norm.py içinde LayerNormExp2d olarak mevcut.
  • bazı donanımlarda (ör. CL ile Ampere) önceki özel uygulamadan biraz daha yavaş, ancak genel olarak daha geniş donanım / PyTorch sürüm aralıklarında daha az performans düşüşü.
  • önceki uygulama models/layers/norm.py içinde LayerNormExp2d olarak mevcuttur
• Sayısız hata düzeltmesi
• Şu anda yaklaşan PyPi 0.6.x sürümü için test yapılıyor
• LeViT için daha büyük modellerin ön eğitimi hâlâ devam ediyor; damıtma olmadan iyi / kolay eğitim almıyorlar. Damıtma desteğini ekleme zamanı (sonunda) geldi mi?
• ImageNet-22k ağırlık eğitimi + ince ayar devam ediyor, çoklu ağırlık desteği üzerindeki çalışma (yavaşça) ilerliyor (ağırlıkların sayısı ÇOK fazla, inilecek) …

13 Mayıs 2022

• Resmi Swin-V2 modelleri ve ağırlıkları (https://github.com/microsoft/Swin-Transformer) adresinden eklendi. torchscript desteği sağlamak için temizlendi.
• Mevcut timm Swin-V2-CR uygulaması için bazı yeniden yapılandırma çalışmaları yapılacak; resmi sürüme daha yakın hale getirmek için biraz daha iş yapılması ve bazı yönlerin birleştirilip birleştirilmeyeceğine karar verilmesi muhtemeldir.
• Daha fazla Vision Transformer göreli konum / artırmalı post-norm deneyleri (TRC programı sayesinde hepsi TPU üzerinde eğitildi)
  • vit_relpos_small_patch16_224 - 81.5 @ 224, 82.5 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_medium_patch16_rpn_224 - 82.3 @ 224, 83.1 @ 320 — rel pos + res-post-norm, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_medium_patch16_224 - 82.5 @ 224, 83.3 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_base_patch16_gapcls_224 - 82.8 @ 224, 83.9 @ 320 — rel pos, layer scale, class token, avg pool (yanlışlıkla)
• 512 boyutlu, 8 başlı ‘medium’ ViT model varyantını yeniden hayata geçirin (2020’de ilk ViT uygulamasında, DeiT öncesi ‘small’ modelde kullanıldıktan sonra)
• Mevcut uygulama ile resmi Swin-V2 uygulamasındaki bazı eklemeler arasında geçiş yapılabilmesi için ViT göreli konum desteği ekleyin
• Sequencer2D uygulaması (https://arxiv.org/abs/2205.01972), yazar tarafından eklenen PR ile (https://github.com/okojoalg)

2 Mayıs 2022

• Görsel Transformer deneyleri, Göreli Konum (Swin-V2 log-koord) ekleme (vision_transformer_relpos.py) ve Kalıntı Post-Norm dalları (Swin-V2'den) (vision_transformer*.py)
  • vit_relpos_base_patch32_plus_rpn_256 - 79.5 @ 256, 80.6 @ 320 — rel pos + genişletilmiş genişlik + res-post-norm, sınıf token'ı yok, ortalama havuzlama
  • vit_relpos_base_patch16_224 - 82.5 @ 224, 83.6 @ 320 — rel pos, layer scale, sınıf token'ı yok, ortalama havuzlama
  • vit_base_patch16_rpn_224 - 82.3 @ 224 — rel pos + res-post-norm, sınıf token'ı yok, ortalama havuzlama
• Sadece ilk vit'te kullanılmış ve yeni ön eğitimlerde (ör. How to Train Your ViT) nadiren kullanılan temsil katmanını kaldırmak için Vision Transformer yeniden yapılandırması
• vit_* modelleri, sınıf jetonunun kaldırılmasını, küresel ortalama havuzlamanın kullanılmasını ve fc_norm'un kullanılmasını (beit, mae gibi) destekler.

22 Nisan 2022

• timm modelleri artık fast.ai içinde resmi olarak destekleniyor! Yeni Practical Deep Learning kursu için tam zamanında. timmdocs dokümantasyon bağlantısı timm.fast.ai olarak güncellendi.
• TPU ile eğitilen serisine iki model ağırlığı daha eklendi. Bazı In22k ön eğitimleri hâlâ devam ediyor.
  • seresnext101d_32x8d - 83.69 @ 224, 84.35 @ 288
  • seresnextaa101d_32x8d (AvgPool2d ile anti-aliased) - 224'te 83.85, 288'de 84.57

23 Mart 2022

• Üç şey herkesin ViT hakkında bilmesi gerekenler başlıklı Three things everyone should know about ViT makalesindeki model yapılandırmalarını desteklemek için temel vit modellerine ParallelBlock ve LayerScale seçeneği ekleyin
• convnext_tiny_hnf (head norm first) ağırlıkları, (yaklaşık) A2 tarifiyle eğitildi, %82,2 top-1, daha fazla epoch ile daha iyi sonuç alınabilir.

21 Mart 2022

• norm_norm_norm birleştirildi. ÖNEMLİ Yaklaşan 0.6.x sürümü için bu güncelleme, master dalını bir süre için istikrarsız hale getirebilir. İstikrar gerekiyorsa 0.5.x dalı veya önceki bir 0.5.x sürümü kullanılabilir.
• Bu sürümde açıklanan önemli ağırlık güncellemesi (tamamı TPU ile eğitildi)
  • regnety_040 - 82.3 @ 224, 82.96 @ 288
  • regnety_064 - 83.0 @ 224, 83.65 @ 288
  • regnety_080 - 83.17 @ 224, 83.86 @ 288
  • regnetv_040 - 224'te 82.44, 288'de 83.18 (timm pre-act)
  • regnetv_064 - 83.1 @ 224, 83.71 @ 288 (timm pre-act)
  • regnetz_040 - 83.67 @ 256, 84.25 @ 320
  • regnetz_040h - 256'da 83.77, 320'de 84.5 (başta ek fc ile)
  • resnetv2_50d_gn - 80.8 @ 224, 81.96 @ 288 (pre-act GroupNorm)
  • resnetv2_50d_evos 80.77 @ 224, 82.04 @ 288 (pre-act EvoNormS)
  • regnetz_c16_evos - 81.9 @ 256, 82.64 @ 320 (EvoNormS)
  • regnetz_d8_evos - 256'de 83.42, 320'de 84.04 (EvoNormS)
  • xception41p - 82 @ 299 (timm pre-act)
  • xception65 - 83.17 @ 299
  • xception65p - 83.14 @ 299 (timm pre-act)
  • resnext101_64x4d - 82.46 @ 224, 83.16 @ 288
  • seresnext101_32x8d - 83.57 @ 224, 84.270 @ 288
  • resnetrs200 - 83.85 @ 256, 84.44 @ 320
• HuggingFace hub desteği düzeltildi; önceden eğitilmiş model tanımları ve ağırlıkları için alternatif ‘config kaynaklarına’ izin verme konusunda başlangıç altyapısı hazırlandı (genel yerel dosya / uzak URL desteği yakında)
• SwinTransformer-V2 uygulaması eklendi. Christoph Reich tarafından gönderildi. Eğitim deneylerim ve model değişikliklerim devam ediyor, bu nedenle uyumluluk kırılmaları yaşanabilir.
• https://github.com/microsoft/Cream/tree/main/AutoFormerV2 adresinden Swin-S3 (AutoFormerV2) modelleri/ağırlıkları eklendi
• Ağırlıkları https://github.com/apple/ml-cvnets adresinden uyarlanan MobileViT modelleri
• Ağırlıkları https://github.com/sail-sg/poolformer adresinden uyarlanan PoolFormer modelleri
• Ağırlıkları https://github.com/sail-sg/volo adresinden uyarlanan VOLO modelleri
• EvoNorm, FilterResponseNorm, GroupNorm gibi BatchNorm dışı norm katmanlarıyla deneyler yapan önemli çalışmalar
• Birçok modele eklenen alternatif norm + act (‘NormAct’) katmanları için desteği geliştirin, özellikle EfficientNet/MobileNetV3, RegNet ve hizalı Xception
• EfficientNet ailesine gruplu conv desteği eklendi
• Tüm modellere, 'katman bazlı' LR azalması ve LR zamanlayıcıya eklenen lr ölçeğinin uygulanması için model parametrelerinin gruplandırılmasına izin veren 'group matching' API'si eklendi
• Birçok modele gradient checkpointing desteği eklendi
• forward_head(x, pre_logits=False) fn, forward_features + forward_head çağrılarının ayrı ayrı yapılabilmesine izin vermek için tüm modellere eklenmiştir
• Tüm vision transformer ve vision MLP modelleri, CNN modelleriyle tutarlılık sağlamak amacıyla forward_features üzerinden havuzlanmamış / token seçilmemiş özellikler döndürmek üzere güncellenmiştir; token seçimi veya havuzlama artık forward_head içinde uygulanmaktadır.

2 Şubat 2022

• Chris Hughes dün blogunda timm için kapsamlı bir inceleme yayınladı. Kesinlikle okunmaya değer. PyTorch Image Models (timm) ile Başlangıç: Bir Uygulayıcının Kılavuzu
• Şu anda norm_norm_norm dalını gelecek hafta civarında master (0.6.x sürümü) dalına birleştirmek için hazırlık yapıyorum.
  • Değişiklikler normalden daha kapsamlıdır ve bazı model API kullanımlarını kararsızlaştırıp bozabilir (tam geriye dönük uyumluluk hedefleniyor). Bu nedenle pip install git+https://github.com/rwightman/pytorch-image-models kurulumlarına dikkat edin!
  • 0.5.x sürümleri ve 0.5.x dalı, tozlar oturana kadar bir veya iki cherry pick ile kararlı kalmaya devam edecektir. Kararlı bir sürüm istiyorsanız, bir süre için pypi kurulumunu kullanmanızı öneririz.

14 Ocak 2022

• Version 0.5.4, pypi'ye yayınlanacak. Son pypi güncellemesinden bu yana uzun bir süre geçti ve riskli değişiklikler yakında main dalına birleştirilecek…
• Resmi uygulamadan (https://github.com/facebookresearch/ConvNeXt) ağırlıklı ConvNeXT modellerini ekleyin, birkaç performans iyileştirmesi yapın, timm özellikleriyle uyumlu hale getirin
• Birkaç küçük (~1,8-3M parametre) / mobil optimizasyonlu model eğitmeyi denedim, birkaçı şu ana kadar iyi görünüyor, daha fazlası yolda…
  • mnasnet_small - 65.6 top-1
  • mobilenetv2_050 - 65.9
  • lcnet_100/075/050 - 72.1 / 68.8 / 63.1
  • semnasnet_075 - 73
  • fbnetv3_b/d/g - 79.1 / 79.7 / 82.0
• rsomani95 tarafından eklenen TinyNet modelleri
• LCNet, MobileNetV3 mimarisi aracılığıyla eklendi