Panduan HW Komputasi untuk Pelatihan LeRobot

Perkiraan ukuran untuk melatih kebijakan LeRobot: berapa banyak VRAM yang dibutuhkan oleh masing-masing kebijakan, bagaimana perkiraan waktu latihannya, dan di mana harus menjalankannya jika perangkat keras lokal tidak mencukupi.

Angka-angka di bawah ini bersifat indikatif — angka orde magnitudo untuk memilih perangkat keras, bukan prediksi yang tepat. Throughput sangat bergantung pada I/O dataset, resolusi gambar, ukuran batch, dan jumlah GPU.

Memori per grup kebijakan

Policies dikelompokkan berdasarkan ukuran backbone; pengelompokan di bawah ini memberikan satu batas VRAM per kelompok alih-alih mengulang angka untuk setiap policy. Memori berskala kira-kira linier dengan ukuran batch; AdamW (default LeRobot) membawa state optimizer yang menambah sekitar 30–100% di atas jalur forward+backward saja.

Terbatas memori? Kurangi ukuran batch (~linear), gunakan akumulasi gradien untuk memulihkan batch efektif, atau untuk SmolVLA biarkan freeze_vision_encoder=True.

Waktu pelatihan

Pembelajaran imitasi dalam robotika biasanya konvergen dalam 5–10 epoch pada dataset, bukan ratusan ribu langkah mentah. Setelah Anda mengetahui jumlah epoch, waktu nyata pada dasarnya adalah:

total_frames    = sum of frames over all episodes      # 50 ep × 30 fps × 30 s ≈ 45,000
steps_per_epoch = ceil(total_frames / (num_gpus × batch_size))
total_steps     = epochs × steps_per_epoch
wall_clock      ≈ total_steps × per_step_time

Waktu per langkah bergantung pada kebijakan dan GPU. Angka dalam tabel di bawah ini adalah acuan — pilih baris yang paling mendekati konfigurasi Anda dan skalakan secara linear dengan total_steps jika Anda melatih lebih lama atau lebih singkat.

Skenario umum

Estimasi waktu nyata untuk 5 epoch pada dataset ~50 episode (~45k frame pada 30 fps × 30 s), optimizer default (AdamW), gambar 640×480:

Angka-angka ini bersifat perkiraan orde magnitudo. Eksekusi nyata dapat menyimpang ±50% tergantung pada resolusi gambar, I/O dataset, threading dataloader, dan SKU GPU yang tepat. Angka-angka ini berguna sebagai intuisi untuk pertanyaan “apakah eksekusi ini akan memakan waktu satu jam atau satu hari?”, bukan sebagai SLA.

Multi-GPU sangat penting

accelerate launch --num_processes=N adalah cara termudah untuk memangkas waktu pelatihan. Setiap langkah optimizer memproses N × batch_size sampel dalam waktu nyata yang kurang lebih sama dengan satu langkah pada GPU tunggal, sehingga 4 GPU ≈ percepatan 4× untuk eksekusi yang terikat komputasi. Lihat panduan Multi GPU training untuk pengaturan lengkap.

Titik data referensi pada klaster 4×H100 80 GB (accelerate launch --num_processes=4), 5000 langkah, batch 32, AdamW, dataset imstevenpmwork/super_poulain_draft (~50 episode, ~640×480 gambar):

Log pelatihan memisahkan iterasi penuh menjadi dataloading_s (next(dl_iter)), preprocessing_s (konversi gambar dan pipeline kebijakan), serta update_s (pembaruan optimizer). step_s mencakup ketiga bagian tersebut dan menggerakkan samples_per_s. Benchmark di atas dibuat sebelum pemisahan ini, sehingga dataloading_s di dalamnya mencakup pra-pemrosesan.

Jadwal dan checkpoint

Jika Anda mempersingkat pelatihan (misalnya 5k–10k langkah pada dataset kecil), persingkat juga jadwal LR dengan --policy.scheduler_decay_steps≈--steps. Jika tidak, LR akan tetap dekat puncaknya dan tidak pernah meluruh. Hal yang sama berlaku untuk --save_freq.

Di mana untuk dijalankan

VRAM adalah filter pertama. Dalam satu tier, pilih berdasarkan anggaran dan ketersediaan — kolom $–$$$$ bersifat relatif; periksa harga terkini di penyedia yang Anda gunakan.

Hugging Face Pekerjaan

Hugging Face Jobs memungkinkan Anda menjalankan pelatihan pada infrastruktur HF yang dikelola, dengan penagihan per detik, tanpa perlu memiliki GPU. lerobot-train mengirimkan dan mengalirkan pekerjaan untuk Anda — cukup tambahkan --job.target=<flavor> ke perintah pelatihan biasa:

lerobot-train \
  --policy.type=act --dataset.repo_id=<USER>/<DATASET> \
  --policy.repo_id=<USER>/act_<task> \
  --job.target=a10g-large

Catatan:

• Jalankan hf auth login sekali sebelum mengirim, pekerjaan akan berjalan di bawah token Anda.
• --job.target dipetakan ke tabel di atas: t4-small/t4-medium (T4, hanya ACT), l4x1/l4x4 (L4 24 GB), a10g-small/large/largex2/largex4 (A10G 24 GB scaled out), a100-large (A100). Daftarkan katalog saat ini beserta harganya melalui hf jobs hardware, atau lihat https://huggingface.co/docs/hub/jobs.
• Job secara default menggunakan timeout 2d (48 jam). Timpa dengan --job.timeout=4h (atau string durasi valid lainnya) untuk memperpendek atau memperpanjang timeout. Job akan berhenti secara otomatis ketika perintah selesai.
• Untuk panduan lengkap — unggah dataset, streaming checkpoint, melanjutkan run pada job — lihat panduan pelatihan imitation-learning.