GPU
NVIDIA L20 vs H20: Memilih GPU Cloud untuk AI di Jakarta
Tim PETIR · · 4 menit baca
Bagi tim yang menjalankan model AI, pertanyaan pertama biasanya bukan "GPU mana yang paling cepat", melainkan "apakah model saya muat di GPU ini". Kapasitas memori GPU (VRAM) menentukan seberapa besar model yang bisa dijalankan, seberapa panjang konteks yang bisa dilayani, dan berapa banyak pengguna yang bisa dilayani bersamaan.
PETIR menyediakan dua pilihan GPU di region Jakarta: NVIDIA L20 dan NVIDIA H20. Artikel ini membantu Anda memilih di antara keduanya.
Sekilas NVIDIA L20 dan H20
| Aspek | NVIDIA L20 | NVIDIA H20 |
|---|---|---|
| Arsitektur | Ada Lovelace | Hopper |
| Memori per GPU | 48GB GDDR6 | 96GB HBM3 |
| Bandwidth memori | sekitar 864 GB/s | sekitar 4 TB/s |
| Pilihan di PETIR | 1, 2, 4, atau 8 GPU | 1, 2, 4, atau 8 GPU |
| Paling cocok untuk | Inferensi model kecil–menengah, AI serbaguna, rendering | LLM besar, konteks panjang, banyak pengguna bersamaan |
Angka bandwidth adalah perkiraan berdasarkan spesifikasi yang dipublikasikan secara luas.
Kenapa memori GPU paling menentukan
Agar bisa dijalankan dengan cepat, bobot model harus dimuat ke memori GPU. Perkiraan kasarnya adalah jumlah parameter × ukuran per parameter. Pada presisi FP16/BF16 setiap parameter memakai 2 byte, pada kuantisasi 8-bit 1 byte, dan pada 4-bit sekitar 0,5 byte.
| Ukuran model | FP16/BF16 | 8-bit | 4-bit |
|---|---|---|---|
| 7–8 miliar parameter | ±16GB | ±8GB | ±5GB |
| 13–14 miliar parameter | ±28GB | ±14GB | ±8GB |
| 32–34 miliar parameter | ±68GB | ±34GB | ±17GB |
| 70 miliar parameter | ±140GB | ±70GB | ±35GB |
Angka di atas hanya untuk bobot model. Saat melayani permintaan, GPU juga membutuhkan memori untuk KV cache, yang membesar seiring panjang konteks dan jumlah pengguna bersamaan. Sisakan ruang yang cukup, terutama untuk aplikasi chat dengan konteks panjang.
Memetakan model ke konfigurasi GPU
- 1x L20 (48GB): model 7–14 miliar parameter pada FP16, atau model sekitar 32 miliar parameter yang dikuantisasi ke 8-bit atau 4-bit.
- 1x H20 (96GB): model sekitar 32 miliar parameter pada FP16, atau model 70 miliar parameter yang dikuantisasi ke 4-bit dengan ruang KV cache yang lega.
- 2x H20 atau 4x L20 (192GB): model 70 miliar parameter pada FP16.
- 8x H20 (768GB): model yang jauh lebih besar, misalnya model mixture-of-experts berukuran ratusan miliar parameter dengan kuantisasi.
Saat model dibagi ke beberapa GPU (tensor parallelism), framework inferensi seperti vLLM atau TensorRT-LLM menangani pembagiannya.
Bandwidth memori dan kecepatan respons
Pada inferensi LLM, setiap token yang dihasilkan mengharuskan GPU membaca bobot model dari memori. Karena itu, kecepatan menghasilkan token sangat dipengaruhi bandwidth memori. Dengan bandwidth sekitar 4 TB/s, H20 unggul jelas untuk model besar dan untuk melayani banyak permintaan sekaligus. Untuk model kecil yang muat nyaman di 48GB, L20 sering kali menjadi pilihan yang lebih hemat.
Kapan memilih L20
- Model Anda berukuran hingga belasan miliar parameter, atau lebih besar dengan kuantisasi.
- Beban kerja AI serbaguna: embedding, computer vision, speech-to-text, atau model generatif gambar.
- Fine-tuning ringan seperti LoRA pada model berukuran kecil.
- Rendering dan pekerjaan grafis 3D. L20 berbasis arsitektur Ada Lovelace, yang juga dipakai GPU grafis NVIDIA.
- Anggaran menjadi pertimbangan utama. GPU L20 di PETIR mulai Rp 28.166.320 per bulan untuk 1 GPU.
Kapan memilih H20
- Model membutuhkan lebih dari 48GB memori per GPU.
- Anda menjalankan LLM berukuran 70 miliar parameter atau lebih.
- Aplikasi membutuhkan konteks panjang, misalnya analisis dokumen atau RAG dengan banyak sumber.
- Banyak pengguna mengakses model bersamaan sehingga throughput menjadi prioritas.
Satu GPU atau multi-GPU?
Ada dua alasan memakai lebih dari satu GPU: model tidak muat di satu GPU, atau Anda membutuhkan throughput lebih tinggi dengan menjalankan beberapa salinan model. Di PETIR, L20 dan H20 tersedia dalam konfigurasi 1, 2, 4, dan 8 GPU. Untuk kebutuhan paling besar tersedia juga instance bare metal 8 GPU, dan beberapa tipe H20 dilengkapi storage lokal 4x 3.84TB untuk dataset dan checkpoint model.
Keuntungan GPU cloud di Jakarta
- Tanpa investasi hardware di depan. Anda tidak perlu membeli server GPU atau menyiapkan listrik dan pendinginannya.
- Dekat dengan pengguna di Indonesia. Instance berjalan di region Asia Tenggara - Jakarta.
- Langganan bulanan. Biaya terprediksi dan mudah dianggarkan.
Masih menimbang antara GPU cloud dan jenis server lain? Baca perbedaan VPS, bare metal, colocation, dan GPU cloud.
Pertanyaan yang sering diajukan
Apakah H20 selalu lebih baik daripada L20?
Tidak selalu. H20 unggul untuk model besar dan beban tinggi berkat memori 96GB dan bandwidth yang jauh lebih besar. Namun jika model Anda muat nyaman di 48GB, L20 bisa memberi hasil yang memadai dengan biaya lebih rendah.
Berapa GPU yang dibutuhkan untuk model 70B?
Pada presisi FP16, bobot model 70B membutuhkan sekitar 140GB, sehingga 2x H20 atau 4x L20 (masing-masing 192GB) adalah titik awal yang wajar. Dengan kuantisasi 4-bit, model 70B bisa berjalan di 1x H20.
Di mana daftar harga GPU lengkap?
Semua tipe instance L20 dan H20 beserta harganya ada di halaman sewa GPU server.