NVIDIA မှ "Blackwell" B200 နှင့် GB200 AI GPU များကိုကြေညာ

Image: Tom's Hardware

NVIDIA ဟာလက်ရှိမှာ AI လောကကိုဦးဆောင်ထားပြီး သူ့ရဲ့ data center GPU တွေကို လူတိုင်းလိုချင်နေကြတာပါ။ သူ့ရဲ့ Hopper H100 နဲ့ GH200 Grace Hopper တို့ဟာဆိုရင် ဝယ်လိုအားအရမ်းကောင်းနေပြီး ကမ္ဘာ့စွမ်းအားအကောင်းဆုံး စူပါကွန်ပျုတာတွေကိုစွမ်းအားပေးနေတာပါ။ အခုဆိုရင် GTC 2024 ပွဲမှာ NVIDIA အနေနဲ့ Hopper ကိုဆက်ခံမယ့် မျိုးဆက်သစ် data center GPU ဖြစ်တဲ့ Blackwell B200 ကိုမိတ်ဆက်ခဲ့ကာ အဆိုပါ B200 ဟာဆိုရင် ယခင်မျိုးဆက် data center နဲ့ AI GPU တွေထက် သိသိသာသာစွမ်းအားပိုကောင်းလာပါလိမ့်မယ်။

Image: Techpowerup

Blackwell architecture နဲ့ B200 GPU ဟာ H100/H200ကိုအစားထိုးမှာဖြစ်သလို Grace CPU architecture နဲ့ Blackwell GPU တွဲဖက်ထားတဲ့ Grace Blackwell GB200 စူပါချစ်ပ်တစ်ခုလည်းရှိမှာပါ။ Nvidia အနေနဲ့ consumer အဆင့် Blackwell GPU တွေထုတ်လာမယ်ဆိုပေမယ့် ၂၀၂၅ခုနှစ်လောက်မှထွက်လာမှာဖြစ်သလို data center ချစ်ပ်တွေနဲ့ အတော်လေးကွဲပြားနေမှာဖြစ်ပါတယ်။

NVIDIA Blackwell GPU

B200 ဟာ ထရန်စ္စတာ‌ပေါင်း ၂၀၈ဘီလီယံပါဝင်လို့ ထရန်စ္စတာ ၈၀ဘီလီယံသာပါဝင်တဲ့လက်ရှိ H100/H200 ထက် ထရန်စ္စတာ၂ဆကျော်ပါဝင်နေပါတယ်။ AI စွမ်းဆောင်ရည်ပိုင်းမှာလည်း GPU တစ်ခုတည်းက 20 petaflops ရှိပြီး H100 GPU တစ်ခုရဲ့ 4 petaflops ထက်၅ဆလောက်ပိုကောင်းနေသလို သူ့မှာပါဝင်တဲ့ 192GB ရှိတဲ့ HBM3e memory ကလည်း bandwidth ဟာ 8 TB/s အထိရှိပါတယ်။

ဒီလိုထူးကဲ့စွမ်းဆောင်ရည်ရှိတဲ့ Blackwell B200 ဟာ ပုံမှန်မြင်နေကြ GPU တွေလို GPU ချစ်ပ်တစ်ခုတည်းမဟုတ်ပဲ GPU ချစ်ပ် ၂ခုကို ပေါင်းစပ်ထားတဲ့ chiplet design ကိုအသုံးချထားပြီး အဆိုပါ ချစ်ပ် ၂ခုဟာ CUDA GPU တစ်ခုတည်းအဖြစ်ဆောင်ရွက်စေမှာဖြစ်ကြောင်း Nvidia ကဆိုပါတယ်။ ချစ်ပ်၂ခုကို 10 TB/s ရှိတဲ့ NV-HBI (Nvidia High Bandwidth Interface) နဲ့ချိတ်ဆက်ထားပြီး ချစ်ပ်တစ်ခုတည်းအဖြစ်ကောင်းစွာလုပ်ဆောင်စေမှာဖြစ်ပါတယ်။

Image: Techpowerup

Nvidia အနေနဲ့ ချစ်ပ်၂ခုကို ပေါင်းစပ်အသုံးပြုခဲ့ရတဲ့ အကြောင်းရင်းကရိုးရှင်းပါတယ်။ Blackwell B200 မှာ လက်ရှိ Hopper H100 နဲ့ Ada Lovelace architecture GPU တွေမှာ အသုံးပြုထားတဲ့ TSMC ရဲ့ 4N process ကို အဆင့်မြှင့်တင်ထားတဲ့ 4NP process node ကို အသုံးပြုသွားမှာဖြစ်ပါတယ်။ မိမိတို့အနေနဲ့ လက်ရှိမှာ 4NP အကြောင်းအသေးစိတ်မသိရသေးပေမယ့် ထရန်စ္စတာသိပ်သည်းမှုအပိုင်းမှာ 4N process ထက်ကြီးကြီးမားတဲ့တိုးတက်မှုရှိမှာမဟုတ်ပါဘူး ဆိုလိုတာက သင့်အနေနဲ့ စွမ်းဆောင်ရည်ပိုကောင်းတဲ့ ချစ်ပ်ဖြစ်လာဖို့ GPU die အရွယ်အစားကိုတိုးမြှင့်ပေးဖို့လိုပါတယ်။ လက်ရှိ H100 ဟာ die size အရွယ်အစားအနေနဲ့ 814 mm2 ရှိလို့အရွယ်အစားကြီးမားနေပြီးသားဖြစ်ကာ သီအိုရီအရ အလွန်ဆုံး 858 mm2 အထိသာအများဆုံးဖြစ်နိုင်တာပါ။

B200 မှာ အရွယ်အစားပြည့် ချစ်ပ်၂ခုကိုအသုံးပြုမယ်ဆိုပေမယ့် die အရွယ်အစားကိုအတိကျကိုဖော်ပြထားခြင်းမရှိပါဘူး။ die တစ်ခုခြင်းစီမှာ 24GB စီ HBM3e ‌၄လွှာပါဝင်ပြီး bandwidth 1Tb/s ရှိကာ 1024 bit interface စီရှိမှာပါ။ H100 မှာတုန်းက 16GB စီရှိတဲ့ HBM3 ၆လွှာရှိခဲ့လို့ B200 မှာ memory interface အတွက် die ဧရိယာသတ်မှတ်ပေးစရာ ပိုနည်းသွားပါတယ်။

Image: Techpowerup

စွမ်းဆောင်ရည်ပိုင်းအနေနဲ့ Blackwell B200 ဟာ FP4 format မှာ သီအိုရီအရ အများဆုံး 20 petaflops ရနိုင်ပြီး FP4 ဆိုတာ Hopper H100 ရဲ့ FP8 format ထက်၂ဆအလိုလိုများနေပြီးသားမို့ သီအိုရီအရ FP8 အခြင်းခြင်းသာဆိုရင် ၂.၅ဆ သာလွန်မှာဖြစ်သလို ဒီရလဒ်ဟာ B200 ရဲ့ ချစ်ပ်၂ခုကိုပေါင်းစပ်ထားတာကြောင့် ဒီလောက်ကွာခြားနေရတာဖြစ်ပါတယ်။ အခြား format တွေအနေနဲ့ဆိုရင်လည်း B200 ဟာ H100 ထက် ၂.၅ဆ သာလွန်မယ်လို့အကြမ်းဖျင်းယူဆနိုင်ပါတယ်။

ဒါကြောင့် B200 မှာအသုံးပြုထားတဲ့ 4NP process ဟာ သီအိုရီအရ H100ရဲ့ 4N process ထက် ၁.၂၅ဆခန့်သာလွန်မယ်လို့ဆိုနိုင်ပါတယ်။

Grace-Blackwell superchip

Nvidia ဟာ ARM Neoverse V2 CPU Core ၇၂ခုပါဝင်တဲ့ Grace CPU တစ်ခုနဲ့ Blackwell B200 ၂ခုပါဝင်တဲ့ GB200 Grace-Blackwell superchip ကိုလည်းမိတ်ဆက်ခဲ့ပါသေးတယ်။

Image: Techpowerup

Image: Techpowerup

GB200 တွေဟာ NVIDIA GB200 NVL72 အတွက်အရေးပါတဲ့ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး ၄င်းဟာ တွက်ချက်မှုများစွာလိုအပ်တဲ့အလုပ်တွေအတွက် multi-node၊ liquid cooled ထားတဲ့ rack အဆင့် system ဖြစ်ပါတယ်။ GB200 NVL72 မှာ Grace-Blackwell စူပါချစ်ပ် ၃၆ခုပါလို့ Grace CPU ၃၆ခုနဲ့ Blackwell GPU ၇၂ခုပါဝင်ကာ ဒီချစ်ပ်တွေကို NVIDIA ရဲ့ 5th Gen NVLink နဲ့ချိတ်ဆက်ပေးထားပါတယ်။

ဒါတင်မက hyper scale အဆင့် cloud AI တွေအတွက် NVIDIA BlueField-3 data processing unit တွေလည်းပါဝင်ပါတယ်။ GB200 NVL72 ဟာ LLM workload တွေမှာ အရေအတွက်တူညီတဲ့ H100 GPU အသုံးပြုတာထက် အဆ၃၀ အထိပိုမြန်ပြီး စွမ်းအင်သုံးစွဲမှု ၂၅ဆအထိလျော့ချပေးနိုင်ပါတယ်။

ဒီ platform ဟာ GPU တစ်ခုတည်းအဖြစ်အလုပ်လုပ်နိုင်လို့ AI စွမ်းဆောင်ရည်မှာ 1.4 exaflops နဲ့ Memory 30TB အထိရရှိမှာဖြစ်ကာ နောက်ဆုံးပေါ် DGX SuperPOD အတွက် အခြေခံအုတ်ချပ်တွေဖြစ်လာပါမယ်။

NVIDIA အနေနဲ့ AI platform တွေအတွက် x86 CPU(CPU ၂ခုဖြစ်နိုင်) နဲ့ B200 GPU ၈ခုကို server node တစ်ခုတည်းအဖြစ် အသုံးပြုထားတဲ့ HGX B200 ကိုလည်းမိတ်ဆက်ထားပါတယ်။ TDP 1000W ရှိတဲ့ အဆိုပါ GPU တွေဟာ FP4 စွမ်းဆောင်ရည်မှာ 18 petaflops ရှိလို့ GB200 ထဲက GPU တွေထက် ၁၀%ပိုနှေးမှာပါ။

နောက်ဆုံးတစ်ခုကတော့ HGX B100 ဖြစ်ပြီး HGX B200 လို x86 CPU တစ်ခုနဲ့ B100 GPU ၈ခုနဲ့ဆိုပေမယ့် လက်ရှိ HGX H100 တွေနေရာမှာအစားထိုးရလွယ်ကူအောင်ဖန်တီးထားပါတယ်။ GPU ရဲ့ TDP တွေကိုလည်း H100 နဲ့ တူညီအောင် 700W အထိလျော့ချပေးထားပါတယ်။

Image: Techpowerup

NVIDIA ဟာ B100၊ B200၊ GB200 နဲ့ ၄င်းတို့ရဲ့အခြားမျိုးကွဲတွေကို ဒီနှစ်နောက်ပိုင်းမှာ စတင်ဖြန့်ချီမယ်လို့မျှော်မှန်းထားပါတယ်။

Source: Tom's Hardware, Techpowerup and Videocardz

#EnThueTech
#News
#AI
#HPC