သေးငယ်သော x86 Mini AI PC များ
x86 အခြေပြု AI စနစ်များ သေးငယ်သော chassis အတွင်း၌။
| ဓာတ်ပုံ | ထုတ်ကုန် | စျေးနှုန်း | စွမ်းဆောင်ရည် |
|---|
မော်ဒယ်စွမ်းဆောင်ရည်ကို နားလည်ခြင်း
မော်ဒယ်စွမ်းဆောင်ရည်ဆိုသည်မှာ AI မော်ဒယ်တစ်ခုတွင် ပါဝင်သော parameter အရေအတွက်ကို ရည်ညွှန်းပါသည် (ဥပမာ - 70B = ပရမေးတာ ဘီလီယံ ၇၀)။ ပိုကြီးသော မော်ဒယ်များသည် ယေဘုယျအားဖြင့် မှတ်ဉာဏ်နှင့် တွက်ချက်မှုစွမ်းအား ပိုမိုလိုအပ်သော်လည်း ပိုမိုကောင်းမွန်သော ဆင်ခြင်တွေးခေါ်မှုနှင့် ရလဒ်အရည်အသွေးကို ပေးစွမ်းနိုင်ပါသည်။
တိကျမှု (FP16 / FP8 / FP4) သည် မော်ဒယ်စွမ်းဆောင်ရည်တစ်ခုအတွက် လိုအပ်သော မှတ်ဉာဏ်ပမာဏကို သက်ရောက်မှုရှိပါသည်- တိကျမှုနိမ့်သော ဖော်မတ်များသည် အဆင့်ဆင့်လျှော့ချသည်နှင့်အမျှ မှတ်ဉာဏ်လိုအပ်ချက်ကို ထက်ဝက်ခန့် လျော့ချပေးသည် (FP16 → FP8 → FP4)၊ ရလဒ်တိကျမှုအတွက် အနည်းငယ် စျေးပေးရသည်။
| မော်ဒယ်အရွယ်အစား | ပုံမှန်မှတ်ဉာဏ် (FP16) | ပုံမှန်မှတ်ဉာဏ် (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |