Moonshot AI Kimi K3 atviro svorio modelis buvo nuskaitytas beveik visiškai pagal jo parametrų skaičių nuo pat jo pasirodymo liepos 16 d. Su 2,8 trilijono parametrų tai yra didžiausias iki šiol išleistas atviro svorio modelis. Modelių dydžiai paprastai sugrupuojami į grubius skliaustus ir 2,8 trilijono raundų į tai, ką pramonė vadina 3T klase. Į pakopą anksčiau nebuvo įtrauktas joks atvirai prieinamas modelis.
Natūrali išvada yra tokia, kad „Moonshot“ sukūrė savo kelią JAV skaičiavimo apribojimams. Pačios įmonės techninis tinklaraštis siūlo kai ką konkretesnio: K3 ne tiek vengia suvaržymų, kiek perkelia jį į kitą vietą, beveik kiekviename dizaino sluoksnyje prekiauja atmintimi.
Šią prekybą verta suprasti, nes skaičiavimas ir atmintis nėra sukeičiami apribojimai ir jie nėra vienodai prieinami Kinijos laboratorijai.
Kodėl Kimi K3 atviro svorio modelis yra atminties problema
Du skirtingi dalykai lemia, kiek kainuoja eksploatuoti didelį modelį. Vienas iš jų – kiek apskaičiuojama mašina, kad pagamintų kiekvieną žodį. Kitas dalykas yra tai, kiek modelio turi būti paruošta ir akimirksniu pasiekiama visą jo veikimo laiką. Pirmasis yra skaičiavimas. Antrasis yra atmintis. Lustų eksporto kontrolė iš pradžių stipriai suspaudė Kiniją, o „Moonshot“ dizainas atrodo kaip nuolatinis bandymas išleisti mažiau pinigų.
Pagrindinis žingsnis yra technika, vadinama ekspertų mišiniu. Užuot paleidęs visą modelį kiekvienam žodžiui, K3 suskirsto save į 896 specializuotas dalis ir vienu metu iškviečia tik 16 iš jų, ty apie 1,8 % viso. Skaičiavimas vienam žodžiui smarkiai sumažėja. Atminties sąskaita visiškai nejuda, nes visi 2,8 trilijonai parametrų vis tiek turi būti apkrauti ir paruošti, jei jie būtų vadinami toliau.
Taigi „Moonshot“ tiesiogiai sekė tą sąskaitą. Jis išmokė K3 dirbti keturių bitų tikslumu kiekvienam parametrui vietoj įprastų šešiolikos – metodą, žinomą kaip kvantavimo suvokimo mokymas, kurį bendrovė taikė nuo koregavimo etapo ir sako pasirinkusi „dėl plataus aparatinės įrangos suderinamumo“ – frazę, kurią verta pristabdyti, nes ji skaitoma kaip apsidraudimas nuo silicio, kuris nėra Nvidia. Sutaupoma didelė. Nepriklausoma leidimo analizė rodo, kad tokio formato modelis yra maždaug 1,4 TB, palyginti su 5,6 TB, kurio jam reikėtų visiškai tiksliai.
Antrasis pakeitimas „Kimi Delta Attention“ skirtas kitokioms atminties sąnaudoms. Kadangi modelis veikia per labai ilgą dokumentą, jis kaupia veikiančią visko, ką jau perskaitė, saugyklą. Esant K3 reklamuojamam milijono žetonų limitui, keli tūkstančiai puslapių, didžiausia atmintyje tampa ta parduotuvė, o ne pats modelis.
Moonshot neįprastai tiesiogiai kalba apie komercinį akcijų paketą čia. Jis įtraukė kodą talpykloje prie atvirojo kodo aptarnavimo projekto vLLM ir teigia, kad šis derinys leidžia konkurencingai kainuoti K3, nepaisant modelio dydžio. Moonshot rekomenduoja paleisti K3 per 64 ar daugiau greitintuvų, sujungtų pakankamai glaudžiai, kad veiktų kaip vienas baseinas.
Tai yra tas pats požiūris, kaip ir Huawei CloudMatrix sistemos, ir nurodo, koks yra tikrasis sprendimas. Atmintis gali būti surinkta iš daugybės atskirai nepastebimų lustų. Mokymo pažymių skaičiavimo negalima surinkti taip pat.
Tinklaraštis neatsako, ar toks susijungimas vyksta naudojant kinišką silicį. „Moonshot“ lusto lygio testai buvo vykdomi naudojant „Nvidia H200S“ ir tai, ką ji apibūdina tik kaip „GGPPU iš alternatyvaus pardavėjo“, kurio įvardinti atsisako. Kiti rezultatai yra lyginami su Nvidia L20, sumažinta kortele, parduodama Kinijoje pagal eksporto taisykles.
Tinklaraštyje nenurodoma, kur yra H200 aparatinė įranga, o JAV rūmai sausio mėnesį priėmė įstatymo projektą, kuriuo siekiama panaikinti debesų nuomos jūroje spragas, leidusias Kinijos įmonėms nuotoliniu būdu pasiekti ribotus greitintuvus. Priežastis, kodėl tai svarbu, yra ta, kad atmintis, o ne apdorojimo galia, yra ta vieta, kur Kinijos mikroschemų pramonė yra labiausiai atsilikusi.
2025 m. rugpjūčio mėn. vykusiose prekybos derybose Pekinas paprašė palengvinti didelio pralaidumo atminties apribojimus, o ne litografijos įrankius ar TSMC prieigą – tai teisingas signalas, kas, pareigūnų nuomone, iš tikrųjų yra privaloma. Prognozuojama, kad šiais metais šios atminties talpa bus maždaug du milijonai, kurių užteks maždaug 250 000–300 000 „Huawei Ascend 910C“ klasės lustų, o SMIC plokštelių talpa yra daugiau nei milijonui.
Ką įmonės iš tikrųjų gali įdiegti
Šio regiono įmonėms praktinis klausimas yra ne tai, ar K3 užima pirmaujančių vietų sąrašą. Tai, ar tokio dydžio atviro svorio modelis apskritai yra tinkamas naudoti. Azijos įmonės siekia atvirų svorių dėl trijų priežasčių – kainos, duomenų suverenumo ir regioninės kalbos aprėpties, o bankai ir draudikai visoje Pietryčių Azijoje bando savarankiškai priglobtus atvirus modelius, kad įrašai niekada nepaliktų savo sistemų.
Svoriai nusileidžia liepos 27 d., o bet kuri organizacija, galinti sau leisti techninę įrangą, galės nemokamai atsisiųsti, modifikuoti ir paleisti K3 savo sienose. Klausimas, kiek gali. „Moonshot“ rekomenduoja aptarnauti modelį per 64 ar daugiau greitintuvų, sujungtų kaip vieną telkinį, o vien svoriai siekia maždaug 1,4 TB tokiu formatu, kokiu jis pristatomas, remiantis nepriklausoma analize, prieš atmintį, reikalingą ilgam dokumentui apdoroti.
Tai yra duomenų centro įsipareigojimas, o ne serverio kambarys. Daugeliui įmonių praktinis rezultatas yra išsinuomoti tam skirtus pajėgumus, o ne turėti juos. Tai vis dar saugo duomenis šalyje ir pagal sutartis, ko prašo dauguma regioninių reguliavimo institucijų. Nepriklausomybė nuo infrastruktūros teikėjų yra tai, kad daugelis šių pirkėjų pirmiausia pritraukė prie svarstyklių.
Programinė įranga taip pat nėra paruošta. Du pagrindiniai K3 architektūriniai pakeitimai yra pakankamai nauji, kad standartiniai atvirojo kodo įrankiai, skirti paleisti modelius, jų dar nepalaiko, o „Moonshot“ teigia, kad bendradarbiauja su išvadų partneriais ir atvirojo kodo prižiūrėtojais, kad suderintų technines detales prieš išleidžiant. Komandos, planuojančios savarankiškai priglobtą diegimą, turėtų paleidimo datą ir naudojimo datą vertinti kaip skirtingus dalykus.
Kaina taip pat pajudėjo. K3 kainuoja 3 USD už milijoną įvesties žetonų, nukrenta iki 0,30 USD, kai modelis neseniai pamatė tą įvestį, ir 15 USD už milijoną išvesties žetonų. Tai gerokai mažesnė už „Fable 5“ 50 USD už išvestį, bet gerokai viršija „z.ai“ GLM-5.2 (4,40 USD) ir „DeepSeek V4“ už 0,87 USD. K3 nebėra toje biudžeto pakopoje, kurią užėmė jo pirmtakai.
Jis taip pat paleidžiamas su maksimaliomis samprotavimo pastangomis, kaip vienintelis nustatymas, su žemesniais režimais, todėl ilgos samprotavimo grandinės ir bandomi žingsniai greitai susijungia. Įmonės turėtų finansuoti atliktos užduoties išlaidas, o ne sąrašo kainą.
Kas tvirtinama ir kas yra patikrinta
„Arena“ užėmė K3 pirmąją savo „Frontend Code“ įvertinime 1 679 taškais, aplenkdama „Fable 5“ aklųjų kūrėjų testavimo metu, kaip pranešė Tomo aparatinė įranga. Toks rezultatas tikras. Tai taip pat yra vieno domeno etalonas.
Pats „Moonshot“ yra santūresnis nei jo antraštės. Bendrovė teigia, kad bendras K3 našumas vis dar atsilieka nuo Claude Fable 5 ir GPT 5.6 Sol, ir išvardija tris apribojimus: generavimo kokybė gali tapti labai nestabili, jei laidai nesugeba perduoti istorinio mąstymo turinio, modelis gali priimti netikėtus sprendimus vartotojo vardu, kai ketinimas yra dviprasmiškas, ir jis rodo pastebimą vartotojo patirties atotrūkį, palyginti su Sol F56.
Jos pačios išnašose taip pat atskleidžiama, kad „Fable 5“ atmetė 35 % „Moonshot SWE Marathon“ vertinimo užduočių, o tai galėjo turėti įtakos to modelio išmatuotam balui. Visa kita lieka pirmosios šalies pretenzija. Jokio paskelbto K3 numerio negalima nepriklausomai patikrinti, kol svoriai nėra vieši.
Bank of America analitikai, vadovaujami Alexo Liu, savo pastaboje teigė, kad K3 rodo, kad didelio masto parengiamieji mokymai kartu su architektūriniais darbais vis dar gali duoti laipsniškus pavyzdinių Kinijos modelių pokyčius, nepaisant skaičiavimo apribojimų, o tai yra blaivi argumento versija ir artimesnė tinklaraštyje palaikomiems dalykams.
Dėl važiavimo krypties nesiginčijama. Atvirojo svorio modeliai apdorojo 29 % visų žetonų, nukreiptų per Vercel gamybos šliuzą birželio mėn., palyginti su maždaug devintadaliu balandžio mėn., o sudarė mažiau nei 4 % išlaidų. Liepos 27 d., kai sužinome, kiek K3 priklauso tame stulpelyje.
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra „TechEx“ dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais, įskaitant „Cyber Security & Cloud Expo“. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
