CP v2

Tag: Inferencija

  • JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    Jungtinės Karalystės puslaidininkių startuolis „Fractile“ pritraukė apie 200 mln. eurų B serijos investiciją, siekdamas kurti naujos kartos aparatinę įrangą dirbtinio intelekto inferencijai. Bendrovė teigia, kad augant didelių kalbos modelių panaudojimui, pagrindiniu ribojimu tampa ne vien mokymas, o laikas ir kaina, reikalingi rezultatams generuoti dideliu mastu.

    Investicijų raundui vadovavo keli rizikos kapitalo fondai, o gautos lėšos bus nukreiptos DI lustų ir sistemų kūrimui bei komandų plėtrai. Įmonė įkurta 2022 metais ir veikia su ambicija spręsti problemą, kurią technologijų rinkoje vis dažniau įvardija kaip inferencijos „butelio kaklelį“.

    Kas yra inferencijos problema?

    Inferencija – tai etapas, kai jau išmokytas DI modelis realiu laiku generuoja atsakymus: apdoroja užklausą, atlieka skaičiavimus ir pateikia rezultatą. Šis procesas tiesiogiai lemia naudotojo patirtį, paslaugos kainą ir tai, ar DI sprendimas apskritai ekonomiškai apsimoka dideliems srautams.

    Pastaruoju metu modeliai vis dažniau taikomi sudėtingesnėms užduotims, kurioms reikia ilgesnių generuojamų atsakymų ir didesnių kontekstų. Kuo daugiau teksto modelis turi „išlaikyti galvoje“ ir sugeneruoti, tuo labiau didėja skaičiavimų, atminties ir energijos sąnaudos.

    „Fractile“ teigia, kad riba jau čia

    Bendrovės vadovas ir įkūrėjas Walteris Goodwinas akcentuoja, kad pažangiausi DI modeliai jau pasiekė tašką, kai lemiamu veiksniu tampa laikas nuo užklausos iki galutinio atsakymo. Jo teigimu, ilgėjant generuojamoms sekoms ir didėjant užduočių sudėtingumui, dabartinė aparatinė įranga vis dažniau neleidžia išlaikyti reikiamo greičio už priimtiną kainą.

    „Mes viską pastatėme ant išvados, kad norint realiai atverti šią paslėptą vertę ir padaryti greitį įmanomą dideliu mastu, reikia iš esmės perkurti aparatinę įrangą, ant kurios veikiame su pažangiausiais DI modeliais“, – sakė Walteris Goodwinas.

    „Inferencija yra ir DI industrijos pajamų variklis, ir veiksnys, ribojantis jos plėtrą“, – sakė Walteris Goodwinas.

    „Techninės ir ekonominės inferencijos greičio ribos, ypač atminties pralaidumas, kuris dabartinėse architektūrose nespėja augti, yra tai, kas stabdo progresą“, – sakė Walteris Goodwinas.

    Ką keičia specializuoti DI lustai

    DI rinkoje pastaraisiais metais ryškėja tendencija kurti vis labiau specializuotą aparatinę įrangą konkrečioms užduotims, ypač inferencijai. Praktikoje tai reiškia bandymą sumažinti energijos sąnaudas vienam atsakymui, padidinti našumą ir geriau išnaudoti atminties pralaidumą, nes būtent duomenų judėjimas tarp atminties ir skaičiavimo blokų dažnai tampa brangiausia dalimi.

    „Fractile“ nurodo dirbanti ties lustų mikroarchitektūra, sistemų kūrimu ir gamybos procesų inovacijomis. Bendrovė taip pat pabrėžia, kad tikslas nėra vien pagreitinti dabartinius scenarijus, o atverti naujus: ilgesnes užduočių grandines, sudėtingesnį planavimą, didesnės apimties analizę ir kitus DI pritaikymus, kuriuos šiandien riboja kaina ir trukmė.

    Įmonė skelbia plečianti komandas Londone, Bristolyje, San Fransiske ir Taipėjuje. Tokia geografija atspindi puslaidininkių sektoriaus realybę, kur pažangių lustų kūrimas remiasi tarptautinėmis talentų, projektavimo ir gamybos grandinėmis.

  • „Nebius“ perka JAV DI inferencijos startuolį „Eigen AI“ už apie 600 mln. eurų: ką tai keičia rinkoje

    „Nebius“ perka JAV DI inferencijos startuolį „Eigen AI“ už apie 600 mln. eurų: ką tai keičia rinkoje

    Europos DI infrastruktūros bendrovė „Nebius“ pranešė įsigijusi JAV startuolį „Eigen AI“, kuris specializuojasi atvirojo kodo DI modelių našumo gerinime. Sandoris, kaip skelbiama, siekia apie 595 mln. eurų ir bus atsiskaityta grynaisiais bei akcijomis.

    Amsterdame įsikūrusi „Nebius“ valdo ir vysto duomenų centrus, kuriuose diegiami GPU spartintuvai, o jų skaičiavimo pajėgumai nuomojami DI ir verslo klientams. Tokį modelį rinka dažnai vadina neocloud, kai alternatyvūs debesų paslaugų teikėjai koncentruojasi į DI darbo krūvius ir specializuotą programinę įrangą.

    Kodėl inferencija tampa svarbiausia?

    „Eigen AI“ technologija orientuota į inferenciją, kai apmokytas modelis taikomas realiems duomenims ir generuoja atsakymus ar sprendimus. Pastaraisiais metais būtent inferencija sparčiai auga, nes įmonėms vis dažniau reikia ne apmokyti modelius nuo nulio, o patikimai ir pigiau juos paleisti produktuose bei vidiniuose procesuose.

    „Nebius“ teigimu, „Eigen AI“ sprendimai leidžia efektyviau išnaudoti vadinamuosius žetonus, tai yra modelio apdorojamus duomenų vienetus, nuo kurių tiesiogiai priklauso skaičiavimo sąnaudos. Praktikoje tai reiškia didesnį pralaidumą ir mažesnę vienos užklausos kainą be papildomo inžinerinio sudėtingumo klientų pusėje.

    Kas tiksliai perkama kartu su technologija?

    Kartu su produktu „Nebius“ įsigyja ir maždaug 20 žmonių „Eigen AI“ komandą, kurią bendrovė apibūdino kaip aukšto lygio inferencijos tyrėjų ir inžinierių grupę. Skelbiama, kad „Eigen AI“ įkūrėjai įkurs „Nebius“ inžinerijos ir tyrimų padalinį San Francisko įlankos regione.

    Startuolio įkūrėjai Ryanas Hanrui Wangas ir Wei-Chen Wangas anksčiau dirbo MIT HAN Lab, kuriam vadovauja profesorius Song Han, žinomas modelių efektyvumo ir skaičiavimo optimizavimo tyrimais. Tokia kompetencija rinkoje ypač vertinama, nes našumo didinimas dažnai priklauso ne nuo vieno algoritmo, o nuo gilaus aparatinės ir programinės įrangos suderinimo.

    Integracija į „Nebius“ produktus ir poveikis klientams

    „Nebius“ nurodo, kad „Eigen AI“ optimizavimo sluoksnis bus integruotas tiesiai į „Nebius Token Factory“ ir taip turėtų mažinti inferencijos siaurąsias vietas, susijusias su atmintimi, maršrutizavimu ir skaičiavimu. Tokie trikdžiai dažnai pasireiškia, kai modeliai didėja, o užklausų srautai tampa nepastovūs ir sunkiai prognozuojami.

    „Integruodama „Eigen AI“ optimizavimo sluoksnį tiesiai į „Nebius Token Factory“, „Nebius“ pašalina šį butelio kaklelį per visą gyvavimo ciklą“, – teigė bendrovė.

    Įmonės vertinimu, tai klientams turėtų reikšti greitesnį sprendimų diegimą į gamybą, geresnę vieneto ekonomiją ir galimybę sparčiau pereiti prie naujų modelių. Praktinis poveikis bus ypač aktualus įmonėms, kurios diegia DI klientų aptarnavime, paieškoje, turinio generavime, duomenų analizėje ir automatizuotame dokumentų apdorojime.