Tag: Inferencija

  • Londono startuolis „Fractile“ pritraukė 649 mln. eurų DI lustams ir taikosi į „Nvidia“

    Londone įsikūręs startuolis „Fractile“, kuriantis pažangius lustus ir sistemas dirbtiniam intelektui, pritraukė 649 mln. eurų „Series C“ investiciją. Po šio etapo bendrovės vertė po investicijos siekia 6,3 mlrd. eurų.

    Apie sandorį praneša „EU-Startups“. Investiciją bendrai vedė „Thrive Capital“, „Founders Fund“, „Lightspeed“ ir „Redpoint“, o prie raundo prisijungė ir daugiau investuotojų, tarp jų „CapitalG“, „DST Global“, „BlackRock“, „Bain Capital Ventures“ bei kiti.

    „Fractile“ tikslas – į rinką atvesti DI inferencijai skirtą aparatinę įrangą. Inferencija – tai procesas, kai jau apmokyti DI modeliai generuoja atsakymus, prognozes ar kitus rezultatus, o didėjant modelių sudėtingumui šiai daliai reikia vis daugiau skaičiavimo resursų.

    Bendrovė teigia, kad didžiausias pažangaus DI apribojimas vis dažniau tampa ne „protas“, o laikas ir kaina, kurių reikia naudingiems rezultatams gauti. Dėl to įmonė kuria specializuotus inferencijos procesorius, siekdama didesnio greičio ir efektyvumo.

    Kas yra „Fractile“ ir ką ji kuria

    „Fractile“ įkurta 2022 metais Walterio Goodwino ir Yuhango Songo, pagrindinė būstinė yra Londone, o veikla vykdoma ir Bristolyje. W. Goodwinas, einantis vadovo pareigas, anksčiau Oksfordo universitete atliko doktorantūros tyrimus robotikos ir dirbtinio intelekto srityje.

    Įmonė vysto procesorius, specialiai pritaikytus DI inferencijai. Pastaruoju metu, augant vadinamiesiems samprotaujantiems modeliams ir autonominiams DI agentams, didėja poreikis greičiau apdoroti užklausas ir generuoti išvestis.

    Pagrindinė „Fractile“ technologijos idėja – trimačio tipo architektūra, kai dinaminė operatyvioji atmintis (DRAM) sudedama tiesiai ant skaičiavimo logikos. Toks sprendimas turėtų sumažinti laiką ir energiją, reikalingą duomenims perkelti tarp atminties ir skaičiavimo komponentų – tai laikoma vienu iš našumo „butelio kakliukų“ esamuose DI spartintuvuose.

    Pasak bendrovės, ši architektūra gali užtikrinti gerokai didesnį atminties pralaidumą nei įprasta didelės spartos atmintis (HBM) ir suteikti didesnę talpą nei statinė operatyvioji atmintis (SRAM). Tarp įvardijamų ambicijų – tūkstančių žetonų per sekundę inferencijos spartos siekis net ir su dideliais modeliais bei plačiais konteksto langais.

    Investicijų bumas Europoje

    „Fractile“ raundas vyksta 2026 metais Europoje išaugus investicijoms į specializuotą DI skaičiavimo aparatinę įrangą ir infrastruktūrą. Straipsnyje minimi ir kiti to paties laikotarpio sandoriai, susiję su inferencijos lustais, individualiai pritaikytu siliciu ar optiniais tinklais DI duomenų centrams.

    Šie sandoriai rodo, kad konkurencija DI puslaidininkių rinkoje aštrėja, o „Nvidia“ išlieka vienu pagrindinių procesorių tiekėjų pažangių DI modelių mokymui ir veikimui. Įmonės, kuriančios inferencijos spartintuvus, ieško greitesnių ir energiškai efektyvesnių alternatyvų.

    Pažymima, kad „Fractile“ gegužę jau buvo pritraukusi 198 mln. eurų „Series B“ investiciją, o 2024 metais – apie 13 mln. eurų pradiniame etape. Dabartinis finansavimas turėtų pagreitinti kelią iki komercinio produkto.

    Kada pasirodys pirmasis lustas

    Kitas svarbiausias „Fractile“ etapas – komercinis aparatinės įrangos diegimas. Bendrovė planuoja pristatyti pirmąjį komercinį lustą 2027 metais.

    Įmonės žadami našumo ir efektyvumo patobulinimai, kaip nurodoma, dar turės būti patvirtinti platesniu realios gamybos ir naudojimo mastu. Vis dėlto pritraukta suma rodo, kad investuotojai mato potencialą DI inferencijos „butelio kakliuką“ spręsti nauja aparatinės įrangos architektūra.

  • JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    Jungtinės Karalystės puslaidininkių startuolis „Fractile“ pritraukė apie 200 mln. eurų B serijos investiciją, siekdamas kurti naujos kartos aparatinę įrangą dirbtinio intelekto inferencijai. Bendrovė teigia, kad augant didelių kalbos modelių panaudojimui, pagrindiniu ribojimu tampa ne vien mokymas, o laikas ir kaina, reikalingi rezultatams generuoti dideliu mastu.

    Investicijų raundui vadovavo keli rizikos kapitalo fondai, o gautos lėšos bus nukreiptos DI lustų ir sistemų kūrimui bei komandų plėtrai. Įmonė įkurta 2022 metais ir veikia su ambicija spręsti problemą, kurią technologijų rinkoje vis dažniau įvardija kaip inferencijos „butelio kaklelį“.

    Kas yra inferencijos problema?

    Inferencija – tai etapas, kai jau išmokytas DI modelis realiu laiku generuoja atsakymus: apdoroja užklausą, atlieka skaičiavimus ir pateikia rezultatą. Šis procesas tiesiogiai lemia naudotojo patirtį, paslaugos kainą ir tai, ar DI sprendimas apskritai ekonomiškai apsimoka dideliems srautams.

    Pastaruoju metu modeliai vis dažniau taikomi sudėtingesnėms užduotims, kurioms reikia ilgesnių generuojamų atsakymų ir didesnių kontekstų. Kuo daugiau teksto modelis turi „išlaikyti galvoje“ ir sugeneruoti, tuo labiau didėja skaičiavimų, atminties ir energijos sąnaudos.

    „Fractile“ teigia, kad riba jau čia

    Bendrovės vadovas ir įkūrėjas Walteris Goodwinas akcentuoja, kad pažangiausi DI modeliai jau pasiekė tašką, kai lemiamu veiksniu tampa laikas nuo užklausos iki galutinio atsakymo. Jo teigimu, ilgėjant generuojamoms sekoms ir didėjant užduočių sudėtingumui, dabartinė aparatinė įranga vis dažniau neleidžia išlaikyti reikiamo greičio už priimtiną kainą.

    „Mes viską pastatėme ant išvados, kad norint realiai atverti šią paslėptą vertę ir padaryti greitį įmanomą dideliu mastu, reikia iš esmės perkurti aparatinę įrangą, ant kurios veikiame su pažangiausiais DI modeliais“, – sakė Walteris Goodwinas.

    „Inferencija yra ir DI industrijos pajamų variklis, ir veiksnys, ribojantis jos plėtrą“, – sakė Walteris Goodwinas.

    „Techninės ir ekonominės inferencijos greičio ribos, ypač atminties pralaidumas, kuris dabartinėse architektūrose nespėja augti, yra tai, kas stabdo progresą“, – sakė Walteris Goodwinas.

    Ką keičia specializuoti DI lustai

    DI rinkoje pastaraisiais metais ryškėja tendencija kurti vis labiau specializuotą aparatinę įrangą konkrečioms užduotims, ypač inferencijai. Praktikoje tai reiškia bandymą sumažinti energijos sąnaudas vienam atsakymui, padidinti našumą ir geriau išnaudoti atminties pralaidumą, nes būtent duomenų judėjimas tarp atminties ir skaičiavimo blokų dažnai tampa brangiausia dalimi.

    „Fractile“ nurodo dirbanti ties lustų mikroarchitektūra, sistemų kūrimu ir gamybos procesų inovacijomis. Bendrovė taip pat pabrėžia, kad tikslas nėra vien pagreitinti dabartinius scenarijus, o atverti naujus: ilgesnes užduočių grandines, sudėtingesnį planavimą, didesnės apimties analizę ir kitus DI pritaikymus, kuriuos šiandien riboja kaina ir trukmė.

    Įmonė skelbia plečianti komandas Londone, Bristolyje, San Fransiske ir Taipėjuje. Tokia geografija atspindi puslaidininkių sektoriaus realybę, kur pažangių lustų kūrimas remiasi tarptautinėmis talentų, projektavimo ir gamybos grandinėmis.

  • „Nebius“ perka JAV DI inferencijos startuolį „Eigen AI“ už apie 600 mln. eurų: ką tai keičia rinkoje

    „Nebius“ perka JAV DI inferencijos startuolį „Eigen AI“ už apie 600 mln. eurų: ką tai keičia rinkoje

    Europos DI infrastruktūros bendrovė „Nebius“ pranešė įsigijusi JAV startuolį „Eigen AI“, kuris specializuojasi atvirojo kodo DI modelių našumo gerinime. Sandoris, kaip skelbiama, siekia apie 595 mln. eurų ir bus atsiskaityta grynaisiais bei akcijomis.

    Amsterdame įsikūrusi „Nebius“ valdo ir vysto duomenų centrus, kuriuose diegiami GPU spartintuvai, o jų skaičiavimo pajėgumai nuomojami DI ir verslo klientams. Tokį modelį rinka dažnai vadina neocloud, kai alternatyvūs debesų paslaugų teikėjai koncentruojasi į DI darbo krūvius ir specializuotą programinę įrangą.

    Kodėl inferencija tampa svarbiausia?

    „Eigen AI“ technologija orientuota į inferenciją, kai apmokytas modelis taikomas realiems duomenims ir generuoja atsakymus ar sprendimus. Pastaraisiais metais būtent inferencija sparčiai auga, nes įmonėms vis dažniau reikia ne apmokyti modelius nuo nulio, o patikimai ir pigiau juos paleisti produktuose bei vidiniuose procesuose.

    „Nebius“ teigimu, „Eigen AI“ sprendimai leidžia efektyviau išnaudoti vadinamuosius žetonus, tai yra modelio apdorojamus duomenų vienetus, nuo kurių tiesiogiai priklauso skaičiavimo sąnaudos. Praktikoje tai reiškia didesnį pralaidumą ir mažesnę vienos užklausos kainą be papildomo inžinerinio sudėtingumo klientų pusėje.

    Kas tiksliai perkama kartu su technologija?

    Kartu su produktu „Nebius“ įsigyja ir maždaug 20 žmonių „Eigen AI“ komandą, kurią bendrovė apibūdino kaip aukšto lygio inferencijos tyrėjų ir inžinierių grupę. Skelbiama, kad „Eigen AI“ įkūrėjai įkurs „Nebius“ inžinerijos ir tyrimų padalinį San Francisko įlankos regione.

    Startuolio įkūrėjai Ryanas Hanrui Wangas ir Wei-Chen Wangas anksčiau dirbo MIT HAN Lab, kuriam vadovauja profesorius Song Han, žinomas modelių efektyvumo ir skaičiavimo optimizavimo tyrimais. Tokia kompetencija rinkoje ypač vertinama, nes našumo didinimas dažnai priklauso ne nuo vieno algoritmo, o nuo gilaus aparatinės ir programinės įrangos suderinimo.

    Integracija į „Nebius“ produktus ir poveikis klientams

    „Nebius“ nurodo, kad „Eigen AI“ optimizavimo sluoksnis bus integruotas tiesiai į „Nebius Token Factory“ ir taip turėtų mažinti inferencijos siaurąsias vietas, susijusias su atmintimi, maršrutizavimu ir skaičiavimu. Tokie trikdžiai dažnai pasireiškia, kai modeliai didėja, o užklausų srautai tampa nepastovūs ir sunkiai prognozuojami.

    „Integruodama „Eigen AI“ optimizavimo sluoksnį tiesiai į „Nebius Token Factory“, „Nebius“ pašalina šį butelio kaklelį per visą gyvavimo ciklą“, – teigė bendrovė.

    Įmonės vertinimu, tai klientams turėtų reikšti greitesnį sprendimų diegimą į gamybą, geresnę vieneto ekonomiją ir galimybę sparčiau pereiti prie naujų modelių. Praktinis poveikis bus ypač aktualus įmonėms, kurios diegia DI klientų aptarnavime, paieškoje, turinio generavime, duomenų analizėje ir automatizuotame dokumentų apdorojime.