CP v2

Tag: Fractile

  • JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    JK DI lustų startuolis „Fractile“ pritraukė 200 mln. eurų: taikosi į didėjantį inferencijos kamštį

    Jungtinės Karalystės puslaidininkių startuolis „Fractile“ pritraukė apie 200 mln. eurų B serijos investiciją, siekdamas kurti naujos kartos aparatinę įrangą dirbtinio intelekto inferencijai. Bendrovė teigia, kad augant didelių kalbos modelių panaudojimui, pagrindiniu ribojimu tampa ne vien mokymas, o laikas ir kaina, reikalingi rezultatams generuoti dideliu mastu.

    Investicijų raundui vadovavo keli rizikos kapitalo fondai, o gautos lėšos bus nukreiptos DI lustų ir sistemų kūrimui bei komandų plėtrai. Įmonė įkurta 2022 metais ir veikia su ambicija spręsti problemą, kurią technologijų rinkoje vis dažniau įvardija kaip inferencijos „butelio kaklelį“.

    Kas yra inferencijos problema?

    Inferencija – tai etapas, kai jau išmokytas DI modelis realiu laiku generuoja atsakymus: apdoroja užklausą, atlieka skaičiavimus ir pateikia rezultatą. Šis procesas tiesiogiai lemia naudotojo patirtį, paslaugos kainą ir tai, ar DI sprendimas apskritai ekonomiškai apsimoka dideliems srautams.

    Pastaruoju metu modeliai vis dažniau taikomi sudėtingesnėms užduotims, kurioms reikia ilgesnių generuojamų atsakymų ir didesnių kontekstų. Kuo daugiau teksto modelis turi „išlaikyti galvoje“ ir sugeneruoti, tuo labiau didėja skaičiavimų, atminties ir energijos sąnaudos.

    „Fractile“ teigia, kad riba jau čia

    Bendrovės vadovas ir įkūrėjas Walteris Goodwinas akcentuoja, kad pažangiausi DI modeliai jau pasiekė tašką, kai lemiamu veiksniu tampa laikas nuo užklausos iki galutinio atsakymo. Jo teigimu, ilgėjant generuojamoms sekoms ir didėjant užduočių sudėtingumui, dabartinė aparatinė įranga vis dažniau neleidžia išlaikyti reikiamo greičio už priimtiną kainą.

    „Mes viską pastatėme ant išvados, kad norint realiai atverti šią paslėptą vertę ir padaryti greitį įmanomą dideliu mastu, reikia iš esmės perkurti aparatinę įrangą, ant kurios veikiame su pažangiausiais DI modeliais“, – sakė Walteris Goodwinas.

    „Inferencija yra ir DI industrijos pajamų variklis, ir veiksnys, ribojantis jos plėtrą“, – sakė Walteris Goodwinas.

    „Techninės ir ekonominės inferencijos greičio ribos, ypač atminties pralaidumas, kuris dabartinėse architektūrose nespėja augti, yra tai, kas stabdo progresą“, – sakė Walteris Goodwinas.

    Ką keičia specializuoti DI lustai

    DI rinkoje pastaraisiais metais ryškėja tendencija kurti vis labiau specializuotą aparatinę įrangą konkrečioms užduotims, ypač inferencijai. Praktikoje tai reiškia bandymą sumažinti energijos sąnaudas vienam atsakymui, padidinti našumą ir geriau išnaudoti atminties pralaidumą, nes būtent duomenų judėjimas tarp atminties ir skaičiavimo blokų dažnai tampa brangiausia dalimi.

    „Fractile“ nurodo dirbanti ties lustų mikroarchitektūra, sistemų kūrimu ir gamybos procesų inovacijomis. Bendrovė taip pat pabrėžia, kad tikslas nėra vien pagreitinti dabartinius scenarijus, o atverti naujus: ilgesnes užduočių grandines, sudėtingesnį planavimą, didesnės apimties analizę ir kitus DI pritaikymus, kuriuos šiandien riboja kaina ir trukmė.

    Įmonė skelbia plečianti komandas Londone, Bristolyje, San Fransiske ir Taipėjuje. Tokia geografija atspindi puslaidininkių sektoriaus realybę, kur pažangių lustų kūrimas remiasi tarptautinėmis talentų, projektavimo ir gamybos grandinėmis.

  • „Anthropic“ ieško alternatyvos „Nvidia“: akys krypsta į Londono „Fractile“ lustus

    „Anthropic“ ieško alternatyvos „Nvidia“: akys krypsta į Londono „Fractile“ lustus

    JAV dirbtinio intelekto bendrovė „Anthropic“ derasi su Londone įsikūrusiu puslaidininkių startuoliu „Fractile“ dėl didelio našumo lustų tiekimo. Skelbiama, kad tikslas – mažinti priklausomybę nuo „Nvidia“ ir atpiginti modelių paleidimą bei aptarnavimą.

    Rinkoje generatyviojo DI skaičiavimo pajėgumų paklausa auga greičiau nei spėja plėstis duomenų centrų infrastruktūra. Dėl to „Nvidia“ H100 ir panašūs sprendimai išlieka brangūs, o jų prieinamumas tampa verslo planus ribojančiu veiksniu net didžiausiems žaidėjams.

    „Anthropic“, kurianti „Claude“ modelių šeimą, šiandien remiasi „Nvidia“ greitintuvais ir debesijos partnerių siūlomais individualizuotais procesoriais. Įmonė yra sulaukusi kelių milijardų investicijų iš „Amazon“ ir „Google“, o tai leidžia agresyviai plėsti skaičiavimo resursus, tačiau kartu didina spaudimą efektyvumui.

    Analitikai pabrėžia, kad perėjimas nuo universalių lustų prie labiau specializuotų sprendimų tampa platesne tendencija. Panašia kryptimi juda ir kitos technologijų bendrovės, siekiančios geriau kontroliuoti infrastruktūros kainą, energijos sąnaudas ir tiekimo grandinės rizikas.

    Kas išskiria „Fractile“ architektūrą?

    „Fractile“ įkurta 2022 metais, o vienas ryškiausių startuolio vardų siejamas su Oksforde daktaro laipsnį įgijusiu Walteriu Goodwinu. Įmonė siūlo vadinamąją atminties ir skaičiavimo sujungimo kryptį, kai duomenys laikomi kuo arčiau skaičiavimo branduolių.

    Startuolio teigimu, ši koncepcija remiasi statine operatyviąja atmintimi SRAM, kuri, skirtingai nei DRAM, nereikalauja nuolatinio atnaujinimo. Tai teoriškai gali sumažinti duomenų judėjimo kaštus, kurie dideliuose kalbos modeliuose dažnai tampa našumo „butelio kakleliu“.

    „Fractile“ viešai mini, kad tam tikrais scenarijais didelių kalbos modelių vykdymas galėtų būti iki 100 kartų spartesnis, o eksploatacinės sąnaudos – mažesnės iki 90 proc. Vis dėlto šiuos skaičius rinka vertina atsargiai, nes masinei duomenų centrų eksploatacijai svarbūs ne tik testų rezultatai, bet ir patikimumas, programinės įrangos ekosistema bei gamybos apimtys.

    Kada lustai galėtų pasiekti duomenų centrus?

    Šiuo metu „Fractile“ technologija dar vystoma, o komercinis produktas nėra plačiai prieinamas. Skelbiama, kad pilno masto diegimas duomenų centruose galėtų būti realistiškesnis tik apie 2027 metus, todėl bet koks susitarimas su „Anthropic“ būtų labiau strateginis nei greitas sprendimas „čia ir dabar“.

    Taip pat pranešama, kad „Fractile“ derasi dėl maždaug 170 500 000 eurų investicijos, o įmonės vertė galėtų viršyti 853 000 000 eurų. Tokie skaičiai atspindi investuotojų lūkestį, kad naujos architektūros gali pakeisti DI skaičiavimo ekonomiką, ypač modelių vykdymo, o ne mokymo etape.

    Derybos su „Anthropic“, kaip teigiama, kol kas yra ankstyvoje stadijoje ir įpareigojantis kontraktas nėra pasirašytas. Vis dėlto pats didelės rinkos dalyvės dėmesys rodo, kad kova dėl greitesnio ir pigesnio skaičiavimo pajėgumo tampa vienu svarbiausių veiksnių, lemsiančių, kas laimės DI lenktynes.