Tag: Inference

  • DI modelių spartinimu skirtinguose lustuose užsiimantis „Daisytuner“ pritraukė 6 mln. eurų

    DI modelių spartinimu skirtinguose lustuose užsiimantis „Daisytuner“ pritraukė 6 mln. eurų

    Vokietijos startuolis „Daisytuner“, kuriantis technologiją, leidžiančią DI modelius pritaikyti skirtingiems lustams jų vykdymo (inference) metu, pranešė pritraukęs 6 mln. eurų pradinę investiciją.

    Kaip skelbiama, finansavimo etapui bendrai vadovavo investuotojai „Elaia“ ir „LEA Ventures“, o prie jo taip pat prisidėjo „Amadeus APEX Technology Fund“ bei „Seedcamp“.

    „Daisytuner“ veikia sparčiai augančioje nišoje: vis daugiau bendrovių ieško būdų, kaip DI modelius paleisti efektyviai skirtingoje aparatinėje įrangoje, ypač rinkoje stiprėjant alternatyvoms „Nvidia“ sprendimams.

    Startuolio kuriama technologija „Daisyflow“ orientuota būtent į DI modelių vykdymą (inference) – skaičiavimų etapą, kai modelis jau naudojamas užduotims atlikti, o ne mokomas (training).

    Kaip veikia „Daisyflow“

    „Daisytuner“ teigia, kad jų sprendimas apjungia DI valdomą kompiliatorių, kuris automatiškai optimizuoja programinę įrangą skirtingiems lustams, ir „Daisyflow“ platformą, leidžiančią įmonėms vykdyti DI modelius inference režimu.

    Vienas iš akcentuojamų praktinių aspektų – galimybė „Daisyflow“ diegti savo duomenų centruose, o ne būtinai remtis išoriniu DI debesijos tiekėju.

    Bendrovės pateikti našumo palyginimai

    Įmonės pateiktame našumo bandyme teigiama, kad „Daisyflow“ su „Alibaba“ „Qwen 2.5“ modeliu veikė iki 18 proc. greičiau nei „vLLM“ – plačiai naudojamas atvirojo kodo inference variklis – kai skaičiavimai buvo vykdomi su AMD „Instinct“ vaizdo plokštėmis.

    Tokie palyginimai paprastai priklauso nuo konkrečių konfigūracijų ir scenarijų, tačiau jie rodo, kokio tipo našumo gerinimo tikisi rinkos dalyviai, optimizuodami inference procesą skirtingai įrangai.

    Kur bus panaudotos investicijos

    „Daisytuner“ nurodo, kad pritrauktos lėšos bus skirtos plėsti įmonių klientų ratą, toliau vystyti kompiliatoriaus technologiją ir auginti komandą.

    Taip pat pažymima, kad komandoje dirba mokslininkai ir tyrėjai iš tokių institucijų kaip ETH Ciurichas, Miuncheno technikos universitetas, RWTH Achene, Darmštato technikos universitetas ir Lawrence’o Livermore’o nacionalinė laboratorija.

  • „Featherless.ai“ pritraukė apie 18 mln. eurų: žada serverless DI nepriklausomybę nuo debesų milžinų

    „Featherless.ai“ pritraukė apie 18 mln. eurų: žada serverless DI nepriklausomybę nuo debesų milžinų

    Atvirojo kodo dirbtinio intelekto vykdymo platforma „Featherless.ai“ pritraukė 20 mln. JAV dolerių, tai yra apie 18 mln. eurų, A serijos investiciją. Bendrovė teigia, kad lėšos bus skirtos plėsti serverless infrastruktūrą ir pasiūlyti įmonėms alternatyvą uždaroms, tiekėjų valdomoms skaičiavimo aplinkoms.

    Investicijų raundą kartu vedė AMD Ventures ir Airbus Ventures, taip pat prisidėjo BMW i Ventures, Kickstart Ventures, Panache Ventures ir Wavemaker Ventures. „Featherless.ai“ pozicionuoja save kaip neutralią infrastruktūros grandį, nesusietą nei su konkrečiu hyperscaleriu, nei su vienu lustų gamintoju ar uždaru ekosistemos modeliu.

    Kas yra serverless DI inference

    Serverless inference modelis reiškia, kad kūrėjams nereikia patiems valdyti serverių ar GPU klasterių, o DI modeliai paleidžiami pagal poreikį, automatiškai paskirstant resursus. Tokia prieiga dažnai siejama su greitesniu diegimu į gamybinę aplinką, paprastesniu mastelio didinimu ir aiškesniu kaštų valdymu, kai mokama už realų naudojimą.

    „Featherless.ai“ teigia palaikanti daugiau nei 30 000 atvirų modelių, apimančių kalbos, vaizdo ir garso užduotis. Bendrovė taip pat akcentuoja, kad yra viena sparčiausiai augančių „Hugging Face“ inference partnerių, todėl orientuojasi ne į vieną modelį, o į platų katalogą ir greitą pritaikymą skirtingiems verslo scenarijams.

    Nepriklausomybės ir suverenumo argumentas

    Pastaraisiais metais įmonėms vis svarbiau tampa duomenų vieta, jurisdikcija ir atitiktis reikalavimams, todėl auga vadinamojo suverenaus DI poreikis. „Featherless.ai“ nurodo savo infrastruktūrą laikanti JAV ir Europos Sąjungoje bei turinti tarptautinę komandą, kad galėtų geriau atliepti privatumo ir reguliavimo lūkesčius skirtingose rinkose.

    Įmonė akcentuoja, kad kai visas DI technologijų „stakas“ atsiduria kelių tiekėjų rankose, organizacijos praranda lankstumą ir derybinę galią dėl kainos, našumo ir integracijų. Tokiu atveju pasirinkimai dažnai apsiriboja konkrečia debesijos platforma, jos įrankiais ir licencijavimo taisyklėmis.

    „Kuriame infrastruktūrą, kuri paverčia atvirojo kodo dirbtinį intelektą praktišku ir patikimu mastu, kad įmonės galėtų statyti ant pagrindo, kurį realiai valdo, o ne tik nuomojasi“, – sakė „Featherless.ai“ vadovas ir vienas iš įkūrėjų Eugene Cheah.

    Statymas ant skirtingos aparatinės įrangos

    Vienas svarbiausių „Featherless.ai“ akcentų yra aparatinės įrangos įvairovė ir mažesnė priklausomybė nuo vieno GPU tiekėjo. Bendrovė teigia, kad per strateginį bendradarbiavimą su AMD užtikrina, jog populiarūs atvirojo kodo modeliai galėtų veikti natūraliai su AMD ROCm, taip atveriant daugiau pasirinkimų infrastruktūros pirkėjams.

    Praktikoje tai gali reikšti lengvesnį perėjimą tarp skirtingų skaičiavimo aplinkų, geresnę audito galimybę ir potencialiai mažesnes inference sąnaudas, jei rinkoje atsiranda konkurencingų alternatyvų. Tuo pačiu įmonė tikisi, kad atviresnė infrastruktūra padės išvengti situacijos, kai pažangiausi modeliai ir jų vykdymas užrakinami uždarose platformose.

    „Featherless.ai“ teigimu, pritrauktas kapitalas bus naudojamas globaliai infrastruktūrai mastelinti, specializuotų atvirų modelių prekyvietei kurti ir techninei integracijai su įvairiomis aparatūros architektūromis gilinti. Bendrovė tikisi, kad tai leis toliau mažinti DI inference kainą ir supaprastins diegimą įmonėms, kurios nori daugiau kontrolės.