\u201eGoogle\u201c in\u017einieriai pristat\u0117 nauj\u0105 metod\u0105, kuris gali iki 6 kart\u0173 suma\u017einti DI modeliams reikaling\u0105 darbin\u0119 atmint\u012f. Technologija pavadinta \u201eTurboQuant\u201c ir skirta vienai brangiausi\u0173 dideli\u0173 kalbos modeli\u0173 viet\u0173 \u2013 pokalbio konteksto saugojimui.<\/p>\n
Pagrindinis taikinys yra vadinamoji KV cache atmintis, kuri leid\u017eia modeliui greitai prisiminti ankstesnes vartotojo \u017einutes. Be jos sistema tur\u0117t\u0173 nuolat i\u0161 naujo perskai\u010diuoti vis\u0105 kontekst\u0105, tod\u0117l atsakymai l\u0117t\u0117t\u0173, o serveri\u0173 s\u0105naudos augt\u0173.<\/p>\n
KV cache galima suprasti kaip trumpalaik\u0119 pokalbio atmint\u012f, kurioje laikomi tarpini\u0173 skai\u010diavim\u0173 duomenys. Ilgesni kontekstai ir didesnis vartotoj\u0173 skai\u010dius rei\u0161kia, kad \u0161i atmintis spar\u010diai \u201esuvalgo\u201c gigabaitus, o duomen\u0173 centrams tenka investuoti \u012f vis didesnius resursus.<\/p>\n
\u201eTurboQuant\u201c remiasi kvantizacija, kai skaitin\u0117s reik\u0161m\u0117s atvaizduojamos ma\u017eesniu bit\u0173 skai\u010diumi ir taip u\u017eima ma\u017eiau vietos atmintyje. \u201eGoogle\u201c teigia, kad \u0161\u012f kart\u0105 svarbiausia naujov\u0117 yra dinaminis veikimas realiuoju laiku, kai KV cache suspaud\u017eiama pokalbio metu.<\/p>\n
Toks pri\u0117jimas yra techni\u0161kai sud\u0117tingas, nes suspaudimas neturi pastebimai pabloginti atsakym\u0173 kokyb\u0117s. Pagal pristatyt\u0105 informacij\u0105, siekiama ma\u017einti atminties \u201ebutelio kaklel\u012f\u201c, kai ribojanti grandis tampa ne skai\u010diavimo galia, o b\u016btent konteksto saugojimas.<\/p>\n
\u201eGoogle\u201c tyr\u0117jai nurodo, kad metodas i\u0161bandytas su keliomis skirtingomis atvirojo kodo ir komercin\u0117mis modeli\u0173 \u0161eimomis. Tokie testai svarb\u016bs, nes leid\u017eia \u012fvertinti, ar sprendimas pritaikomas pla\u010diau, o ne tik vienoje konkre\u010dioje architekt\u016broje.<\/p>\n
\u201eTurboQuant\u201c labiausiai aktualus paslaugoms, kuriose vienu metu aptarnaujama daug u\u017eklaus\u0173 ir reikia ilg\u0173 kontekst\u0173, pavyzd\u017eiui, klient\u0173 aptarnavimo pokalbiams, dokument\u0173 analiz\u0117s asistentams ar paie\u0161kos sistemoms. Ma\u017eesnis atminties poreikis teori\u0161kai leid\u017eia tame pa\u010diame serveryje aptarnauti daugiau vartotoj\u0173 arba didinti konteksto ilg\u012f.<\/p>\n
\u201e\u0160is metodas atrodo perspektyvus ma\u017einant atminties key-value siaur\u0105j\u0105 viet\u0105 neaukojant modeli\u0173 na\u0161umo\u201c, \u2013 teigiama \u201eGoogle\u201c pristatymo med\u017eiagoje.<\/p>\n
Rinkoje seniai aptariama, kad duomen\u0173 centr\u0173 apetitas atmin\u010diai auga d\u0117l DI pl\u0117tros, tod\u0117l brangsta serverin\u0117 \u012franga ir jos komponentai. Vis d\u0117lto vien technologinis prover\u017eis dar negarantuoja, kad sutaupytas resursas automati\u0161kai virs ma\u017eesne paklausa.<\/p>\n
Ekspertai atkreipia d\u0117mes\u012f \u012f vadinam\u0105j\u012f at\u0161okimo efekt\u0105: jei atmintis tampa \u201epigesn\u0117\u201c skai\u010diavimuose, dalis tiek\u0117j\u0173 gali ne ma\u017einti infrastrukt\u016br\u0105, o didinti modeli\u0173 tikslum\u0105, konteksto ilg\u012f ar paslaug\u0173 apimt\u012f. Tokiu atveju galutinis atminties poreikis gali ir toliau augti, o vartotojai kain\u0173 poky\u010dius pajus ne i\u0161 karto.<\/p>\n
Kol kas \u201eTurboQuant\u201c \u012fvardijamas kaip laboratorinis sprendimas, kuriam reikia platesn\u0117s validacijos realiose sistemose. Jei technologija pasieks gamybin\u012f lyg\u012f ir bus pla\u010diai \u012fdiegta, ji gali tapti vienu svarbi\u0173 \u017eingsni\u0173 ma\u017einant DI paslaug\u0173 savikain\u0105, ta\u010diau kain\u0173 rinkoje tai priklausys nuo to, kaip pramon\u0117 panaudos sutaupyt\u0105 atmint\u012f.<\/p>\n","protected":false},"excerpt":{"rendered":"
\u201eGoogle\u201c pristat\u0117 \u201eTurboQuant\u201c metod\u0105, galint\u012f iki 6 kart\u0173 suma\u017einti DI modeli\u0173 atminties poreik\u012f. Ar tai rei\u0161kia pigesn\u0119 RAM?<\/p>\n","protected":false},"author":0,"featured_media":17748,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[7],"tags":[8443,102,2007,146,8444,860,8442],"miestas":[],"class_list":["post-17747","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos","tag-dideli-kalbos-modeliai","tag-dirbtinis-intelektas","tag-duomenu-centrai","tag-google","tag-kv-cache","tag-operatyvioji-atmintis","tag-turboquant"],"acf":[],"_links":{"self":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts\/17747","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/comments?post=17747"}],"version-history":[{"count":0,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts\/17747\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/media\/17748"}],"wp:attachment":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/media?parent=17747"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/categories?post=17747"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/tags?post=17747"},{"taxonomy":"miestas","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/miestas?post=17747"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}