Amerikai kutatók a napokban számoltak be arról, hogy sikerült egy olyan áttörést elérniük a nagy nyelvi modellek (LLM-ek) futtatásában, ami drámai mértékben felgyorsíthatja ezek működését, illetve az ehhez szükséges energiát. Módszerük ugyanis eliminál egy viszonylag költséges műveletet, az ún. mátrixszorzást (a MatMul-t) a kódból - ez pedig töredékére csökkenti a működés memória-, számítás- és energiaigényét is. "A mátrixszorzás (MatMul) jellemzően uralja a nagy nyelvi modellek (LLM) teljes számítási költségét. Ez a költség csak nő, ahogy az LLM-ek nagyobb beágyazási dimenziókra és kontextushosszúságokra skálázódnak", magyarázzák a problémát a kutatók, amit új algoritmusuk megold. "Ebben a dolgozatban megmutatjuk, hogy a MatMul-műveletek teljesen kiküszöbölhetők az LLM-ekből, miközben a teljesítmény milliárd paraméteres skálán is erős marad". A UC Santa Cruz, a UC Davis, a LuxiTech és a Soochow Egyetem kutatói az új eljárás felhasználásával mindjárt ki is dolgoztak egy 2,7 milliárd...