Инженерите на Micron разработват специална технология за памет, чиято цел е в близост до графичния процесор, използван като AI ускорител, да се разположи масив от NAND Flash чипове с относително голям капацитет, достатъчно висока скорост и достатъчно ниска латентност. Така значително биха се разширили възможностите за изпълнение и обучение на особено големи езикови модели (LLM).
Проектът, който засега носи работното име „Near-GPU NAND“, на практика ще допълва основната памет, базирана на HBM и DRAM, и традиционните системи за съхранение с NAND Flash, като заема място между тях. Той би бил полезен в случаите, когато не са необходими високата пропускателна способност или ниската латентност на HBM и стандартните DRAM чипове, но данните трябва да са разположени много по-близо до GPU, отколкото позволяват традиционните NAND Flash системи за съхранение.
За целта се разработват специални NAND Flash чипове, които по отношение както на плътността на съхранение, така и на латентността ще заемат междинно място между споменатите технологии за памет. Тези чипове ще имат по-ниска плътност на съхранение от традиционните TLC или QLC NAND Flash чипове, тъй като акцентът е върху по-високата производителност при входно-изходни операции, по-голямата пропускателна способност и по-краткото време за четене. На практика „Near-GPU NAND“ ще свързва традиционните HBM или GDDR7/LPDDR6 чипове със стандартната система за съхранение чрез изключително бърза кеш памет с висока производителност.
Тази кеш памет е особено подходяща за задачи по инференция и за изпълнение на конкретни големи езикови модели. Същевременно тя позволява данните да се държат близо до GPU на по-ниска цена, отколкото при използването на традиционна DRAM или HBM памет за същата цел. Въпросният кеш би могъл да предлага капацитет от няколкостотин GB на значително по-ниска цена от традиционните DRAM технологии, както и по-висока производителност от класическите NAND Flash системи за съхранение. Благодарение на този специален кеш сложни LLM биха могли да работят и на системи с по-малко графични процесори. Използването на няколко нива на памет и съхранение би помогнало за оптимизиране на цялостната производителност на системата.
SanDisk и SK hynix също разработват подобна технология под името HBF, или High-Bandwidth Flash. Тя би помогнала за разширяване на HBM паметта на GPU чрез използване на NAND Flash чипове, разположени близо до графичния процесор, като същевременно се повиши и издръжливостта им. Работата продължава, тъй като е необходимо решение, което осигурява подходяща пропускателна способност и латентност и същевременно е достатъчно издръжливо. Така то би могло ефективно да допълва изключително бързите и скъпи стекове от HBM чипове, чието производство и без това не достига, за да задоволи пазарното търсене. Междувременно Samsung също не стои безучастно: компанията разработва специална архитектура за памет, наречена zNAND-O, също предназначена за AI приложения и с доста впечатляващи характеристики.





























