Неотдавна шефът на Dell сподели доста мрачна прогноза: бумът на AI не само няма да затихне през следващия период, а ще набере още по-голяма скорост, което може допълнително да задълбочи недостига на памет. Според него търсенето на чипове памет може да нарасне до невъобразими размери. Причината е, че хардуерът за центровете за данни за AI се оборудва с все повече памет, за да се разширяват възможностите му, а производството не може да отговори на този скок.
Според Michael Dell през следващите няколко години нуждата от памет ще нарасне 625 пъти, което ще задълбочи недостига. Както AI ускорителите, така и обслужващите ги сървърни процесори ще се оборудват с повече памет, а броят на центровете за данни расте бързо, така че ще са необходими повече компоненти от всякакъв вид. Той обоснова 625-кратния ръст със следния пример: докато през 2022 г. ускорителят Nvidia H100 се нуждаеше от 80 GB HBM3 памет, AI ускорителите, които ще се появят през 2028 г., може вече да разполагат с 2 TB HBM памет. Това означава малко над 25-кратно увеличение на капацитета. Към него се добавя очакването търсенето на AI ускорители също да нарасне 25 пъти до 2028 г. Така се получава споменатото по-горе 625-кратно увеличение.
Изглежда, че в изчисленията си ръководителят е използвал максималния поддържан капацитет на паметта при следващото поколение AI ускорители. При Vera Rubin Superchip той действително е 2 TB, но повечето ракове вероятно ще използват „само“ 576 GB HBM4 памет. Това, разбира се, е 7,2 пъти повече от паметта на H100 в горния пример, но все пак увеличението не е 25-кратно. Ако прогнозата му за ръста на търсенето на AI ускорители е вярна и то наистина нарасне 25 пъти, тогава общото увеличение на търсенето на пазара на памет би било „само“ 180-кратно. Дори така то остава огромно и изглежда почти невъзможно за покриване.
Големите производители на памет още сега не успяват да догонят растящото търсене, а стековете от HBM4 чипове ще се произвеждат само от три компании: SK hynix, Samsung и Micron. При HBM3 и други производители се опитват да наваксат, но дори с общи усилия не могат да задоволят сегашното търсене. Вярно е, че благодарение на текущите капиталови инвестиции през 2028 г. може да заработят няколко нови завода и производствени линии. Те обаче ще помогнат съвсем малко, ако търсенето действително скочи толкова рязко, колкото прогнозира шефът на Dell.
Още сега има огромен недостиг на DRAM чипове, които са необходими както за сървърните модули памет, така и за стековете от HBM чипове. Същевременно търсенето на LPDDR5x и NAND Flash чипове също е огромно и се очаква да продължи да расте. Засега обаче е невъзможно да се предвиди точно как ще се развие ситуацията през следващите тримесечия — толкова голяма е несигурността.
В AI сървър NVL72, базиран на Nvidia GB200, един рак в момента изисква общо 480 GB вградена LPDDR5x памет, а един шкаф разполага с общо 144 слота E.1 за високоскоростни SSD карти с голям капацитет. Един напълно оборудван шкаф може да разполага с до 13,4 TB HBM3e памет, до 17 TB системна памет и до 547 TB капацитет за съхранение. В един голям център за данни за AI може да има стотици или дори хиляди такива шкафове, така че за тях действително са необходими огромни количества чипове памет.






























