Prospect of Memory Devices in AI Generation
오후 1:50 - 오후 2:15
현재 컴퓨팅 시스템은 연산 유닛과 메모리 유닛 간 잦은 데이터 이동이 성능 병목을 유발한다. 이에 AI 학습에서는 데이터 이동 효율을 높인 HBM(High Bandwidth Memory) 도입이 확대되고 있다. 최근에는 HBM과 유사한대역폭을 유지하면서도 8~16배 용량을 제공하는 HBF(High Bandwidth Flash)가 부상하고 있으며, AI 추론에서 HBM을 보조하거나 일부 대체할 잠재력이 있다. 이 경우 TSV, Die Stacking 등 HBM 공정이 HBF로 확산되며 관련공정·장비 시장도 확대될 것으로 예상된다.
한편, Von Neumann 구조의 한계를 완화하는 CNM(Computing Near-Memory), CIM(Computing-In-Memory)은 저전력 요구를 배경으로 커스텀 HBM을 시작으로 차세대 AI 디바이스로 채택될 가능성이 있다. 특히 AI 추론에서는 ACIM(Analog CIM)이 DNN의 핵심 연산인 행렬-벡터 곱(MVM)을 높은 에너지 효율로 수행할 수 있어 유망하다. 다만 RRAM/PCM/STT-MRAM/FeRAM 기반 ACIM은 소자 비선형성 및 확률적 특성으로 가중치 신뢰성 이슈가 존재한다. 이에 3D NAND 기반 ACIM은 소자 안정성, 셀 집적도, 양산 성숙도 측면에서 상대적으로 유리할 것으로 전망된다.
