(일기장) GPU이외의 다른 행렬 연산 수단을 GPT에게 질문해봄
0.
밑바닥부터 시작하는 뉴럴넷? 보면서
딥러닝 공부를 다시하고 있다.
파이토치 튜토리얼과 3B1B영상보다가
갑자기 이 뉴럴넷 연산을 더 효율적으로 하게 해줄 다른 하드웨어들이 이미 연구가 되고 있겠거니
의문이 들어서 GPT에게 물어봤다.
1.
물론입니다. 전통적으로 우리가 딥러닝 모델을 구현할 때는 전자회로 상에서 행렬 곱셈을 수행하는 형태(즉, CPU/GPU/TPU 등 디지털 컴퓨팅)로 생각하기 쉽지만, 실제로는 다양한 물리적·화학적·생물학적 시스템이 “가중치 × 입력 + 활성화 함수”라는 기본 아이디어(=퍼셉트론 또는 뉴런 동작)를 구현할 수 있습니다. 대표적으로 다음과 같은 접근들이 활발히 논의되고 있지요.
1. 아날로그/뉴로모픽(Neuromorphic) 하드웨어
- 메모리스터(memristor) 기반 뉴로모픽 칩
- 전류·전압 특성으로부터 “가중치”에 해당하는 정보를 저장하고, 그 흐름(전도도)을 통해 연산을 수행할 수 있음.
- 전력 소모가 적고 병렬 연산에 유리하여, 기존 디지털 방식과 다른 가능성을 보여줍니다.
- 스파이킹 뉴럴 네트워크(Spiking Neural Network)
- 생물학적 뉴런이 짧은 스파이크(Spike) 형식으로 신호를 전달하는 과정을 모델링합니다.
- “연속된 실수 형태로 행렬 곱을 수행”하던 방식과 달리, 이벤트(Spike)가 발생했을 때만 계산하므로 에너지 효율이 높을 수 있음.
- 이 아이디어에 맞춰 하드웨어 수준에서 설계된 프로세서(예: IBM TrueNorth)가 연구·개발되고 있습니다.
2. 광학(Optical) 컴퓨팅
- 광학 뉴럴 네트워크
- 빛의 세기를 뉴런 입력으로, 광학 소자의 투과율/위상 변화를 가중치로 삼아 연산을 시도하는 방식.
- 광학 간섭(interference)과 회절(diffraction)을 통해 벡터-행렬 연산을 고속, 병렬로 처리할 수 있다는 점이 장점입니다.
- 대표적으로 최근 몇 년간 ‘광학 CNN(optical convolutional neural network)’ 등을 실험적으로 구현하는 연구들이 보고되고 있습니다.
- 홀로그램·위상광학 소자(Phase-only optics)
- 빛의 위상 정보를 정교하게 제어해, 망원경의 반사경 설계나 홀로그램 기술처럼 “특정 패턴의 빛”을 출력하도록 할 수 있음.
- 이를 신경망 연산으로 해석하면, “위상판(phase plate)” 같은 소자가 “가중치” 역할을 하여 광 경로를 바꿔주거나 강도를 조절해줍니다.
3. 화학적/생물학적 접근
- DNA 컴퓨팅(DNA computing)
- DNA의 결합(염기쌍 형성) 원리를 통해 논리 연산을 수행하고, 문제를 해결하는 기법.
- 빅데이터 연산을 병렬적으로 처리할 수 있다는 이론적 가능성이 제시되었고, 뉴럴넷과 접목하는 연구도 있습니다.
- 세포 신호 전달(Cell signaling)을 이용한 모델
- 생체 신호 전달(세포 간 신호 물질, 이온 농도 차이 등)을 뉴럴넷의 활성화 함수 및 내부 상태 변화로 볼 수 있다는 아이디어.
- 아직은 개념 연구가 많으며 실험·기술 한계를 많이 극복해야 하지만, 장기적으로 가능한 후보 중 하나로 꼽힙니다.
- 단백질 폴딩, 효소 반응을 통한 계산
- 효소의 촉매 작용(반응 속도, 반응물 농도 변화 등)을 통해 가중치나 비선형성을 대체하는 아이디어.
- 복잡한 물리·화학적 변수로 인해 구현 난이도가 높으나, 특정 계산을 ‘자연스럽게’ 수행할 수 있는 가능성을 모색 중입니다.
4. 기타: 양자 컴퓨팅(Quantum computing)
- 아직까지는 ‘양자 뉴럴 네트워크’ 자체가 개념적 단계에 머무르는 경우가 많지만, 양자 얽힘(Entanglement), 중첩(Superposition)을 이용해 대규모 병렬 처리가 가능할 것이라는 기대가 있습니다.
- 다만, 물리적 구현이 극도로 제한적이며, 소자 제어가 매우 어려워 실질적인 뉴럴넷 규모로 확장하기에는 많은 난관이 있습니다.
결론적으로…
- 딥러닝의 핵심인 “입력 신호 × 가중치 + 비선형(활성화)”라는 연산 구조는, 꼭 디지털 전자회로에서 행렬 연산으로만 구현해야 한다는 법은 없습니다.
- 빛, 화학 반응, 생물학적 시스템 등 물리학이나 생물학적 원리를 이용해 뉴런 또는 퍼셉트론을 ‘아날로그적’으로 구현할 가능성은 분명히 존재하지요.
- 다만, 실제로 이들을 널리 활용하기 위해서는 정교한 제어, 오차 보정, 대규모 집적 문제 해결 등 많은 기술적·공학적 과제가 있습니다.
이렇듯 딥러닝이 디지털 중심에서 다양한 영역으로 확장됨에 따라, 새롭고 혁신적인 계산 패러다임이 계속 등장할 것으로 기대됩니다. 앞으로도 생물학·광학·화학·물리학이 결합된 융합연구가 더욱 활발해지리라 보이고, 그 가운데서 기존과는 전혀 다른 ‘신경망 구현체’가 등장할 수도 있겠습니다.
---
2.
위의 내용을 바탕으로 네이처, IEEE, 스칼라등에서 관련 글을 읽었다.
Optical Neural Network에 관한 발전흐름을 설명해주는 글
(https://www.nature.com/articles/s41377-024-01376-7)
---
3.
Memristor 멤리스터 리서치
https://www.tandfonline.com/doi/full/10.1080/14686996.2022.2162323#d1e378
이론적 멤리스터는 1971년 Leon O. Chua가 네 번째 기본 회로 소자로 제안했습니다. [소환11 ], 그리고 메모리스터의 첫 번째 물리적 구현은 2008년 Hewlett-Packard(HP) 연구소의 Strukov et al.에 의해 실험적으로 검증되었습니다. [소환12 ]. 메모리스터는 구조가 간단하고, 읽기와 쓰기 속도가 빠르고, 확장성이 좋으며, 밀도가 높고, 비용이 저렴하며, CMOS(Complementary Metal Oxide Semiconductor) 공정과 호환됩니다.
최근 몇 년 동안 기존 CMOS 기술을 기반으로 한 뇌 기반 컴퓨팅 시스템에서 획기적인 발전이 이루어졌지만 [소환13 ], 통합 및 전력 소비 측면에서 여전히 많은 과제가 있습니다. 인가된 전기장 하에서 지속적으로 조정 가능한 저항을 갖춘 멤리스터는 이상적인 신경 시냅스 생체 구성 요소로, 고밀도, 저전력 뇌에서 영감을 받은 컴퓨팅 칩에 대한 잠재적 솔루션을 제공합니다. 더욱이 멤리스터 어레이는 인공 신경망(ANN), 합성곱 신경망(CNN), 딥 신경망(DNN), 순환 신경망(RNN), 스파이크 신경망(SNN)을 포함하여 보다 통합된 신경망 구조를 구축할 수 있습니다. 멤리스터 어레이는 덧셈에 옴의 법칙을, 곱셈에 키르히호프의 법칙을 직접 사용하여 신경망에 필요한 병렬 곱셈-누적(MAC) 연산을 가능하게 하여 신경망의 속도와 전력 효율을 크게 증가시킵니다. [소환14 ].