Taewan ChoCLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian EvaluationMamba 기반의 이미지 인코더를 활용해서 image-text pair를 학습한 CLIP인코더를 만들고 여러가지 실험을 통해 Mamba 인코더의 성능을 분석합니다.Aug 18, 2024Aug 18, 2024
Taewan ChoMamba-2: Transformers are SSMsTransformer에 대항하는 SSM 기반의 모델 Mamba의 두번째 버전이 공개됐습니다. 실험 결과가 부족하다는 이유로 ICLR 2024에서 reject 당했지만 Mamba-2는 ICML 2024에서 발표됐습니다.Aug 1, 20241Aug 1, 20241
Taewan ChoMamba: Liner-Time Sequence Modeling With Selective State Space우선 Mamba를 이해하기 위해선 많은 사전지식이 필요합니다. 관련 자료들을 아래 링크에 첨부해두겠습니다.May 15, 20241May 15, 20241
Taewan ChoSequence Modeling with State Space Models딥 시퀀스 모델은 입력 시퀀스를 처리하여 출력 시퀀스를 생성하는 모델로, 자연어 처리, 음성 인식, 시계열 예측 등 다양한 분야에서 활용되고 있습니다. RNN, CNN, Transformer 등이 대표적인 딥 시퀀스 모델이며, 각 모델은 뚜렷한…May 14, 20242May 14, 20242
