AITemplate - 심층 신경망을 고성능 CUDA/HIP C++ 코드로 변환하는 파이썬 프레임워크

[YeonwooSung]

AITemplate - 심층 신경망을 고성능 CUDA/HIP C++ 코드로 변환하는 파이썬 프레임워크

AITemplate is a Python framework which renders neural network into high performance CUDA/HIP C++ code. Specialized for FP16 TensorCore (NVIDIA GPU) and MatrixCore (AMD GPU) inference.

• 빠른 추론을 위해 심층 신경망을 CUDA(NVIDIA GPU) / HIP(AMD GPU) C++ 코드로 전환
• ResNet, BERT, VisionTransformer, Stable Diffusion 등 메어지 모델에서 루프라인 fp16 TensorCode/MatrixCore 성능에 근접
• Unified, Open, Flexible 한 오픈소스
• 훌륭한 하위호환성(써드파티 라이브러리/런타임 의존 없음). 각 모델이 포터블 바이너리로 컴파일
• Horizontal Fusion / Vertical Fusion / Memory Fusion
• Working w/wo PyTorch