전체 글 썸네일형 리스트형 Triton Inference 서버 사용하기 Triton Inference server란? Triton Inference Server는 딥러닝 모델을 배포하고 추론하는 데 사용되는 오픈 소스 소프트웨어입니다. 이를 통해 모델 배포와 관리가 간편하며, 다양한 플랫폼 및 언어에서 추론을 실행할 수 있습니다. triton inference server는 pytorch, onnx, tensort 등 다수의 프레임워크를 지원합니다. 간단한 triton inference server에서 python 백엔드로 서빙 구현하는 예시입니다. 1. 도커 이미지 준비 Dockerfile을 생성해 줍니다. 서버에는 이미 Docker가 설치되어 있는 상태여야 합니다. FROM nvcr.io/nvidia/tritonserver:23.08-py3 도커 파일에 위 내용을 작성합.. 더보기 SeamlessM4T 다국어 기계 번역 모델 SeamlessM4T SeamlessM4T는 고품질 번역을 제공하도록 설계되어 다양한 언어 커뮤니티의 사람들이 음성과 텍스트를 통해 손쉽게 소통할 수 있습니다. 101개 언어 speech input 지원 96개 언어 text input/output 지원 35개 언어 speech output 지원 이 통합 모델은 개별 task도 수행가능합니다. 음성 대 음성 번역(S2ST) 음성-텍스트 번역(S2TT) 텍스트 음성 변환(T2ST) 텍스트 간 번역(T2TT) 자동 음성 인식(ASR) Approach 논문 링크입니다. - 블로그 글 ChatGPT번역 내용 통합 모델 구축을 위해 가벼운 PyTorch 시퀀스 모델링 도구인 fairseq2를 개발하였으며, 이 모델은 텍스트와 음성의 다양한 번역 작업을 수행할 수 .. 더보기 Full Stack Deep Learning - Lecture 7 Foundation models fine-tuning 많은 데이터로 모델 학습 ⇒ 적은 데이터로 빠르게 목적에 맞게 학습한다. NLP computer vision 은 대부분 pre-trained 되어있음 언어모델 history 1.word2vec 2.improvements - LSTM-based 3.transformers self-attention positional encoding layer normalization transformers가 잘 작동하는 이유는 무엇일까?? Large Language Model 종류 gpt / gpt2 bert T5 gpt3 Instruct gpt retrieval enhanced transformer (2021) 언어 정보와 실제 사실들을 함께 학습하는 게 아님 언어에.. 더보기 Lambdalabs Cloud 사용해보기 Lambdalabs란? 2012년에 설립된 딥러닝 회사입니다. 회사 소개글을 보면 이렇게 나옵니다. 람다는 기계에게 어떻게 보고 배우는지 가르치는 어려운 문제를 해결하는 것을 돕기 위해 설립되었습니다. 얼굴 인식 모델 개발을 시작으로 최근에는 클라우드 서비스까지 하고 있습니다. Cloud server 사용해보기 최근 ChatGPT와 같은 Large 모델이 계속 나오고 있습니다. 이런 Large모델을 다루어 보고 싶은 생각이 들었지만 가장 큰 문제는 리소스의 한계입니다. 개인 pc나 회사의 서버는 아직 이런 큰 사이즈의 모델을 다룰 준비가 안되어 있을 수 있습니다. 저 역시 자연스레 클라우드 서버를 생각하게 되었고, 우연히 알게 된 Lambdalabs를 사용해 보게 되었습니다. 장점 AWS보다 4배 , G.. 더보기 Full Stack Deep Learning - Lecture 2 Lecture 2 Development Infrastructure & Tooling 이번 강의에서는 딥러닝 프레임워크, 분산학습, GPU 및 GPU 클라우드 서버 그리고 ML관련 여러 툴에 대한 내용들에 대해 말합니다. 왜 Pytorch 인가? 파이토치 모델이 많음 TorchScript로 모델 컴파일하면 속도 더 빨라짐 훌륭한 분산 학습 생태계가 있음 비젼,오디오,3D데이터등을 위한 라이브러리가 있음 파이토치 라이트닝은 잘 구조화 되어있기 때문에, 파이토치 라이트닝의 규칙대로 코드를 구성하면 쉽게 실행가능 FastAI도 좋은 대안이지만 파이토치와 코드 스타일이 다름 텐서플로우를 써야만 하는 상황이라면 텐서플로우도 훌륭한 프레임워크임 Jax의 Flax or Haiku도 써야만 한다면 써라 상황에 따라 알맞.. 더보기 Full Stack Deep Learning - Lecture 1 내용 정리 Full Stack Deep Learning - Lecture 1 내용을 정리한 글입니다. Full Stack Deep Learning - Lecture 1 Goals ML 기반 제품의 구성요소에 대한 이해, 일반적인 기술들을 build-up 하는 것 MLops에 대해 배우기 실제 훌륭한 사례들에 대해 공유하고 그 동기에 대한 설명 ML엔지니어 면접에서 도움이 될만한 정보들 우리가 서로 배울 수 있게 커뮤티니를 만드는 것 Not our goals ML에 대해 처음부터 설명하지 않는다 딥러닝 기법의 모든 범위를 다루지 않는다 특정 분야에 (NLP, 비전, ML) 전문가로 만들어 주지 않는다 딥러닝 연구에 도움을 주지 않는다. MLops의 모든 스펙트럼을 커버하지 않는다. ML project는 실패가 많다 .. 더보기 파이토치 라이트닝 - 3. GPT2 텍스트 생성 모델 전이학습 텍스트 생성 모델 사용 경험을 늘리기 위해 gpt2 전이학습을 시도해 봤습니다. 텍스트, 이미지 기반의 생성 모델을 개발할 때 혐오, 선정성, 폭력적인 내용이 나오지 않게끔 많은 노력을 한다고 합니다. 저는 반대로 공격적인 표현을 따로 학습시키면 어떻게 되는지 확인하였습니다. 데이터 https://github.com/kocohub/korean-hate-speech GitHub - kocohub/korean-hate-speech: Korean HateSpeech Dataset Korean HateSpeech Dataset. Contribute to kocohub/korean-hate-speech development by creating an account on GitHub. github.com For s.. 더보기 파이토치 라이트닝 - 2. multi-gpu 학습하기 파이 토치 라이트닝으로 multi-gpu 사용하는 방식은 4가지입니다. Data Parallel (strategy='dp') (multiple-gpus, 1 machine) DistributedDataParallel (multiple-gpus across many machines) Horovod (strategy='horovod') (multi-machine, multi-gpu, configured at runtime) Bagua (strategy='bagua') (multiple-gpus across many machines with advanced training algorithms) 이 중 DDP 방식으로 학습하는 내용을 공유드립니다. 저번 글과 마찬가지로 nsmc 분류 예제입니다. class Cl.. 더보기 이전 1 2 3 4 5 다음
