티스토리

기록좀할게요
검색하기

블로그 홈

기록좀할게요

kimmimo.tistory.com/m

이것저것

구독자
0
방명록 방문하기

주요 글 목록

  • Pytorch로 TAKD 구현해보기 Teacher Assistants Knowledge Distillation Knowledge Distillation 지식 증류 1. Knowledge Distillation 이란 Knowledge(지식)을 Distillation(증류), 말 그대로 지식을 증류, 전달한다는 뜻입니다. 비교적 정확도가 높고 추론시간이 긴 복잡한 모델로부터 그 kimmimo.tistory.com 선생 모델과 학생모델의 큰 격차로 인해 지식증류가 잘 시행되지 않는 현상을 해결하고자 만든 모델, TAKD입니다. 두 모델 사이에 보조 모델(Teacher Assistant)를 배치하여 지식 증류가 잘 일어나도록 돕습니다. 파이썬의 Pytorch 라이브러리를 이용하여 간?단하게 구현할 수 있습니다. 사실 논문에 첨부된 깃헙 링크가 있.. 공감수 0 댓글수 0 2024. 2. 16.
  • Teacher Assistants Knowledge Distillation Knowledge Distillation 지식 증류 1. Knowledge Distillation 이란 Knowledge(지식)을 Distillation(증류), 말 그대로 지식을 증류, 전달한다는 뜻입니다. 비교적 정확도가 높고 추론시간이 긴 복잡한 모델로부터 그 기능을 추출해와서 간단한 kimmimo.tistory.com Improved Knowledge Distillation via Teacher Assistant Despite the fact that deep neural networks are powerful models and achieve appealing results on many tasks, they are too large to be deployed on edge devices lik.. 공감수 0 댓글수 0 2024. 2. 7.
  • Knowledge Distillation 지식 증류 1. Knowledge Distillation 이란 Knowledge(지식)을 Distillation(증류), 말 그대로 지식을 증류, 전달한다는 뜻입니다. 비교적 정확도가 높고 추론시간이 긴 복잡한 모델로부터 그 기능을 추출해와서 간단한 모델에게 전해줍니다. 2. 어디에 쓸까 최근에 삼성에서 공개한 갤럭시 S24 시리즈에는 새로운 인공지능을 탑재해 출시했을 만큼, 일상생활에 인공지능이 많이 쓰이고 있습니다. 만약 우리가 S24모델을 구매해서 인공지능을 사용한다고 가정해봅시다. 높은 정확도는 당연하게도 필수겠지만, A. 정확도 95%, 추론시간 1시간 B. 정확도 90%, 추론시간 1분 두 모델 중 어느것이 우리가 사용하기에 적합할지 따져보면, 아무래도 B 모델이겠죠. 복잡한 모델로부터 우리가 필요한 가.. 공감수 1 댓글수 0 2024. 2. 6.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.