본문 바로가기

딥러닝(Machine Deep learning)9

Multi-Task Learning-Optimization Strategy [1] MTL(Multi-Task Learning)은 여러 Task들을 동시에 학습하는 방식이다. 이 방식은 기본적으로 여러 Task를 동시에 수행하였을 때의 결과가 단일 Task를 수행하였을 때의 결과보다 성능이 향상된다는 연구 결과에 기반한다. 실세계의 예시로 탁구를 분석한다고 생각해보자. 탁구공을 칠 때 탁구공의 현재 위치, 걸려 있는 스핀 그리고 궤적까지 모두 동시에 예측하여 최적의 자세를 잡고 스윙을 하는 것이 최고의 공격을 만들어 낼 수 있다. 비록 탁구공의 회전을 분석하는 것과 탁구공의 현재 위치를 파악하는 것은 완전히 근간이 다른 일이지만, 탁구공의 현재 위치와 스핀에 대한 예측이 높을수록 공의 궤도를 더 잘 예측할 수 있다. 본 예시를 딥러닝에 적용하였을 때, 3가지 Task (탁구공 현재 위치.. 2022. 7. 5.
Ubuntu 20.04, RTX 3070에서 cuda toolkit 및 드라이버 설치하기 Ubuntu 20.04, RTX 3070에서 cuda toolkit 및 드라이버 설치하기 -- 30XX 버전이 최신 그래픽 드라이버를 설치했을때, 재부팅시 화면이 검정화면이 나오면서 부팅이 안되는 문제가 발생함. 먼저 Ubuntu 20.04 설치 후 아래 4가지 단계를 실행한다. -기본셋팅 -cuda toolkit 및 driver 설치 -nouveau 종료 -설치한 toolkit 및 driver 실행 -- 기본 셋팅-- 1) sudo apt update 2) sudo apt install net-tools (ifconfig 용) 3) sudo apt install build-essential (cuda toolkit 다운로드 용) 4) sudo apt-get install vim (nouveau 종료용).. 2022. 6. 23.
Attention Module Attention for extract essential feature map -Attention Module Effectiveness: 아래 Figure 1을 통해 attention의 효과를 확인할 수 있다. BAM(Bottleneck Attention Module)을 통해 추출된 attention map이 intermediate feature map에서 essential한 feature를 강조하고, 불필요한 부분은 억제하는 것을 확인할 수 있다. Channel attention, Spatial attention, Channel & Spatial Attention -Channel Attention: channel attention은 feature map의 channel간의 관계를 이용하여 특정 chan.. 2020. 7. 9.
What is different between concat & element sum Element Add layer A (2, 1, 4, 2) layer B (0, 1, 0, 1) layer A + layer B = (2, 2, 4, 3) Concat layer A (64, 128, 128) layer B (32, 128, 128) layer A (concat) layer B = (96, 128, 128) 각각 언제 사용해야할까? concat과 add를 각각 언제 사용해야 하나의 궁금증으로 찾아보고 네트워크에도 여러번 실험해봤지만, 결과적으로 Element wise sum과 concat은 각각 자신의 네트워크에 맞게 사용해야 한다고 생각한다. 물론 메모리 관점에서는 Add가 concat보다 더 성능이 좋다. 이 둘의 차이는 평소 우리의 생활의 예를 들어보면 된다. A가 3000원 B가 .. 2020. 2. 12.

티스토리툴바