Ref. Open: 쿠다

레이블이 쿠다인 게시물을 표시합니다. 모든 게시물 표시

2014년 9월 18일 목요일

R-CNN 설치와 실행

이제 Ubuntu 14.04LTS, MATLAB 2013b, caffe, cuda 6.0을 모두 설치하셔다면 R-CNN까지도 접해보시기를 추천합니다. 서두에 말씀드렸던 것처럼 CNN을 prototxt 파일을 수정함으로써 원하는 형태로 구성하고 학습할 수 있습니다.

github rcnn 페이지에서도 영문으로 가이드를 보실 수 있습니다.

특별히 설정을 바꾸거나 하지 않아도 readme.md에 설명된 대로만 따라가면 rcnn_demo를 실행할 수 있습니다.

다만, NVIDIA cuda가 장착되지 않은 그래픽 카드이거나 사양이 낮다면 다음 글을 참고하여 실행해보시기 바랍니다.

R-CNN: Regions with Convolutional Neural Network Features. 저사양의 그래픽 카드에서 GPU mode로 실행하기

실행된 화면은 다음과 같습니다.

재미있는 사진을 데모에 제시했습니다. 사람과 물고기 모양 자전거를 보여주면 어떻게 인식이 되는지.볼 수 있습니다. 가장 높은 스코어 순서로 사람, 자전거, 선글라스가 검출되었습니다.

2014년 9월 16일 화요일

R-CNN: Regions with Convolutional Neural Network Features. 저사양의 그래픽 카드에서 GPU mode로 실행하기

rcnn_demo()를 실행하는 경우 cuda memory가 충분하지 않은 사양의 그래픽 카드에서는 (<=1GB) 기본 설정으로 동작이 되지 않고 아래와 같은 에러 메시지를 출력할 수 있다.

Check failed: error == cudaSuccess (2 vs. 0) out of memory

Selective search를 통해서 얻어낸 후보군들에 대한 CNN을 통과하는 이미지의 갯수를 한 번에 256개로 설정해두었기 때문에 이것을 적절히 조절하면 저사양의 그래픽 카드에서도 실행할 수 있다.

$RCNN_ROOT/data/rcnn_models/ilsvrc2013/rcnn_model.mat

을 열어 CNN 멤버에 batch_size를 적절히 조절하고 같은 숫자를

$RCNN_ROOT/model-defs/rcnn_batch_256_output_fc7.prototxt

에서 input_dim: 256 으로 설정되어 있는 기본값을 바꾸어 주면 된다.

caffe 를 이용해 MNIST 필기체 인식 해보기

Handwritten digit recognition using caffe

$CAFFE_ROOT/examples/mnist에는 mnist dataset에 대한 learning과 test에 대한 데모가 준비 되어 있습니다.

cd $CAFFE_ROOT/data/mnist ./get_mnist.sh

cd $CAFFE_ROOT/examples/mnist ./create_mnist.sh

명령으로 mnist dataset을 받고

cd $CAFFE_ROOT/examples/mnist ./train_lenet.sh

을 수행하면 그림과 같이 학습이 진행되는 것을 확인할 수 있습니다.

lr은 learning rate이고 loss는 각 단계에서 발생된 loss function의 값입니다.

CNN에 대한 학습과정은 다음 링크에서 보다 시각화된 형태로 관찰할 수 있습니다.

ConvNetJS MNIST demo

마지막 output layer에서 activation되는 neuron을 관찰하면 입력된 숫자와 일치하는 것을 볼 수 있습니다.

놀라운 것은 이 모든 행동이 처음 네트워크를 구성해주는 것 말고는 모두 자동으로 이루어 진다는 것입니다. 컴퓨터 비전에서 특징점을 추출하거나 에지를 검출하는 필터를 디자인 하고자 할 때 gradient를 볼 수 있도록 하는 필터를 설계하게 되는데, CNN을 학습함으로 인해서 입력값들은 보다 잘 구분할 수 있도록 하는 필터의 값들은 스스로 학습하게 되는 것입니다.

R-CNN: Regions with Convolutional Neural Network Features. 설치와 실행

CVPR2014에 Rich feature hierarchies for accurate object detection and semantic segmentation이라는 제목으로 게재된 논문에 사용된 소스를 설치하고 실행한 결과에 대해서 게재하고자 합니다.

R-CNN은 Berkeley Vision and Learning Center(BVLC)에서 만든 caffe(An Open Source Convolutional Architecture for Fast Feature Embedding)를 기반으로 방대한 양의 영상 데이터 베이스로부터 학습한 CNN(Convolutional Neural Network)을 이용해서 물체에 대한 사진을 분류하고 인식하는 방법입니다.

IMAGENET 2014에서 ILSVRC14 Task 1b: Object detection with additional training data 부문에서 5번째에 랭크 되었습니다(ILSVRC14 결과). 올해 5월에만해도 다른 모든 방법들보다 우수할 것으로 자체적으로 판단하였습니다.

상위 몇개의 방법들은 CNN을 기본으로 하는 것이 유사하고 각 레이어의 크기와 형태를 정하는 방법들에 의해 성능이 결정되는 경우가 많아서 R-CNN을 분석해보는 것이 물체 인식을 위한 기계 학습에 적절하다고 생각됩니다. MATLAB과 python에 대한 매우 편리한 인터페이스를 지원하기 때문에 text파일로 정의되는 레이어의 크기와 형태를 수정하는 것만으로도 완전히 새로운 CNN을 구성할 수 있기 때문입니다.

다음 순서로 진행됩니다.

여기에서는 3, 4, 5에 대해서만 다룹니다.

caffe 설치와 실행

An Open Source Convolutional Architecture for Fast Feature Embedding

영어, git project, CUDA, Ubuntu에 대해서 익숙하시다면 곧 바로 caffe git hub페이지로 가셔도 좋습니다.

http://caffe.berkeleyvision.org/

https://github.com/BVLC/caffe

버전관리 툴을 사용하고 계신다면 git에 대해서 생소하지 않으실 겁니다. open source기반의 VCS는 CVS, Subversion을 거쳐 현재는 git이 대세로 굳어지는 것처럼 느껴집니다.

git에 대한 한국어 입문을 위한 페이지는 다음을 참조하시기 바랍니다.

git - 간편 안내서

여기에서는 우분투 14.04LTS에 Matlab 2013b가 설치된 환경을 가정합니다.

사전 설치가 필요한 것들

BLAS(ATLAS)

sudo apt-get install libatlas-base-dev

OpenCV
glog, gflags, protobuf, leveldb, snappy, hdf5, lmdb

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler

git clone 생성

git clone https://github.com/BVLC/caffe

명령으로 로컬 저장소에 복제본을 생성합니다.

export CAFFE_ROOT=$pwd

MATLAB wrapper 설정

CAFFE_ROOT의 Makefile.config에서 MATLAB_DIR을 현재 설치된 경로로 수정

compile

make all

make test

make runtest

정상적으로 cuda가 설치 되었다면 nvcc로 컴파일된 모듈에 대한 정상적인 테스트가 완료됩니다.

MATLAB wrapper 정상 동작 확인

MATLAB을 실행시키고 $CAFFE_ROOT/matlab/caffe 로 이동

matcaffe_init.m을 실행시키면 model과 prototxt파일이 없다고 나옵니다.

model은 학습을 통해서 얻은 가중치와 CNN필터의 값입니다. prototxt는 CNN이 어떻게 구성되어 있는지 description해주는 파일입니다.

$CAFFE_ROOT/examples/imagenet 으로 이동

get_caffe_reference_imagenet_model.sh 파일을 실행시켜 model 파일을 받아옵니다.

$CAFFE_ROOT/matlab/caffe/matcaffe_init과 matcaffe_demo를 실행시켜봅니다.

matcaffe_demo는 ILSVRC의 1000개의 물체에 대한 object classification demo 입니다.

2014년 9월 15일 월요일

ILSVRC(Large Scale Visual Recognition Challenge)

PASCAL VOC와 함께 물체 인식 분야에서 양대 산맥을 이루다가 PASCAL VOC가 막을 내리면서, 독보적인 국제대회로 자리 매김 했습니다.

물체 인식을 위한 DB를 공개하는 역할을 하는 IMAGENET의 영상을 이용해서 학습한 검출기, 분류기를 겨루는 국제대회입니다. 처음에는 물체 분류에 대해서만 국한되어서 진행되다가 최근에는 물체 분류, 검출, 검출 위치 추정까지 점점 난이도가 높아지고 있고 제출되는 결과도 우수해지고 있습니다.

물체 인식을 위한 DB는 Caltech 101, Caltech 256과 같이 적은 클래에 대한 것이 아니라 IMAGENET은 기본적으로 WordNet의 단어 분류에 따른 명사에 대한 물체 영상 DB구축을 목표로 하므로 매우 방대합니다. 현재 구축되어 있는 DB는 21841개의 물체 종류에 대해서 14,197,122(2014.9.16 기준)개의 영상을 보유하고 있습니다. 조회하는 것은 누구나 가능하지만 다운로드 하려면 협약된 비영리 단체에 한하여 가능합니다. (300GB이상입니다.)

2014년 8월 20일 수요일

우분투 14.04 LTS에서 Nvidia cuda 6.0 설치

우분투 14.04 LTS에서 Nvidia CUDA 6.0 설치

우분투 14.04에서 CUDA 6.0 설치를 위해서는 몇 가지 조작이 필요하다.

새로 설치하는 경우라면 다음 명령을 확인해본다.

```
apt-get install build-essential
```

cuda 6.0 run 패키지를 다운로드 한다. 현재는 다음 버전이 최신 버전으로 확인됨.http://developer.download.nvidia.com/compute/cuda/6_0/rel/installers/cuda_6.0.37_linux_64.run
터미널을 열고 run 패키지의 압축을 해제한다. 압축을 해제하지 않고 run 패키지를 바로 실행 시켜도 설치가 되어야 하지만 아직은 호환성에 문제가 있는 것으로 보임.

mkdir ~/Downloads/nvidia_installers;
cd ~/Downloads
./cuda_6.0.37_linux_64.run -extract=~/Downloads/nvidia_installers;

기존에 설치된 nvidia 드라이버를 삭제한다.
```
sudo apt-get --purge remove nvidia-*
```

이제 X window를 ctrl+alt+F1으로 탈출하고 터미널로 로그인한 뒤 다음을 통해 설치를 진행한다.

cd ~/Downloads/nvidia_installers;
sudo service lightdm stop
sudo killall Xorg
sudo ./NVIDIA-Linux-x86_64-331.62.run

nvidia 드라이버가 설치되면 이제 X window를 ctrl+alt+F1으로 탈출하고 터미널로 로그인한 뒤 다음을 통해 설치를 진행한다.

sudo modprobe nvidia
sudo ./cuda-linux64-rel-6.0.37-18176142.run
sudo ./cuda-samples-linux-6.0.37-18176142.run

설치가 제대로 되었는지 확인

cd /usr/local/cuda/samples
sudo chown -R <username>:<usergroup> .
cd 1_Utilities/deviceQuery
make .
./deviceQuery

X window로 복귀
```
sudo service lightdm start
```

설치가 제대로 되었는지 확인할 수 있다.
```
lsmod | grep nv
```