SSD(single shot detector) 코드 분석 0. (prior box)
SSD에서는 ground truth box, predict box 이외에도 prior box를 미리 정의하여 학습에 사용
1. Feature map size
- [38, 19, 10, 5, 3, 1]
2. shrink range(stride)
- [8, 16, 32, 64, 100, 300]
3. box size(min, max)
- [30, 60, 111, 162, 213, 264] / [60, 111, 162, 213, 264, 315]
4. aspect_ratio
- [[2], [2, 3], [2, 3], [2, 3], [2], [2]]
실제 구현상은 어떻게 되어 있나 보자
# https://github.com/qfgaohao/pytorch-ssd
"""Generate SSD Prior Boxes.
It returns the center, height and width of the priors. The values are relative to the image size
Args:
specs: SSDSpecs about the shapes of sizes of prior boxes. i.e.
specs = [
SSDSpec(38, 8, SSDBoxSizes(30, 60), [2]),
SSDSpec(19, 16, SSDBoxSizes(60, 111), [2, 3]),
SSDSpec(10, 32, SSDBoxSizes(111, 162), [2, 3]),
SSDSpec(5, 64, SSDBoxSizes(162, 213), [2, 3]),
SSDSpec(3, 100, SSDBoxSizes(213, 264), [2]),
SSDSpec(1, 300, SSDBoxSizes(264, 315), [2])
]
image_size: image size.
clamp: if true, clamp the values to make fall between [0.0, 1.0]
Returns:
priors (num_priors, 4): The prior boxes represented as [[center_x, center_y, w, h]]. All the values
are relative to the image size.
"""
for spec in specs:
scale = image_size / spec.shrinkage
for j, i in itertools.product(range(spec.feature_map_size), repeat=2):
x_center = (i + 0.5) / scale # normalize
y_center = (j + 0.5) / scale # normalize
# SQUARE BOX : SMALL SIZE
size = spec.box_sizes.min
h = w = size / image_size # ORIGINAL BOX SIZE / IMAGE SCALE
# feature map point, feature map point, relative box scale, relative box scale
priors.append([x_center, y_center, w, h])
# SQUARE BOX : BIG SIZE
size = math.sqrt(spec.box_sizes.max * spec.box_sizes.min) # SQUARE_ROOT(BIG * SMALL)
h = w = size / image_size
priors.append([x_center, y_center, w, h])
# CHANGE RATIO OF THE SMALL SIZED BOX
size = spec.box_sizes.min
h = w = size / image_size
for ratio in spec.aspect_ratios:
ratio = math.sqrt(ratio)
priors.append([x_center, y_center, w * ratio, h / ratio]) # increase width, decrease height
priors.append([x_center, y_center, w / ratio, h * ratio]) # decrease width, increase height
38 x 38을 예시로 들면
scale = 300 / 8 = 37.5
j, i 가 0, 0 일 때
x_center = (0 + 0.5) / 37.5 (scale)
y_center = (0 + 0.5) / 37.5 (scale)
- 0.5를 더해주는 이유는 center 지점을 찾으려하는 이유로 생각되며
- 37.5로 나누는 이유는 normalize를 위함이라고 생각됨
square box(min)
미리정의한 minimum box 사이즈(30)를 가져와 image_size를 나눠 비율을 계산하고
h = w = 30 / 300 = 0.1
prior 리스트에 append 한다
([x_center, y_center, w, h]) -> ([0.013333333333333334, 0.013333333333333334, 0.1, 0.1])
square box(max)
미리정의한 maximum box 사이즈(60)를 가져오며 값을 새로 다시 정의한다.
size = math.sqrt(spec.box_sizes.max * spec.box_sizes.min)
size = root(60 * 30) = 42.426406871
h = w = 42.426406871 / 300 = 0.14142135
이를 또 append 한다
([x_center, y_center, w, h]) -> ([0.013333333333333334, 0.013333333333333334, 0.14142135, 0.14142135])
Rectangle Box(modified from the small box)
minimum box 사이즈(30)를 가져와 ratio에 따라 변형한다.
h = w = 30 / 300 = 0.1
38일 때의 aspect ratio는 [2]
1. aspect ratio에 root 장착 -> root(2) -> 1.4142
2-1) width 늘리고, height 줄이고 -> (x_center, y_center, w * ratio, h / ratio)
2-2) width 줄이고, height 늘리고 -> (x_center, y_center, w / ratio, h * ratio)
결국 feature map size 38 x 38에서는 4개의 box(square 2개, rectangle 2개) 가 생기며총 38 x 38 x 4 = 5776개의 box가 생겨나는 것이다.
center 좌표를 계산할 때는 실제 연산시 줄어들 사이즈만큼 normalize해서 계산하는 반면 (x_center = (i + 0.5) / 37.5 (scale))
box의 height width 구할 때는 pre-defined한 box size에서 pre-defined image size를 나눈다. (h=w=size / image_size)
한 눈에 들어올 수 있게 아래와 같이 정리해봄
여기서
center 좌표는 feature map 사이즈를 기반으로,
width, height는 input image 사이지를 기반으로
되어 있으며
모두 해당 사이즈로 나누어 0~1로 normalize되어 있다는 것이다.