티스토리

정리

검색하기

블로그 홈

정리

better-tomorrow.tistory.com/m

머리올리자 님의 블로그입니다.

구독자: 13

방명록 방문하기

주요 글 목록

오랜만에 글... 오랜만에 글을 정리하는 것 같다... 올해 1월 초부터 연구소 입사 후에 몇 달간 치여 살아서 그런지 공부를 많이 못했다.. 틈틈이 계속 해야겠다... 공감수 1 댓글수 0 2023. 4. 9.
결측치 처리 값으로 채우기 df.fillna(값) # 특정값으로 채우기 df.fillna(method='pad') # pad/ffill 앞선행의 값으로 채움 df.fillna(method='bfill') # bfill/backfill 다음 행의 값으로 채움 금융 시계열 분석에서는 보통 앞선 행의 값을 가져온다고 함(forward fill) 결측치 제거 df.dropna() df.dropna(axis = 'rows' or 'columns') df.dropna(axis = 0 or 1) 공감수 0 댓글수 0 2023. 2. 20.
Datetime 다루기 날짜표현(STR -> DATETIME) import datetime format = '%Y-%m-%d %H:%M:%S' datetime_str = '2018-05-13 12:34:56' # STRING datetime_dt = datetime.datetime.strptime(datetime_str, format) # STRING -> DATETIME print(type(datetime_dt)) print(datetime_dt) 2018-05-13 12:34:56 날짜표현(DATETIME -> STR) datetime_str = datetime_dt.strftime('%Y-%m-%d %H:%M:%S') print(type(datetime_str)) # print(datetime_str) # 2018-08-.. 공감수 0 댓글수 0 2023. 2. 19.
판다스 기본 학습 # 인덱스 차이 pd_series = pd.Series([1, 2, 3, 4], index=["일", "이", "삼", "사"]) pd_series_no_idx = pd.Series([1, 2, 3, 4]) index 있을 때 일 1 이 2 삼 3 사 4 dtype: int64 index 없을 때 0 1 1 2 2 3 3 4 dtype: int64 range pd.Series(range(100, 110)) 0 100 1 101 2 102 3 103 4 104 5 105 6 106 7 107 8 108 9 109 dtype: int64 인덱스 접근 pd_series.index Index(['일', '이', '삼', '사'], dtype='object') 값 접근 pd_series.values array([.. 공감수 0 댓글수 0 2023. 2. 19.
깃 명령어 초기 PUSH git config --global user.name [github 가입이름] git config --global user.email [github 가입이메일] git init git add . git commit -m [메세지] git push -u [repo 주소] master branch 이름이 바뀌었을 때 git branch -m main master git fetch origin git branch -u origin/master master git remote set-head origin -a Origin 추가 git remote add origin [repo 주소] 공감수 0 댓글수 0 2023. 2. 12.
YOLOv5 PyTorch 돌려보기 (작성 중) https://github.com/ultralytics/yolov5 GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite. Contribute to ultralytics/yolov5 development by creating an account on GitHub. github.com 위가 원작자 코드인가보다 STAR가 가장 많다. https://github.com/ultralytics/yolov5/wiki/Docker-Quickstart GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > Core.. 공감수 0 댓글수 0 2023. 1. 18.
/opt/innorix-ex/innorixes.bin: error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory 우분투 22.04의 문제인듯 하다. 아래 코드로 실행하니 잘 해결되었다. wget http://nz2.archive.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.1_1.1.1f-1ubuntu2.16_amd64.deb sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2.16_amd64.deb 공감수 0 댓글수 0 2023. 1. 17.
gnome-remote-desktop grub-common grub-pc grub-pc-bin grub2-common0 upgraded, 0 newly installed, 0 to remove and 5 not upgraded 위 에러는 직접 설치해주니 해결되었다. (grub-common 제외) sudo apt install gnome-remote-desktop grub-pc grub-pc-bin grub2-common 공감수 0 댓글수 0 2023. 1. 17.
ROC curve and AUC 머신 러닝에서 performance measurement는 필수다. 특히, Classification task에 대해서, AUC-ROC curve를 통해 성능을 측정할 수 있다. 우리가 multi-class classification problem의 performance를 측정하거나 시각화할 때 AUC(Area Under the Curve) ROC(Receiver Operating Characteristics) 곡선을 사용한다. 이는 모든 classification model의 성능을 확인하기 위한 가장 중요한 evaluation metrics 중 하나. AUROC(Area Under the Receiver Operating Characteristics) 라고도 한다. What is the AUC - R.. 공감수 0 댓글수 0 2022. 8. 6.
SSD(single shot detector)를 활용한 지폐 detection 웹캠 결과 - Single shot detector(SSD)를 이용하여 연구실에서 구축한 데이터로 지폐 검출을 진행. - 학습 데이터와는 다른 환경 및 scale invariant로 인해 검출율 및 인식률 예상보다 저하. 아래 future work를 통해 성능을 향상시킬 예정 [Future work] - 다양한 환경 및 변화가 있는 화폐 데이터 추가 확보 - Various online data augmentation 방법 적용 - Multi-scale을 고려한 모델 설계 데이터를 제외하고 곧 github에 소스코드를 올려야겠다. 공감수 0 댓글수 0 2022. 7. 28.
GPG error: https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY A4B469963BF863CC GPG error: https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY A4B469963BF863CC 위 에러 때문에 이곳저곳 정보를 찾아보다가 아래로 해결되어 따로 정리해놓음 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 저 중간의 에러에 A4B469963BF863CC를 위 명령어 에 대체하여 넣으면 잘 작동된다. 공감수 3 댓글수 0 2022. 7. 25.
TensorRT 활용해보기 (Pytorch example) TensorRT를 막상 써보려니 뭔가 잘 정리되어 있는 내용들이 없어서 따로 업데이트 해보려고 한다. 우선 내가 자주 쓰는 framework는 pytorch지만 tensorflow에서 또한 사용을 해야하기 때문에 두 케이스 모두에 대해서 알아보려고 한다. [pytorch]는 TRT [tensorflow]는 TF-TRT 로 나뉜다고 한다 (pytorch에 대해서 먼저 tensorRT를 만들고 tensorflow를 나중에 적용해서 앞에만 TF가 붙은건가??) Documentation은 아래와 같은 듯 보인다. [TRT] https://developer.nvidia.com/tensorrt#what-is NVIDIA TensorRT An SDK with an optimizer for high-performanc.. 공감수 1 댓글수 0 2022. 7. 25.
TensorRT 개념 정리 [TensorRT] 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상시켜 Deep Learning 서비스 TCO (Total Cost of Ownership) 를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진 1. Introduction 아래 두 개를 포함 1) Optimizer : NVIDIA GPU 연산에 적합한 최적화 기법들을 이용하여 모델을 최적화 2) Runtime Engine : 다양한 GPU에서 모델연산을 수행 - 다양한 Framework 등에서 학습된 모델을 지원 → Deep Learning model Inference 가속을 지원 TensorRT Introduction 2. TensorRT developme.. 공감수 1 댓글수 0 2022. 7. 25.
from win32com.shell import shellcon, shell ImportError: DLL load failed while importing shell: 지정된 프로시저를 찾을 수 없습니다. (base) C:\Windows\system32>conda create -n tf12 python=3.8 WARNING conda.exceptions:print_unexpected_error_report(1216): KeyError('pkgs_dirs') Traceback (most recent call last): File "C:\Users\choi\anaconda3\lib\site-packages\conda\exceptions.py", line 1082, in __call__ return func(*args, **kwargs) File "C:\Users\choi\anaconda3\lib\site-packages\conda\cli\main.py", line 87, in _main exit_code = .. 공감수 1 댓글수 0 2022. 7. 19.
Detection metrics 정리 (정리 중) IoU (Intersection over Union) Object에 대한 prediction이 정확한지 여부를 결정하기 위해 IoU 또는 Jaccard Index가 사용됨. Prediction bbox와 실제 bbox의 교집합(intersection)을 합집합(union)으로 나눈 교차 값으로 정의. Prediction이 "IoU > threshold"면 True Positive / "IoU < threshold"이면 False Positive로 간주. 한마디로, predicted box와 ground truth box의 겹친(overlapping) 영역으로 보면 된다. 일반적으로, IoU가 일부 threshold 값보다 큰 모든 bounding box candidates를 유지한다 Detection 성.. 공감수 0 댓글수 0 2022. 7. 13.
Tutorial to Object Detection Detection에 대해서 정리하다가 아래 링크에 좋은 내용들이 많아 공부할 겸 정리해보고자 한다. 아래 링크의 내용은 single shot detector(SSD) based로 정리하였다. https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Object-Detection GitHub - sgrvinod/a-PyTorch-Tutorial-to-Object-Detection: SSD: Single Shot MultiBox Detector | a PyTorch Tutorial to Object Dete SSD: Single Shot MultiBox Detector | a PyTorch Tutorial to Object Detection - GitHub - sgrvinod.. 공감수 0 댓글수 0 2022. 7. 10.
Jaccard 계수 (Jaccard coefficient) Jaccard coefficient (Jaccard index 및 Jaccard similarity) 라고도 함 두 집합 사이의 similarity를 측정하는 방법 중 하나. 0~1 사이의 값을 가지며 두 집합이 동일하면 1의 값을 가지고, 공통 원소가 없으면 0을 가진다. 참고 https://ko.wikipedia.org/wiki/%EC%9E%90%EC%B9%B4%EB%93%9C_%EC%A7%80%EC%88%98 자카드 지수 - 위키백과, 우리 모두의 백과사전 ko.wikipedia.org Object detection에서의 Jaccard coefficient 사용 Object Detection 시 사전에 정의된 box(ex. SSD의 경우 prior box)에서 학습 이미지의 정답인 bounding .. 공감수 0 댓글수 0 2022. 7. 6.
Single shot detector에서 bounding box 예측(offset 및 SSD output based) Prior box = (cx_p, cy_p, w_p, h_p) SSD output(loc) : (Δcx, Δcy, Δw, Δh) 위 사전 정의한 prior box와 ssd output으로 bounding box 좌표를 예측할 수 있음. cx = cx_p + 0.1Δcx * w_p cy = cy_p + 0.1Δcy * h_p w = w_p + exp(0.2Δw) h = h_p + exp(0.2Δh) (위 0.1과 0.2는 variance 값들로 사전에 정의된다) 1) Positive box: Prior box 중 ground truth box와 IoU가 0.5 이상인 prior box (object 찾기) 2) Negative box: Prior box 중 ground truth box와 IoU가 0.5 .. 공감수 0 댓글수 0 2022. 7. 4.
SSD - VGG backbone feature VGG16 feature extract 할 때 feature shape 및 추출 부분 메모 input : [batch, 3, 300, 300] ModuleList( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) # torch.Size([32, 64, 300, 300]) (1): ReLU(inplace=True) # torch.Size([32, 64, 300, 300]) (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) # torch.Size([32, 64, 300, 300]) (3): ReLU(inplace=True) # torch.Size([32, .. 공감수 0 댓글수 0 2022. 6. 23.
PASCAL VOC class 순서 detection 코드 정리하다가 pascal voc 클래스 dictionary를 따로 메모해 놓음 {'__background__': 0, 'aeroplane': 1, 'bicycle': 2, 'bird': 3, 'boat': 4, 'bottle': 5, 'bus': 6, 'car': 7, 'cat': 8, 'chair': 9, 'cow': 10, 'diningtable': 11, 'dog': 12, 'horse': 13, 'motorbike': 14, 'person': 15, 'pottedplant': 16, 'sheep': 17, 'sofa': 18, 'train': 19, 'tvmonitor': 20} 공감수 0 댓글수 0 2022. 6. 22.
Pytorch dataset(sampler) 코드를 보다가 pytorch에서 sampler를 사용하길래 간단히 아래와 같이 코드를 짜서 output을 확인해서 어떤식으로 동작하는지 찾아보았다. import random import numpy as np import torch from torch.utils.data import Dataset, RandomSampler, BatchSampler random_seed = 8138 torch.manual_seed(random_seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False np.random.seed(random_seed) random.seed(random_seed) torch.cuda.manual_s.. 공감수 1 댓글수 0 2022. 6. 21.
SSD(single shot detector) 코드 분석 1. (data) 아래 SSD 코드를 보고 필요한 내용 개인적으로 기록 https://github.com/lufficc/SSD GitHub - lufficc/SSD: High quality, fast, modular reference implementation of SSD in PyTorch High quality, fast, modular reference implementation of SSD in PyTorch - GitHub - lufficc/SSD: High quality, fast, modular reference implementation of SSD in PyTorch github.com PASCAL VOC data training data : PASCAL VOC 2007 & 2012 testing data.. 공감수 0 댓글수 0 2022. 6. 4.
SSD(single shot detector) 코드 분석 0. (prior box) SSD에서는 ground truth box, predict box 이외에도 prior box를 미리 정의하여 학습에 사용 1. Feature map size - [38, 19, 10, 5, 3, 1] 2. shrink range(stride) - [8, 16, 32, 64, 100, 300] 3. box size(min, max) - [30, 60, 111, 162, 213, 264] / [60, 111, 162, 213, 264, 315] 4. aspect_ratio - [[2], [2, 3], [2, 3], [2, 3], [2], [2]] 실제 구현상은 어떻게 되어 있나 보자 # https://github.com/qfgaohao/pytorch-ssd """Generate SSD Prior Boxes... 공감수 0 댓글수 0 2022. 5. 17.
RNN이란 RNN : Recurrent Neural Network RNN의 기본 구조 Recurrent : 순환한다 Recurrent Neural Network : 순환하는 뉴럴 네트워크 순환을 하기 위해서는 "닫힌 경로" 혹은 "순환하는 경로"가 필요함. 데이터가 순환하면서 끊임없이 정보가 갱신됨 RNN에 이용되는 계층을 "RNN 계층"이라고 부름 RNN의 간단한 구조는 아래와 같음 RNN layer는 순환하는 경로를 포함한다. - 이 순환 경로를 따라 데이터를 layer 안에서 순환시킬 수 있음. 또한 $x_t$를 입력으로 받으며 $t$는 시각을 뜻함 이는 입력으로 $(x_0, x_1, ..., x_t, ...)$ 의 시계열 데이터가, 출력으로 $(h_0, h_1, ..., h_t, ...)$ 가 입력에 대응되.. 공감수 0 댓글수 0 2022. 5. 12.
Neural Architecture Search with Reinforcement Learning. part.1 (논문 리뷰) 논문 : https://arxiv.org/pdf/2005.11074.pdf Neural architecture search 분야에 관심이 생겨 관련 분야의 첫 논문을 시작으로 정리를 해보고자 한다. Abstract Neural network는 이미지, 소리, 그리고 자연어를 이해와 같은 많은 어려운 학습 task에서 강력하고 유연한 모델이다. 그러나 neural network를 디자인하기란 여전히 어렵다 (실제로 그렇다, 내 데이터에 적합한 모델을 찾기에는 많은 시간과 노력이 필요하다. ex, 논문 분석 -> 코드 구현 -> 학습 -> 테스트 -> 결과 분석 -> 좋은 결과가 나올 때까지 반복...) 본 논문에서는 RNN을 사용해 neural network model descriptions를 생성하고, .. 공감수 0 댓글수 0 2022. 5. 10.
PASCAL VOC detection 데이터 및 라벨 구조(간단히 정리) Detection 코드를 분석하다가 dataset에 대한 기본 구조를 따로 정리 해놓아도 좋을 것 같아서 간단히 해본다. PASCAL VOC 2007 trainval subset : 5011 images test subset : 4952 images PASCAL VOC 2012 train subset : 5717 images validation subset : 5823 images PASCAL VOC 2007 & PASCAL VOC 2012 trainval : 16551 (5011 + 5717 + 5823) 보통 validation 할 때는 pascal voc 2007 test data(4952 images)에 대해서 활용하는 것 같다. PASCAL VOC 2007 이미지 위 그림을 보면 남자와 개가 있.. 공감수 0 댓글수 0 2022. 5. 2.
Segmentation 작업시 참고해야 할 것들 (간략히 정리 중) segmentation 작업하다가 참고해야 할 것들 간략히 정리. 나중에 디테일하게 정리해보자. 1. Ignore label ignore index 확인 후 gradient update 안되게 지정 2. Image open 위는 open source code에 나와있는 방법 입력 이미지를 열 때 np.float32으로 열고 (입력이미지는 그냥 open하고 나중에 tensor로 바꿔도 되겠다.) 라벨 이미지를 열 때 np.int32로 연다. 조금 더 살펴보자 현재 iteration에서 위의 label을 불러왔다. 위 label에 대한 입력 이미지와 라벨 이미지는 아래와 같다. 고양이와 의자 이미지다. 위 라벨 이미지를 np.unique하여 고유값들이 어떤 것들이 있나 살펴보았다. np.unique을 했을 .. 공감수 0 댓글수 0 2022. 3. 26.
@staticmethod 와 @classmethod @staticmethod 와 @classmethod 코드 분석을 하다가 staticmethod가 많이 보여 classmethod와 함께 정리해본다. 공통점 정적메서드로써 클래스에 직접 접근할 수 있는 메서드 (보통은 클래스를 정의한다음 사용하려면 클래스 인스턴스 정의가 필요하다) 아래 코드를 보자 보통의 클래스(인스턴스 선언 후 사용) class test_class: def __init__(self): return print("instance made") def test_output(self, num1, num2): return num1 + num2 # print(test_class.test_output(1, 2)) -> 사용 불가 cls_instance = test_class() # instance m.. 공감수 0 댓글수 0 2022. 3. 7.
Cross entropy loss 정리 한 번쯤 정리할 필요가 있다고 느꼈는데 이제 정리해본다. 보통 언급하는 cross entropy loss는 아래의 식들처럼 표현한다. 어렵게 생각할 필요 없고 위 식은 한개의 샘플에 대해서 아래의 식은 전체 샘플의(m)의 평균(1/m)을 계산하여 식을 만든 것으로 보면될 것이다. log안에 들어가는 값은(y or p) 모델의 output probability, log 앞에 붙는 값(t or y)은 true label로 생각하면 된다. 보통 true label은 one-hot으로 해당되는 라벨 인덱스만 1이고 나머지는 0이다. 단일 샘플에 대하여 cross entropy loss를 적용해보자 ex) true label = [0, 1, 0] output probability = [0.1, 0.6, 0.3] .. 공감수 0 댓글수 0 2022. 3. 6.
소프트맥스 회귀(softmax regression) Logistic Regression model은 여러 개의 binary classifier를 이용하여 multiple 클래스를 구현할 수 있다. 이를 Softmax Regression 혹은 multinomial logistic regression이라 표현 가능 개념 샘플 x가 주어지면 softmax regression model이 각 클래스 k에 대한 점수를 계산하고,그 점수에 softmax function을 적용하여 각 클래스의 확률을 추정. 위 s는 x가 주어졌을 때 각 클래스 k에 대한 점수다. -- $$\textcolor{red}{\text{각 클래스는 자신만의 파라미터 벡터} θ^{(k)} \text{가 존재}} $$ -- 이 벡터들은 파라미터 행렬(parameter matrix) Θ에 저장된다.. 공감수 0 댓글수 0 2022. 3. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.