deepfloyd-if 란? stable diffusion을 개발한 Stability 의 연구 조직인 DeepFloyd Lab에서 개발한 Text to image 모델이다.IF는 높은 수준의 현실적인 이미지 생성과 언어 이해 능력을 가지고 있고, 이미지에 원하는 텍스트를 넣어 생성할 수 있다는 점이 큰 차별점이다. Stable diffusion은 이미지 생성은 잘 했지만 텍스트를 포함한 이미지 예를들어 ‘mineral’ 을 포함한 네온 사인 을 그리려고 하면 네온 사인은 잘 그려도 mineral이란 텍스트를 온전하게 구현 해 내지 못한다는 단점이 있었다.  이미지를 보면 확실한 차이를 알 수있다. stable diffusion으로 생성한 이미지는 영어가 적혀있긴 하지만 제대로 읽을 수 어없다. 반면 IF..

Stable Diffiusion  Stable diffusion이란 diffusion을 활용한 딥러닝 모델이며, 여러 연구자들이 모여 오픈 소스로 공개하기 위한 목적으로 개발된 이미지 생성 모델입니다.Stable diffusion 이전에 OpenAI의 DALLE, DALLE2, Google의 Imagen 등 여러 모델이 공개되었지만, 모델의 전체 구조나 학습 파라미터들이 오픈 소스로 공개되지는 않았습니다. 하지만 Stable diffusion은 Stability.ai라는 곳에서 후원을 받아 모델을 개발한 이후 전부 오픈 소스로 공개하였습니다.Stable Diffiusion의 특징은 다음과 같습니다.모두 공개된 오픈 소스이다.GPU 1장으로도 inference가 가능해 쉽게 이미지 생성을 경험해 볼 수 있..

Diffusion 이란? Diffusion은 GAN, VAE와 같은 생성 모델(Generative Model)이다. 작년부터 화제를 모은 text-to-image모델인 Stable diffusion, DALL-E 2, Midjourney의 기반이 되는 모델이다.   Diffusion model의 학습 Diffusion model은 입력 이미지에 gaussian Noise를 여러 단계에 걸쳐 추가하여 완전한 random nosie로 만들어주는 과정을 거치고, 이후 여러 단계에 걸쳐 Noise를 제거하는 과정을 거침으로써 random noise로부터 이미지를 생성하는 과정을 수행한다.학습하는 과정에서 입력 이미지에 Noise가 서서히 확산(diffusion) 하기 때문에 Diffusion이라는 이름이 붙었다..

Semantic Segmentation  semantic segmentation은 위와 같이 이미지를 픽셀 단위로 분류하는 것을 말한다. 흔히 아는 자율 주행에도 이 기술이 들어갑니다.한 장의 화상에 포함된 여러 물체의 영역과 이름을 픽셀 수준에서 지정하는 작업을 시맨틱 분할(semantic segmentation)이라고 합니다. obejcet detection이 물체를 커다란 직사각형의 BBox로 묶었지만 시맨틱 분할에서는 픽셀 수준으로 어디에서 어디까지 어떠한 클래스 물체인지 라벨을 붙입니다. 제조업의 흠집 탐지, 의료 영상 진단의 병변 감지, 자율 운전의 주변 환경 파악 등에서 시맨틱 분할 기술을 사용합니다.이를 구현 하기 위해 Fully Convolutional Network(FCN)을 도입하게 ..

R-CNN 계열 모델 소개 R-CNN은 CNN에 Region Proposal 을 추가하여 물체가 있을법한 곳을 제안하고, 그 구역에서 object detection을 하는 것이다. R-CNN 계열 모델은 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 까지 총 4가지 종류가 있다. R-CNN은 분류 후 회귀, Fast R-CNN, Faster R-CNN은 분류와 회귀를 병렬로, Mask R-CNN은 여기에 Masking 까지 병렬로 수행 mask R-CNN 구조 BackBone 이미지의 feature 추출을 위해 사용 ResNet과 ResNeXt의 50, 101 layer과 FPN(Feature Pyramid Network)을 backbone으로 사용 FPN(Feature ..

object detction - SSD obejct detection 이란 한 장의 사진에 포함된 여러 물체에 대해 영역과 이름을 확인하는 작업입니다. 아래 이미지는 object detection의 결과입니다. 사람과 야구 방망이에 각각 테두리가 표시되어 있습니다. 물체의 위치를 나타내는 테두리를 bounding box라고 하고, 테두리의 왼쪽 상단에는 라벨명이 나오며 숫자가 함께 출력됩니다. 숫자는 해당 라벨의 정확도(신뢰도)를 의미합니다. SSD를 활용한 object detection의 순서는 다음과 같습니다. 해당 순서는 SSD300의 경우입니다. 300 x 300으로 이미지 resize 픽셀을 300 X 300으로 리사이즈하고 색 정보의 표준화 적용 디폴트 박스 8,732개 준비 다양한 크기 및 ..