Computer Vision 혹은 머신러닝 조언좀해주세요

흠......어디부터 시작해요햐죠....

노답입니까...ㅠㅠ? 괜히 해본다했나봅니다 ㅠ

kaggle에 쓸만한 데이터셋이 있을지부터 한번 찾아보는것도 좋을거같네요

감사합니다 너무 쉽게본거같습니다..

자 근접한 이미지의 정의부터 명확하게 해보시죠. 그게 가장 첫 스텝일듯 하네요. 

+1

이렇게 시작해서 closed form 으로 loss 만 정의 하면 일단 반은 해결입니다. 두 장의 사진을 보여 줬을 때 어떤 사진이 label 에 더 가까운지를 어떻게 평가할 수 있을 까요? 여기서 출발 해 보시길.. ㅎㅎ 

네 알겠습니다 일딴 정의하고 하나하나 해 보겠습니다

제가 너무 쉽게봤나봅니다... 사이즈, 회전, 컬러 상관없이 structure의 outline이 사람눈으로 봤을때 더 가까울수록 더 근접한이미지라고 정의(?)할 수 있는데 이런 복잡한걸 할 수 있는 파이썬 모듈이 있을지 모르겠습니다. 

+1 역시 정의가 제일 중요한것 같습니다. low frequency signal, high frequency signal, color 너무 많네요... 

일반적으로 어떤 api나 패키지를 써야 하는지도 중요하지만, 제 경험상 보통 이런경우에 가장 중요한것은 분류해야할 데이터를 파악하는 일 같습니다. 

글을 읽어보니 현재 트레이닝 시키는 데이터셋이 특수한것 같은데 이런경우에는 데이터 전처리가 필요해 보입니다.

가지고 계신 데이터를 여러가지 방법으로 파악해 보시고, 먼저 내가컴퓨터라면 뭘 보고 사진들을 분류할 것인지를 생각해보시는게 좋을것 같아요. 그 이후에 그에 걸맞는 방법을 서치해서 나아가는 것도 좋을것 같습니다. 어떤 머신러닝 메서드를 사용해야 하는지도요..아마도 모양의 특징을 증폭시키는 방법이나 가중치를 더 주거나 그렇게 가야하지 않을까요. 언제나 optimization 이 쉽지 않죠. 적합한 threshold 들을 찾는것도요... 쉽게 풀리시길 바랍니다!

완전맞는말씀있니다. 저도 지금 이미지를 전처리도 여러가지 해 보고 있습니다. 최대한 간단하게 이미지를 바꾸고, 비슷한 형상을 가진것만 추려내도 반은 성공같습니다만 잘 안되요 ㅠㅠㅠ

전 컴알못 이지만 이미지를 어떤식으로 비슷하다고 하는지 뭐가 중요한지 그 정의가 처음에 되야 분류가 될것 같아요. 예전에 전자현미경으로 막 석여있는 작은 입자의 seasoning을 구별해 낸적이 있는데 그래서 면적을 제고 그걸로 percentage를 구해서 formula를 만들었어요.

일단 자료가 보니 무슨 치아 사진들 처럼 다 흑백인가요? 칼라도 있나요?

1 인텍스를 넣듯이 흑백과 칼라를 구별할수도 있구요. 2. 솟아오른 봉우리의 깊이나 높이 폭이 심지어 봉우리의 경사도 중요하다면 이것도 구분할수 있구요.

3. 안쪽에 검은부분의 강도(Density)도 중요하면 하나더 추가하구요. 4. 봉우리의 갯수나 모양, 면적을 중요구별 factor로 둘수도 있구요.

그외에 중간중간 이물질(?)의 끼어있는 정도나 뭐 그런것 등등 도 추가하구요.

아무튼 소프트웨이 만들면 여러방면에서 유용하더라구요. 전 인하우스로 만든 소프트웨어였는데 아이스 크리스탈의 면적을 자동으로 계산해 주고 클릭해서 크게 볼수도 있고 칼라로 구별로 가능하고 몇군데 더 찍어서 평균도 내주고 하니 좋더군요.

그럼 잘 개발해서 칭찬 많이 받으시길 바래요.

재밌네요.. 혹시 관련 페이퍼를 내신게 있으면 제목을 공유해 주실수 있을까요?

"솟아오른 봉우리의 깊이나 높이 폭이 심지어 봉우리의 경사도 중요하다면 이것도 구분할수 있구요." 이런것은 polynomial 에서 fitness 를 구해서 하나요? 예를 들어서 설명해 주시면 많은 도움이 될거 같아요...

허허... 말씀을 읽다보니 점점 제가 할일이 아닌거같습니다... 전 이리 어려운건지 몰랐습니다 그냥 이미 이런것 하는 파이썬 패키지 분명있을꺼고 그거 잘 쓰면 될 줄 알았습니다. 아 그리고 치아사진 ㅋㅋㅋㅋ 이 아니고 반도체 트랜지스터 자른 단면입니다 ㅋ

아아 죄송합니다.. 요즘 집에 러닝머신 사려고 이리저리 서칭하던 중에 잘못 들어왔네요... ;;

ㅋㅋㅋㅋㅋ

ㅋㅋㅋㅋㅋ

저도요. ㅡ.ㅡ

저도 다른 문제때문에 한동안 고민했었었는데요. compare_ssim 부터 시작하면 될거 같은데요? 

compare_ssim 부터 시작하면 될거 같다는 말이 너무 간단하게 들려서 마치 이게 해결법인냥 썻네요. 근데 그런건 아니구요. compare_ssim이 이미지를 픽셀 바이 픽셀로 비교해서 얼마나 비슷한지 보는 건데요. 이거 하나만으로 해결할 수는 없지만 꼭 필요한 단계일것 같아요.

그리고 저는 색깔이 있는 이미지의 경우 더 복잡하게 느껴져서, 제가 접근한 방법은 이미지를 흑백 전환한 다음에, 공통적인 특징이 되는 부분만 추출하여 그 추출한 이미지만 비교해보는 거에요. 이미지 종류에 따라 다르겠지만 제가 다루던 이미지들에서는 약 10% 정도 매칭이 개선되었습니다.

무슨말씀이신지 잘은 이해못했지만 아무튼 감사합니다 ㅠㅠ

이미지마다 scaling과 구도가 다를텐데 그건 어떻게 adjust하셨는지요?

그쵸 이게 핵심이죠.

제가 다루던 이미지 프로세싱은 거의 동일한 조건에서 생성된걸 비교하고 다른 부분을 찾아내는 것들이었고, 다른 조건에서 생성된 이미와의 비교는 아니었어요.

다른 구도나 스케일을 가지고 있는 이미지들 유사점을 찾는 코드는 stitching 코드를 따와서 시작하면 될거에요. 잘 알려진 파노라마 사진 만드는 코드요.

근데 제 미천한 실력으로는, 파노라마 사진들처럼 이미지가 선명한 경우 잘되는데, 제가 다루는 리서치에서 나오는 이미지들은 눈으로 보기와는 달리 이미지에 노이즈가 많이 섞여 있어서 구도나 스케일 다른 점 찾아가며 유사점 찾는게 잘 안되더라구요. (노이즈를 뚫고 이미지를 인식할 수 있는 사람 눈이 대단하다는 걸 다시 한번 느끼는??) 아마 TEM이나 치아 x-ray 사진 같은 경우도 생각보다 노이즈가 많아서 비슷할 거라고 생각되요.

위 두 코드를 서로 다른 시기에 작업했었어서 두개를 합칠 생각은 못해봤는데, 어쩌면 두개를 잘 섞으면 될지도 모르겠네요?? (뇌피셜이에요 ㅎㅎ)

자세한 설명 감사합니다. image processing은 전혀 새로운 분야인데, 잘 쓰면 유용하게 application 되는 곳이 많을거 같아요

스케일이나 로테이션 문제는 cnn이 가장 잘 처리하는 문제인 걸로 알고 있습니다.  Transform invariant일거에요 아마....

재료쪽에서 보는 TEM 이미지 같은데, 하시려는게 누가 이미지를 주면 물질이랑 구조가 같거나 비슷한 이미지를 db에서 matching 하시려는 것 같은데요. (그냥 이미지로 다 알아내면 좋겠지만 그건 힘드니까요) 

천체 하시는 분들이 다른 망원경으로 촬영한 여러 각도및 배율 이미지로 많이 분석하시니까 그쪽에 힌트가 있을지도 모르겠네요.

그나저나 1인 프로젝트라고 하기에는 사이즈가 좀 큰거 아닌가요? 이거 분석 잘하는 사람은 대우도 꽤 좋다고 들었는데 말이죠.

네 맞습니다 저는 심지어 다른거 하는 엔지니어입니다.. 그냥 보스가 일일이 시간걸려 하는일 파이썬으로 automation 하는 프로그램 몇개짜서 줬는데 그때부터 이런일들을 저한테 던지더라구요 첼린지라고... 저도 공부도할겸 오케이했습니다만 이건 제 영역이 아닌듯...

첼린지긴 하네요. 코드만 만들면 회사 차려서 부자되는 그런거 아닌가 싶네요 ( ..)

회사가 이렇게 독립 기회를 주는건가요.ㅋㅋㅋ

이미지가 모두 몇장이나 되나요? 레이블이 적절하게 돼 있다면, CNN 기반 siamese network 으로 "비슷한" 이미지를 찾아내게는 할 수 있을 듯 한데요. 입력 이미지는 적당히 normalize 하시고요. 레이블링이 안되어 있다면 이미지 A 를 보여주고 이미지 B, C 중에 가까운걸 고르라는 식으로 어느정도 전문가가 분류하게 코딩을 해서 주변 사람들에게 뿌리는 방법도 있습니다.

Classcification 으로 해결할수 있나요? 일단 비교 할 대상 이미지가 뭔지 정의 내리면 가능 할듯한데.. 이거ieee 논문감인데요?

일단 찾아보니 PCB에 오류 찾아내기 아티클이 있어요

“Building an End-to-End Defect Classifier Application for Printed Circuit Boards” by Sean McClure https://link.medium.com/5zLYymkkd7

1. 수학적으로 "근접한 이미지"를 정의할 수 있으면 그 수식 자체를 바로 적용

2. 데이터로 "근접한 이미지"를 모을 수 있으면 metric learning

3. 아니면 온갖 hand-engineered feature, pre-trained metric learning model들 때려붓고 그 nearest neighbor가 내가 원하는 비슷한 이미지이기를 물 뜨고 기우제 올리며 빌기

아주 간단하게, auto-encoder를 가지고 계신 이미지로 만들어보고, latent space 상에서 dot product를 비교해 보면 어떨까 합니다. 패턴이 정형화되고, 컬러가 없음 이것만으로도 초기 버전정도는 나 올 수도 있지 않을까요?

두리뭉실한 질문에 고퀄 답변들 감사드립니다. 공부하는 마음으로 의견주신것들 찾아보고 해보겠습니다.

데이터셋만 있으면 Google의 autoML을 쓰는게 custom inage search engine의 출발점으로 좋아보이는데요..     첫 데이터셋은 딱 두가지 ground truth label을 갖는 binary classifier로 만들어보시면 좋을 것 같습니다.   CNN의 유용성을 처음 보인 프로젝트도 cat vs non-cat이었던 걸로 기억하거든요.    Binary문제가 대부분 잘 풀리면 multiclass로 확장하시구요.  이런 문제는 클래스랑 데이터 셋의 양과 질에 따라서 난이도가 결정되니까, 결국엔 돈이 되는 문제를 풀기 위해서 데이터를 얼마나 싸게 수집할 수 있을까에서 성패가 결정나더군요.  건승을 빕니다

OpenCV ORB,SIFT 같은것보단 CNN 기반의 이미지 검색이 훨씬 잘될거에요. 파이썬으로 pytorch, faiss 이 두 라이브러리만 쓰면 꽤 잘되는 이미지 검색 엔진을 하루면 만들수 있어요. 이미지 검색은 크게 image feature extractor 와 similarity search 두 파트로 돼 있다고 보면 됩니다.

image feature extractor -- 이미지를 검색이 용이한 feature vector 형태로 변환 하는 과정이고요 요즘은 보통 CNN의 임베딩을 가져다 씁니다. 기본은 ResNet 기반의 pretrained imagenet model을 가져다가 classifer 부분을 빼버리고 global average pooling layer 이후의  2k vector를 feature vector로 쓰면 됩니다.

그 다음 similarity search 파트는 크게 2단계입니다. database images들을 빠르게 검색 가능하도록 indexing 하는 단계와 quary image가 들어왔을때 K-nearest-neighbor search를 수행하는 단계고요.

먼저 인덱싱 - 데이터베이스에 해당하는 모든 이미지들을 feature extractor를 이용해 vector 들로 변환 합니다. 벡터 파일을 faiss에서 제공하는 인덱싱 펑션에 넣으면 알아서 만들어줍니다.

KNN search - 쿼리 이미지를 feature extractor를 이용해 vector로 변환하고 faiss가 제공하는 KNN function을 호출하면 데이터베이스의 어떤 이미지가 가까운지 리턴해줍니다.

이걸 좀더 잘되게 하기 위해 feature extractor에 해당하는 CNN을 개선하고 하는 것부터는 좀더 전공자의 영역인거 같습니다만 위에 쓴대로 있는거 가져다가 만들어도 적당히 될겁니다. 위에서 너무 겁들 주신거 같은데.. 구현 다합쳐봐야 파이선 코드 100줄이면 끝나는 거라..컴퓨터 비전 전공에 검색쪽 경험이 있는 엔지니어면 앞에 설명한 건 2시간이면 만들어요.

오 좋은 정보 감사합니다! 저도 한번 봐야겠네요~

감사합니다! 혹시 다른 라이브러리가 있을까했는데 콕 찝어주셨습니다! 언급하신 두개 라이브러리 찾아봑야겠습니다

이게... 공개된 pretrained CNN들은 거진 ImageNet이나 일반적인 이미지들 위주로 train된 것들이라 원글님이 예시로 든 특정 종류 이미지에 적용하면 좋은 결과 얻기가 힘듭니다. 예시로 든 이미지가 많이 있다면 AutoEncoder를 train시킨 후 중간 층 activation을 feature로 쓰시면 될 것 같기도 합니다. 

뭐 더 잘할수 있는 방법이야 많지만 원글님이 전공자가 아니라 하셔서 현실적으로 시작할수 있는 방법을 말씀 드린거에요. 원글님이 가진 디비가 어떤지를 모르니 거기서 성능이 어떨지는 사실 알수가 없죠.  디비 안에 intra-class/inter-class variation이 얼마나 되는지 db의 사이즈는 얼마나 되는지에 따라 엄청 다를테니까요. 근데 적당히 눈으로 보기에도 충분히 달라보이는 쉐입을 가진 거면 imagenet 피쳐로도 적당히 KNN 검색 정도는 작동할 겁니다.

예제로 링크건 이미지 안 보시고 답글 다신 것 같네요. 딱 저런 이미지는 아니지만 다른 도메인 특화된 이미지셋들에 적용해 본 경험에서 말씀 드린겁니다. ImageNet feature로는 랜덤에 가까운 결과가 나올 가능성이 아주 높아요 ㅎㅎ

댓글을 쓸까말까 고민하다가 조심스레 의견을 남깁니다.  

일단 설명해주신걸 보면, 맨 처음에는 ORB, SIFT등의 feature를 뽑아서, feature matching으로 문제를 접근하려 했는데 잘 되지 않았다 로 보입니다. 그리고 추가 정보는.. 트랜지스터를 잘라서 찍은 흑백(grayscale) 이미지다 정도인것 같네요.

댓글에 아주 다양한 deep learning 스러운 computer vision 테크닉이 화려하게 있는데, 사실 저 모든거보다 저는 문제 정의가 백만배쯤 더 중요하다고 생각합니다. 솔직하게는, 제공해주신 정보만 보고 판단했을때, 어떤것들이 입력의 특징을 좌우하는지 판단이 조금 어렵습니다. 그리고, 그렇기 때문에 댓글에서 온갖 computer vision 테크닉들이 튀어나오게 된게 아닐까 싶습니다. (솔직히 제 입장에선 댓글에 언급된 기술중에 절반쯤은 이 문제랑 맞지 않을거 같다는 생각도 있거든요...)

가장 먼저 명확하게 (아니면 추상적으로라도) 튀어나와야 하는건, 앞쪽 댓글에 있는 것처럼, "가장 근접한 이미지"를 어떻게 정의할 것인가 입니다. "근접한" 이 어렵다면 "이건 아니다" 싶은건 어떻게 말할수 있는지라도요. 문제에 대해서 설명하신걸 보면, domain knowledge를 가진 사람이 봤을때, 이미지들은 명확한 차이를 가지고 있고, 특징을 기반으로 해서 구별이 가능하다는게 있는것 같습니다. 근데 저같이 트랜지스터 다르게 생긴게 뭔지도 모르는 사람 입장에서 봤을땐 그냥 똑같은 트렌지스터 이미지라고 생각할것 같습니다. 그래서 구체적으로 어떤것들이 이미지들을 특정짓는지를 명확히 하는게 가장 중요할거같습니다. (그게... law of gravitational attraction 처럼 deep computer vision technique으로 쉽게 못알아채는 컨셉일수도 있기 때문에, 컴퓨터가 알아먹을만한 형태로 설명하는것도 중요한데, 일단 그건 배제합시다)

좀 더 구체적으로, 말씀하신대로 "비슷한 형상을 가진 이미지"라고 하셨는데, 이것도 그 특징에 따라 방법이 다양할수 있습니다. 가령, 그냥 검은 블락 기준으로 line이 2개가 있고, 그 line사이에 거리가 가까운 사진/먼 사진 을 정의한다고 하면, line을 detect하고 그 거리 기준으로 db를 인덱싱해놓고 찾으면 되겠죠. 이런걸 딥러닝을 끼얹어서 보려고 한다면 (댓글에 많이 언급되는 classification 기반의 네트워크에서 뭘 할게 아니라) object detection을 해서 bounding box간의 거리를 재는게 더 나을수도 있습니다. 그거랑 달리, 입력 이미지가 내가 선가공을 통해서 정렬은 매우 잘 해둘수 있는 상황인데, 그렇게 해놓고 놨을때 그냥 여러 이미지를 overlap해서 봤을때 애당초 pixel level에서 엄청 비슷하다 이러면 그냥 차라리, 정렬된 사진에서 색상을 배제하고 edge들만 입력으로 해서 pixel level diff를 재는게 나을수도 있습니다.

이처럼.. 비록 댓글들에서 좋은 딥러닝 기술들이 다양하게 많이 언급되었지만, 그보다 문제에 대한 명확한 정의가 우선되어야 한다고 생각합니다. (요즘 computer vision / deep learning 전공하는 대학원생들도 많이 하는 실수라서, 그 마음은 충분히 이해합니다) 특정 기술이 좋다고 해서 무작정 적용하기 보다는, 문제에 맞는 기술을 적용하는게 더 합리적이면서, robustness를 보장하는 지름길이 아닐까 싶네요.

감사합니다 쉽게하려고 하다보니 가장 중요한 걸 건너뛰고 하려고 했네요. 일딴 기준을 정하고 한번걸러내고 다음기준으로 또걸러내고 해서 이제까지 답변주신 테크닉들 하나하나 적용해서 잘되는걸 해볼까합니다.. 그나저나 마모에 컴싸 관련 공부하신분들이 정말 많네요@@