흠......어디부터 시작해요햐죠....

자 근접한 이미지의 정의부터 명확하게 해보시죠. 그게 가장 첫 스텝일듯 하네요. 

일반적으로 어떤 api나 패키지를 써야 하는지도 중요하지만, 제 경험상 보통 이런경우에 가장 중요한것은 분류해야할 데이터를 파악하는 일 같습니다. 

글을 읽어보니 현재 트레이닝 시키는 데이터셋이 특수한것 같은데 이런경우에는 데이터 전처리가 필요해 보입니다.

가지고 계신 데이터를 여러가지 방법으로 파악해 보시고, 먼저 내가컴퓨터라면 뭘 보고 사진들을 분류할 것인지를 생각해보시는게 좋을것 같아요. 그 이후에 그에 걸맞는 방법을 서치해서 나아가는 것도 좋을것 같습니다. 어떤 머신러닝 메서드를 사용해야 하는지도요..아마도 모양의 특징을 증폭시키는 방법이나 가중치를 더 주거나 그렇게 가야하지 않을까요. 언제나 optimization 이 쉽지 않죠. 적합한 threshold 들을 찾는것도요... 쉽게 풀리시길 바랍니다!

전 컴알못 이지만 이미지를 어떤식으로 비슷하다고 하는지 뭐가 중요한지 그 정의가 처음에 되야 분류가 될것 같아요. 예전에 전자현미경으로 막 석여있는 작은 입자의 seasoning을 구별해 낸적이 있는데 그래서 면적을 제고 그걸로 percentage를 구해서 formula를 만들었어요.

일단 자료가 보니 무슨 치아 사진들 처럼 다 흑백인가요? 칼라도 있나요?

1 인텍스를 넣듯이 흑백과 칼라를 구별할수도 있구요. 2. 솟아오른 봉우리의 깊이나 높이 폭이 심지어 봉우리의 경사도 중요하다면 이것도 구분할수 있구요.

3. 안쪽에 검은부분의 강도(Density)도 중요하면 하나더 추가하구요. 4. 봉우리의 갯수나 모양, 면적을 중요구별 factor로 둘수도 있구요.

그외에 중간중간 이물질(?)의 끼어있는 정도나 뭐 그런것 등등 도 추가하구요.

아무튼 소프트웨이 만들면 여러방면에서 유용하더라구요. 전 인하우스로 만든 소프트웨어였는데 아이스 크리스탈의 면적을 자동으로 계산해 주고 클릭해서 크게 볼수도 있고 칼라로 구별로 가능하고 몇군데 더 찍어서 평균도 내주고 하니 좋더군요.

그럼 잘 개발해서 칭찬 많이 받으시길 바래요.

아아 죄송합니다.. 요즘 집에 러닝머신 사려고 이리저리 서칭하던 중에 잘못 들어왔네요... ;;

저도 다른 문제때문에 한동안 고민했었었는데요. compare_ssim 부터 시작하면 될거 같은데요? 

compare_ssim 부터 시작하면 될거 같다는 말이 너무 간단하게 들려서 마치 이게 해결법인냥 썻네요. 근데 그런건 아니구요. compare_ssim이 이미지를 픽셀 바이 픽셀로 비교해서 얼마나 비슷한지 보는 건데요. 이거 하나만으로 해결할 수는 없지만 꼭 필요한 단계일것 같아요.

그리고 저는 색깔이 있는 이미지의 경우 더 복잡하게 느껴져서, 제가 접근한 방법은 이미지를 흑백 전환한 다음에, 공통적인 특징이 되는 부분만 추출하여 그 추출한 이미지만 비교해보는 거에요. 이미지 종류에 따라 다르겠지만 제가 다루던 이미지들에서는 약 10% 정도 매칭이 개선되었습니다.

재료쪽에서 보는 TEM 이미지 같은데, 하시려는게 누가 이미지를 주면 물질이랑 구조가 같거나 비슷한 이미지를 db에서 matching 하시려는 것 같은데요. (그냥 이미지로 다 알아내면 좋겠지만 그건 힘드니까요) 

천체 하시는 분들이 다른 망원경으로 촬영한 여러 각도및 배율 이미지로 많이 분석하시니까 그쪽에 힌트가 있을지도 모르겠네요.

그나저나 1인 프로젝트라고 하기에는 사이즈가 좀 큰거 아닌가요? 이거 분석 잘하는 사람은 대우도 꽤 좋다고 들었는데 말이죠.

이미지가 모두 몇장이나 되나요? 레이블이 적절하게 돼 있다면, CNN 기반 siamese network 으로 "비슷한" 이미지를 찾아내게는 할 수 있을 듯 한데요. 입력 이미지는 적당히 normalize 하시고요. 레이블링이 안되어 있다면 이미지 A 를 보여주고 이미지 B, C 중에 가까운걸 고르라는 식으로 어느정도 전문가가 분류하게 코딩을 해서 주변 사람들에게 뿌리는 방법도 있습니다.

Classcification 으로 해결할수 있나요? 일단 비교 할 대상 이미지가 뭔지 정의 내리면 가능 할듯한데.. 이거ieee 논문감인데요?

일단 찾아보니 PCB에 오류 찾아내기 아티클이 있어요

“Building an End-to-End Defect Classifier Application for Printed Circuit Boards” by Sean McClure https://link.medium.com/5zLYymkkd7

1. 수학적으로 "근접한 이미지"를 정의할 수 있으면 그 수식 자체를 바로 적용

2. 데이터로 "근접한 이미지"를 모을 수 있으면 metric learning

3. 아니면 온갖 hand-engineered feature, pre-trained metric learning model들 때려붓고 그 nearest neighbor가 내가 원하는 비슷한 이미지이기를 물 뜨고 기우제 올리며 빌기

아주 간단하게, auto-encoder를 가지고 계신 이미지로 만들어보고, latent space 상에서 dot product를 비교해 보면 어떨까 합니다. 패턴이 정형화되고, 컬러가 없음 이것만으로도 초기 버전정도는 나 올 수도 있지 않을까요?

두리뭉실한 질문에 고퀄 답변들 감사드립니다. 공부하는 마음으로 의견주신것들 찾아보고 해보겠습니다.

데이터셋만 있으면 Google의 autoML을 쓰는게 custom inage search engine의 출발점으로 좋아보이는데요..     첫 데이터셋은 딱 두가지 ground truth label을 갖는 binary classifier로 만들어보시면 좋을 것 같습니다.   CNN의 유용성을 처음 보인 프로젝트도 cat vs non-cat이었던 걸로 기억하거든요.    Binary문제가 대부분 잘 풀리면 multiclass로 확장하시구요.  이런 문제는 클래스랑 데이터 셋의 양과 질에 따라서 난이도가 결정되니까, 결국엔 돈이 되는 문제를 풀기 위해서 데이터를 얼마나 싸게 수집할 수 있을까에서 성패가 결정나더군요.  건승을 빕니다

OpenCV ORB,SIFT 같은것보단 CNN 기반의 이미지 검색이 훨씬 잘될거에요. 파이썬으로 pytorch, faiss 이 두 라이브러리만 쓰면 꽤 잘되는 이미지 검색 엔진을 하루면 만들수 있어요. 이미지 검색은 크게 image feature extractor 와 similarity search 두 파트로 돼 있다고 보면 됩니다.

image feature extractor -- 이미지를 검색이 용이한 feature vector 형태로 변환 하는 과정이고요 요즘은 보통 CNN의 임베딩을 가져다 씁니다. 기본은 ResNet 기반의 pretrained imagenet model을 가져다가 classifer 부분을 빼버리고 global average pooling layer 이후의  2k vector를 feature vector로 쓰면 됩니다.

그 다음 similarity search 파트는 크게 2단계입니다. database images들을 빠르게 검색 가능하도록 indexing 하는 단계와 quary image가 들어왔을때 K-nearest-neighbor search를 수행하는 단계고요.

먼저 인덱싱 - 데이터베이스에 해당하는 모든 이미지들을 feature extractor를 이용해 vector 들로 변환 합니다. 벡터 파일을 faiss에서 제공하는 인덱싱 펑션에 넣으면 알아서 만들어줍니다.

KNN search - 쿼리 이미지를 feature extractor를 이용해 vector로 변환하고 faiss가 제공하는 KNN function을 호출하면 데이터베이스의 어떤 이미지가 가까운지 리턴해줍니다.

이걸 좀더 잘되게 하기 위해 feature extractor에 해당하는 CNN을 개선하고 하는 것부터는 좀더 전공자의 영역인거 같습니다만 위에 쓴대로 있는거 가져다가 만들어도 적당히 될겁니다. 위에서 너무 겁들 주신거 같은데.. 구현 다합쳐봐야 파이선 코드 100줄이면 끝나는 거라..컴퓨터 비전 전공에 검색쪽 경험이 있는 엔지니어면 앞에 설명한 건 2시간이면 만들어요.

댓글을 쓸까말까 고민하다가 조심스레 의견을 남깁니다.  

일단 설명해주신걸 보면, 맨 처음에는 ORB, SIFT등의 feature를 뽑아서, feature matching으로 문제를 접근하려 했는데 잘 되지 않았다 로 보입니다. 그리고 추가 정보는.. 트랜지스터를 잘라서 찍은 흑백(grayscale) 이미지다 정도인것 같네요.

댓글에 아주 다양한 deep learning 스러운 computer vision 테크닉이 화려하게 있는데, 사실 저 모든거보다 저는 문제 정의가 백만배쯤 더 중요하다고 생각합니다. 솔직하게는, 제공해주신 정보만 보고 판단했을때, 어떤것들이 입력의 특징을 좌우하는지 판단이 조금 어렵습니다. 그리고, 그렇기 때문에 댓글에서 온갖 computer vision 테크닉들이 튀어나오게 된게 아닐까 싶습니다. (솔직히 제 입장에선 댓글에 언급된 기술중에 절반쯤은 이 문제랑 맞지 않을거 같다는 생각도 있거든요...)

가장 먼저 명확하게 (아니면 추상적으로라도) 튀어나와야 하는건, 앞쪽 댓글에 있는 것처럼, "가장 근접한 이미지"를 어떻게 정의할 것인가 입니다. "근접한" 이 어렵다면 "이건 아니다" 싶은건 어떻게 말할수 있는지라도요. 문제에 대해서 설명하신걸 보면, domain knowledge를 가진 사람이 봤을때, 이미지들은 명확한 차이를 가지고 있고, 특징을 기반으로 해서 구별이 가능하다는게 있는것 같습니다. 근데 저같이 트랜지스터 다르게 생긴게 뭔지도 모르는 사람 입장에서 봤을땐 그냥 똑같은 트렌지스터 이미지라고 생각할것 같습니다. 그래서 구체적으로 어떤것들이 이미지들을 특정짓는지를 명확히 하는게 가장 중요할거같습니다. (그게... law of gravitational attraction 처럼 deep computer vision technique으로 쉽게 못알아채는 컨셉일수도 있기 때문에, 컴퓨터가 알아먹을만한 형태로 설명하는것도 중요한데, 일단 그건 배제합시다)

좀 더 구체적으로, 말씀하신대로 "비슷한 형상을 가진 이미지"라고 하셨는데, 이것도 그 특징에 따라 방법이 다양할수 있습니다. 가령, 그냥 검은 블락 기준으로 line이 2개가 있고, 그 line사이에 거리가 가까운 사진/먼 사진 을 정의한다고 하면, line을 detect하고 그 거리 기준으로 db를 인덱싱해놓고 찾으면 되겠죠. 이런걸 딥러닝을 끼얹어서 보려고 한다면 (댓글에 많이 언급되는 classification 기반의 네트워크에서 뭘 할게 아니라) object detection을 해서 bounding box간의 거리를 재는게 더 나을수도 있습니다. 그거랑 달리, 입력 이미지가 내가 선가공을 통해서 정렬은 매우 잘 해둘수 있는 상황인데, 그렇게 해놓고 놨을때 그냥 여러 이미지를 overlap해서 봤을때 애당초 pixel level에서 엄청 비슷하다 이러면 그냥 차라리, 정렬된 사진에서 색상을 배제하고 edge들만 입력으로 해서 pixel level diff를 재는게 나을수도 있습니다.

이처럼.. 비록 댓글들에서 좋은 딥러닝 기술들이 다양하게 많이 언급되었지만, 그보다 문제에 대한 명확한 정의가 우선되어야 한다고 생각합니다. (요즘 computer vision / deep learning 전공하는 대학원생들도 많이 하는 실수라서, 그 마음은 충분히 이해합니다) 특정 기술이 좋다고 해서 무작정 적용하기 보다는, 문제에 맞는 기술을 적용하는게 더 합리적이면서, robustness를 보장하는 지름길이 아닐까 싶네요.