[3주차] 4장 정리

[cheese10yun]

스터디 진행 방식

• 3장에 대한 내용 해당 Repo or 개인 저장소 정리 이후 본문에 링크 첨부
• 본인의 생각, 궁금한거, 이해 안가는거 등등 본인의 생각이 들어간 부분 꼭 작성 하기, 아무말 대잔치 환영
• 의무는 아니지만 스터디 시작전에 다른 스레드에 질문, 답변 등등 해주기 -> 진행 자가 조금이라도 편하게

본인들의 생각들을 자유롭게 이야기하고 토론하는 형식으로 스터디를 진행했으면 합니다.

[Flamme1004K]

엘라스틱서치:검색 1부 137page ~ 149page
엘라스틱서치:검색 2부 149page ~ 182page

의견

• 유사 스코어에 대해서 처음 봤을 때 BM25 알고리즘을 사용하며, 복잡한 식이 인터넷에 떠돌아다녔습니다. 처음 보자마자 겁을 먹었으나, 진정하고 차근차근 BM25 알고리즘의 요소들이 어떻게 되어있는지 확인하고 분석을 해보니 확실히 간단했으나 나중에 실무에 적용할 때 머리가 아플 것 같은 느낌 아닌 느낌이 들었습니다. 이러한 상황이 온다면 이제 한 단계 더 업해야 되는 상황일 것이라고 생각합니다. 즉, 피할 수 없는 상황이니 신나게 계산기 두드리면서 해야 되겠습니다. 어서 이러한 시기가 왔으면 좋겠습니다. 이러한 시기 하나하나가 나를 더욱 성장시켜줄 것이기 때문입니다.
• 회사를 옮기고 나서 엘라스틱서치가 다른 sql에 비해서 검색하는 방법이 다르다고 깨달았습니다. 그래서 좀 벽이 있었지만, 요번 기회로 엘라스틱서치에 검색에 대해서 익숙해질 수 있었고, 나름대로 한번 더 정리를 할 수 있는 시간이 되었습니다. 앞으로 효율성 있는 쿼리를 짤 수 있도록 더욱 노력해보겠습니다.

[Flamme1004K]

https://chrome.google.com/webstore/detail/elasticvue/hkedbapjpblbodpgbajblpnlpenaebaa

제가 현재 사용하고 있는 elasticsearch 확장 프로그램인 elasticvue 링크 남깁니다.

[knae11]

김나은

내용정리

의견

• keyword, text 타입이 매우 중요하게 사용됨을 알 수 있었다.
• bool 쿼리시 순서대로 필터링 되는지? 그렇다면 RDB에서 쿼리에서 조건문을 어떻게 주느냐에 따라 성능이 달라지듯 어떤 것 부터 먼저 거를 건지 순서를 정하는게 중요하다고 생각했습니다~
• 범위 지정시 now 기준으로 설정할 수 있는 것이 꽤나 유용할 것 같다는 생각이 듭니다! (에러 로그 파악 할 때, now 기준으로 키바나에서 조회하는데 이런데 사용되는 구나 생각했어요)

[Flamme1004K]

https://stackoverflow.com/questions/65803962/elasticsearch-bool-query-speed-difference-in-order
https://www.elastic.co/kr/blog/elasticsearch-query-execution-order
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html

bool 쿼리시 순서 필터링에 대한 글입니다.

[SSONG22]

4장 정리

의견

• 기본 제공되는 BM25 알고리즘 외에 커스텀 알고리즘을 쓰고 또 어떤 계산법으로 쓸지 궁금해졌습니다.
• 효율적인 검색 방법을 고안해내려면 자연스레 데이터분석도 같이 공부하게될거 같다 생각했습니다
• 쿼리문의 사용방법을 상세하게 알 수 있었던 챕터였습니다. 특히 날짜 범위 검색은 주의해서 사용해야할 것 같아요

[SSONG22]

링크 에 스코어 계산 알고리즘 다른것도 있네욥

[ria0864]

4장 정리

의견

• 검색 범위를 지정하는 파라미터에 부등호 기호가 없는게 좀 신기했습니다.(물론 부등호 기호의 역할을 하는 문자들을 파라미터로 제공하지만)
• 실제 어떻게 스코어를 계산하는지 알 수 있었습니다. 그냥 BM25 알고리즘만 냅다 봤다면 잘 이해가 안 됐을 텐데 IDF와 TF 각각의 값을 구하는 방법을 먼저 학습하고 계산해 보니까 좀 더 잘 이해할 수 있었던 것 같습니다.
• 여러 쿼리에 대해서 알게 되었고 중간 중간 개념들이 헷갈려서 3장을 되돌아가서 다시 확인했었습니다. 좀 더 복습하면 확실히 개념이 잡힐 것 같습니다

[ors-woon]

4장 정리

의견

• 데이터 추출시 사용했던 쿼리가 범위 조회였구나를 알게된 시간이였습니다.. gte 가 column 명인줄 알았어요..
  • 키워드만 기억해둿다가, 사용시 찾아 써야하는 쿼리들인거 같아요.
• 전문 쿼리 / 용어 수준도 쿼리 사용시 숙지해야할 내용인거 같아, 재밋는 챕터 였습니다.
• 패턴 검색은 분석기에 의해 분리된 용어를 찾기 위함이라고하는데, 왜 keyword type 에 검색을 할까요 ..?

[cheese10yun]

4장 정리

의견

쿼리 컨텍스트, 필터 커텍스트

• 쿼리 컨텍스트: 연관성을 계산하여 최대한 비슷한 도큐먼트들을 찾아 준다.
• 필터 컨텍스트: 결과가 맞는지 아닌지만 확인 하여 도큐먼트를 찾아 준다.

엘라스틱 서치가 전문검색을 위한 도구로 많이 사용하지만 필터 컨텍스트로도 활용도가 아주 높다고 생각 합니다. 또 5장에 집계 부분이 있는데 저는 해당 전문 검색 보다는 대량의 데이터에 대한 연산과 데이터의 순차적인 흐름에 대한 타임 라인을 확인 하기 위해서 엘라스틱을 도입하고 사용하고 있어서 필터 컨텍스트로 활용할거 같습니다.

각자 어느 부분에 어떻게 사용할지에 대해서 한 번 논의 해보면 좋을거 같아요.

쿼리 DSL

결국 검색 조건에 대한 세부적인 내용을 JSON 기반으로 하겠다는 것인데. 이런 부분을 클라이언트로 작성하기는 어려울거 같고 Spring Data Elasticsearch와 같은 라이브러리를 사용해야할거 같은데. 다른 분들은 어떻게 사용하는지, 아니면 어떤 계획이 있는지 이야기 해보면 좋을거 같습니다.

용어들 쿼리

검색하고자 하는 필드가 명확지 않다는게 신기 했음, 최근 3년 정도의 커리어는 정산팀에 있다보니 매우 명확한 것들만 조회하는 개발을 해와서... 이제 슬슬 이직을 해야하나?...

찾고자 하는 필드가 정확히 어느 필드인지 모르는 경우 매우 유용하다는 점이 흥미로웠지만 지금 회사에서 쓸일이 없어서 관심 있게 보진 않음