서버·인프라

OpenSearch Dashboards 로 병목 찾기 — 처리는 2초인데 사용자는 20초 기다린 이유 (RabbitMQ 큐 대기 시간)

2초짜리 작업 20건을 한꺼번에 넣었더니 사용자는 최대 20초를 기다렸다. 처리 시간은 건마다 2.02초로 일정했고, 나머지는 전부 큐에서 줄 선 시간이었다. 로그에 wait_ms 를 남기고 OpenSearch Dashboards 로 둘을 나눠 보니 병목이 워커 수로 드러났고, 워커를 6개로 늘리자 큐 대기 p50 이 10.0초에서 2.0초가 됐다.

12분
서버·인프라

Fluentd 로그를 OpenSearch 에 쌓기 — “Text fields are not optimised for operations that require per-document field data” 와 인덱스 템플릿

Fluentd 집계기 출력을 OpenSearch 로 바꿨더니 request_id 가 text 로 잡혀 trace-8th-0001 을 찾는데 다른 요청까지 44건이 나왔고, event 로 집계하자 "Text fields are not optimised" 로 거절됐다. 인덱스 템플릿으로 타입을 정하고, 집계기와 OpenSearch 를 지워도 로그가 남는지 쟀다.

19분