Log (4) 썸네일형 리스트형 Datadog Log Archives S3와 Amazon Athena 활용 Datadog Log Management란? Datadog Log Management는 로그 수집, 처리, 분석을 통합적으로 관리하는 플랫폼입니다. 다양한 소스에서 로그를 수집해 중앙에서 실시간으로 모니터링할 수 있으며, 로그 데이터를 필터링하고 쿼리로 분석하여 애플리케이션과 인프라 상태를 파악합니다. 로그 리텐션 설정을 통해 비용 효율성을 높일 수 있고, 알림 설정을 통해 중요한 이벤트를 실시간으로 감지할 수 있습니다. 이를 통해 DevOps와 보안 팀은 문제를 신속하게 진단하고 대응할 수 있습니다. 하지만 기본적으로 Datadog Log Management의 로그는 기본적으로 15일 동안만 보관 가능합니다.따라서 15일이 지난 로그에 대한 저장이 필요한데, Datadog에서는 AWS S3로 쉽게 아카.. Datadog 로그 지연 시간 확인 먼저 기본적으로 데이터독 로그 에이전트 매커니즘은 아래와 같다. 네트워크 혹은 이슈 발생 시 버퍼에 지연된 로그 인덱스 값을 넣고, 이슈가 해소되면 재전송한다. https://docs.datadoghq.com/logs/guide/mechanisms-ensure-logs-not-lost/#log-rotate 데이터독 로그매니지먼트는 기본적으로 로그의 time 관련 어트리뷰트가 없으면, 로그가 인입되는 시간을 기준으로 DATE를 생성한다. 만약 로그에 TIME 관련 스탬프가 있다면 로그파이프라인을 통해 로그의 DATE를 지정할 수 있다. 데이터독은 아직 국내 리전이 없기 때문에 로그의 경우 해외망을 통해 전송된다. 거의 실시간으로 로그가 인입된다고 보면 되지만, 아주 약간의 지연이 발생될 수 있는데 대략 5.. 데이터독 Log Pipelines(서로 다른 로그 포맷 처리) 데이터독에서 권장하는 로그 모듈을 사용하면 알아서 APM - LOG 연동이 가능하다. NodeJS의 경우 winston, Java의 경우 Log4j/Logback 등이 있다. NestJS를 사용할 경우 nestjs-pino를 로그 모듈로 사용해도 잘 동작한다. 실제 dd-trace 모듈을 열어보면 winston 외 다른 로그 모듈도 인티그레이션 되어 있다. netstjs-pino의 경우 pino에 종속적이라 사용이 가능한 것으로 보인다. 서버에서 로그를 생성하면 trace_id, span_id 값이 로그에 찍힌 것을 볼 수 있다. {"level":30, ... ,"dd": {"trace_id": xxxx, "span_id": xxx}, "res": {"responseTime": 2, "msg": "req.. 데이터독 K8s helm 사용 시, 로그 제외 Datadog helm 차트 이용 시, healthcheck와 같은 로그 제외 옵션. 정규식 사용 시 문자열에 역슬래시를 넣을 경우 (e.g client\-go) 정상 동작하지 않는 점 참고. # datadog.env -- Set environment variables for all Agents ## The Datadog Agent supports many environment variables. ## ref: https://docs.datadoghq.com/agent/docker/?tab=standard#environment-variables env: - name: DD_KUBELET_TLS_VERIFY value: "false" - name: DD_LOGS_CONFIG_PROCESSING_RULES .. 이전 1 다음
