OpenTelemetry für die Agentüberwachung

Verstehen, wie Copilot Agenten arbeiten und mit Modellen und Tools interagieren.

In diesem Artikel

OpenTelemetry (OTel) ist ein Open Source Observability Framework. Es bietet eine Standardmethode zum Sammeln von Telemetrieereignissen und Metriken und zum Exportieren dieser Ereignisse in kompatible Observability-Tools. Weitere Informationen finden Sie unter Was ist OpenTelemetry? auf der OTel-Website.

Wenn Sie die OTel-Überwachung aktivieren, können Sie Daten von den Clients der Benutzer Copilot an ein OTel-kompatibles Back-End senden. Auf diese Weise können Sie Agentsitzungen analysieren und die Agentnutzung im gesamten Unternehmen verstehen.

Welche Daten sendet Copilot?

Copilot sendet drei Datentypen:

  • Traces zeigen den Verlauf einer Agentensitzung und verknüpfen alle Schritte, einschließlich Modellaufrufen und der Tool-Nutzung. Beispielsweise kann eine Ablaufverfolgung zeigen, wie ein Agent ein Modell aufruft, das Tool readFile verwendet und dann das Modell erneut aufruft, um eine Antwort zu generieren.
  • Metriken sind numerische Messungen, mit denen Sie Muster im Laufe der Zeit identifizieren können. Tokenverwendungsmetriken verfolgen beispielsweise die Anzahl der Eingabe- und Ausgabetoken, die in Modellaufrufen verwendet werden.
  • Ereignisse zeichnen einzelne Aktionen zu einem bestimmten Zeitpunkt auf. Beispielsweise zeichnet ein Bearbeitungsfeedbackereignis auf, ob ein Benutzer eine Agent-Bearbeitung akzeptiert oder abgelehnt hat.

Standardmäßig enthalten die Daten keine Eingabeaufforderungen, Antworten oder Toolargumente. Sie können diesen Inhalt erfassen, aber er kann sensible Informationen enthalten, z. B. Code, Dateiinhalte und Eingabeaufforderungen von Benutzern.

Aktivieren von OpenTelemetry

So sammeln Sie OTel-Daten aus den Clients der Copilot Benutzer:

  1. Richten Sie ein Observability-Backend ein. Wählen Sie ein sicheres Back-End aus, das das OpenTelemetry-Protokoll (OTLP) unterstützt. Einige Back-Ends können OTLP-Daten direkt empfangen. Stellen Sie für andere Back-Ends einen OpenTelemetry Collector bereit, um die Daten zu empfangen, zu verarbeiten und weiterzuleiten. Beispiele finden Sie unter VS Code in der -Dokumentation.
  2. Konfigurieren sie die Clients der Benutzer. Legen Sie Konfigurationswerte fest, um OTel in jedem Client zu aktivieren und sie so zu konfigurieren, dass Daten an Ihren OTLP-Endpunkt gesendet werden, indem Sie den Endpunkt, die Header und das Authentifizierungstoken konfigurieren.
  3. Interpretieren von Daten. Verwenden Sie die gesammelten Daten, um Sitzungen zu analysieren und Trends zu identifizieren. Eine Beispielimplementierung finden Sie unter Überwachen von KI-Codierungs-Agents mit Grafana in der Microsoft Dokumentation.

Konfigurieren der Benutzerclients

Unternehmen können die OTel-Konfiguration über unterstützte Clients mit verwalteten Einstellungen erzwingen. Diese Einstellungen werden für die Clients der Benutzer erzwungen und können nicht außer Kraft gesetzt werden. Die telemetry Eigenschaft enthält Schlüssel zum Aktivieren und Konfigurieren von OpenTelemetry.

Weitere Informationen findest du unter Konfigurieren von unternehmensverwalteten Einstellungen und Unternehmensverwaltete Einstellungen.

Clientdokumentation

Weitere Informationen dazu, wie OpenTelemetry über verschiedene Clients hinweg verwendet wird, finden Sie unter: