目指せ全問正解！第１回 Langfuse Quiz 大会

716 Views

January 28, 25

#Langfuse #LLM #Trace #Latency #Quiz

スライド概要

Langfuse Night #1 の発表資料

https://connpass.com/event/340099/

profile-image
スライド一覧

温かい目で見守ってください

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.04MB)

関連スライド

slide-thumbnail

ニフクラで実践Terraform
user-img Yoshitaka Fujii 3.7K
slide-thumbnail

はじめてTerraform Moduleを作成した際に感じた疑問点
user-img Yoshitaka Fujii 3.2K
slide-thumbnail

Grafana Exploreの ネクストステージ？
user-img Yoshitaka Fujii 2.6K
slide-thumbnail

CNDT2023_etcd-and-raft
user-img Yoshitaka Fujii 1.7K
slide-thumbnail

受験前の本人確認のルールに気を付けよう！~ 受験できないのが一番辛い編 ~
user-img Yoshitaka Fujii 896
slide-thumbnail

CNDW2024_llm-observability
user-img Yoshitaka Fujii 443
各ページのテキスト
1.

目指せ全問正解！ 第１回 Langfuse Quiz 大会 〜 そのTraceのLatencyはいくらだい？編 〜 waiwai @ystkfujii

2.

目指せ ２ 問正解！ 第１回 Langfuse Quiz 大会 〜 そのTraceのLatencyはいくらだい？編 〜 waiwai @ystkfujii

3.

自己紹介 ふじい です ● 職業： ○ ● 生息地： ○ ● / :＠ystkfujii インフラ成分多めの バックエンドエンジニア Cloud Native / Kubernetes 関連のコミュニティ 最近の活動：

4.

Langfuse: Traceとは LLMアプリケーションの一連のイベントをまとめたもの 全体で4.38秒 トレースの作成方法 [1] ● Python Decorator: @observeデコレータ ● Low-Level SDK: ● Integration: Traceの構成要素を手動で設定 / とか [1] https://langfuse.com/docs/get-started

5.

Langfuse: Traceとは LLMアプリケーションの一連のイベントをまとめたもの 全体で4.38秒 トレースの作成方法 [1] ● Python Decorator: @observeデコレータ ● Low-Level SDK: ● Integration: Traceの構成要素を手動で設定 / とか 今日やること： Python Decoratorを使って作成したトレースの 全体の処理時間 （Latency）を当てろ！ [1] https://langfuse.com/docs/get-started

6.

Langfuse Quiz #1: TraceのLatencyはいくらだい？ A：５秒くらい B：３秒くらい C：２秒くらい D：０秒くらい

7.

Langfuse Quiz #1: TraceのLatencyはいくらだい？ A：５秒くらい B：３秒くらい C：２秒くらい Traceの詳細はこんな感じ D：０秒くらい

8.

Langfuse Quiz #2: TraceのLatencyはいくらだい？ A：５秒くらい B：３秒くらい C：２秒くらい D：０秒くらい

9.

Langfuse Quiz #2: TraceのLatencyはいくらだい？ A：５秒くらい B：３秒くらい C：２秒くらい Traceの詳細はこんな感じ D：０秒くらい

10.

Langfuse Quiz #2: TraceのLatencyはいくらだい？ A：５秒くらい そもそも Latencyって B：３秒くらい どうやって計算してるの？ �� C：２秒くらい Traceの詳細はこんな感じ D：０秒くらい

11.

Latencyについて ▪Tracing Data Model[1] Trace 1 n Observation Event Span Generation [1] https://langfuse.com/docs/tracing-data-model [2] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/prisma/database.svg [3] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/src/server/services/traces-ui-table-service.ts#L363

12.

Latencyについて ▪Tracing Data Model[1] ▪Observationsテーブル [2] id trace_id type Trace 1 input output promptTokens start_time end_time など n Observation Event Span Generation [1] https://langfuse.com/docs/tracing-data-model [2] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/prisma/database.svg [3] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/src/server/services/traces-ui-table-service.ts#L363

13.

Latencyについて ▪Tracing Data Model[1] ▪Observationsテーブル [2] id trace_id type Trace 1 start_time input end_time output promptTokens など n ▪Latencyの計算 [3] Observation start_time Observation Event Span Generation Trace Observation … Observation Latency end_time [1] https://langfuse.com/docs/tracing-data-model [2] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/prisma/database.svg [3] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/src/server/services/traces-ui-table-service.ts#L363

14.

Latencyについて ▪Tracing Data Model[1] ▪Observationsテーブル [2] つまり、、、 Trace 1 Observationが無ければ n Latencyを計算できない Observation Event �� Span Generation id trace_id type start_time input end_time output promptTokens など ▪Latencyの計算 [3] start_time Observation Trace Observation … Observation Latency end_time [1] https://langfuse.com/docs/tracing-data-model [2] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/prisma/database.svg [3] https://github.com/langfuse/langfuse/blob/v3.14.0/packages/shared/src/server/services/traces-ui-table-service.ts#L363

15.

Quiz Explanation ▪Quiz #1 ▪Quiz #2 Trace SPAN ( Observation ) Trace main hello_world hello_world Observationがある ので、latencyが計算可能 Observationが無い ので、latencyが計算不可

16.

仕様ではなく、バグです https://github.com/langfuse/langfuse/issues/4773

17.