A/Bテスト結果の概要

A/Bテストでは、コンテンツのパフォーマンスに与えるターゲティングの影響を測定できます。パターンA（コンテンツ切替無効）とパターンB（コンテンツ切替有効）の結果を比較することで、コンテンツ切替を適用した場合の効果を確認します。

表示されるデータ

• ターゲティングID：設定登録画面で指定したテスト対象のターゲティングID
• 集計期間：データが集計された期間
• メトリクス：クリック率、離脱率、平均滞在時間の指標
• パターンA/Bの結果：パターンA（コンテンツ切替無効）とパターンB（コンテンツ切替有効）のテスト結果の詳細

メトリクスの見方

A/Bテストでは、コンテンツ切替を適用した際の効果を測定するために、クリック率や離脱率、平均滞在時間といった指標を用いて比較を行います。これにより、どのような影響があるかを数値で確認できます。

クリック率、離脱率、平均滞在時間

A/Bテストの結果は、以下の3つのメトリクスに基づいて表示されます。それぞれのメトリクスは、ユーザーの行動を表す重要な指標です。

• クリック率：ページ内のコンテンツをクリックした割合を示します。
• 離脱率：ページを閲覧した後にそのまま離脱した割合を示します。
• 平均滞在時間：ページに滞在した時間の平均値を示します。

これらのメトリクスを用いることで、パターンB（コンテンツ切替有効）がパターンA（コンテンツ切替無効）に比べてどれだけ効果的だったかを判断できます。

改善率

改善率は、パターンB（コンテンツ切替有効）がパターンA（コンテンツ切替無効）と比較してどれだけ改善されたかを示す指標です。

改善信頼率

• 改善信頼率は、実際にパターンB（コンテンツ切替有効）がパターンA（コンテンツ切替無効）よりも改善されている確率を表します。また、数値が高いほどパターンB（コンテンツ切替有効）によってメトリクスが改善する確率が高いと判断できます。

詳しくは「A/Bテスト:結果の差を評価する方法」を参照してください。

グラフの見方

A/Bテストの結果がどのように分布しているかを視覚的に確認できます。X軸はメトリクスを示し、Y軸はその値が発生する確率密度を表します。グラフの形状を観察することで、次のようなことがわかります：

• グラフがなだらかな時は、データのばらつきが大きく、効果の一貫性が低いことを意味します。
• グラフが重なっている場合は、パターンAとパターンBの間に統計的な差がほとんどないことを示しており、コンテンツ切替の効果が薄い可能性があります。このような場合、改善信頼率が低くなることがあります。

コンテンツ切替のフロー

コンテンツ切替のフロー

以下のステップでコンテンツ切替が行われます：

• ABテストの有効/無効を判定
  • A/Bテストが有効な場合、対象ユーザーがランダムに選ばれ、50%の確率でパターンA（コンテンツ切替無効）かパターンB（コンテンツ切替有効）に振り分けられます。
  • A/Bテストが無効な場合は、通常のジオターゲティングに従ってコンテンツが表示されます。
• コンテンツの切替
  • パターンAの場合、コンテンツ切替なしのデフォルトコンテンツが表示されます。
  • パターンBの場合、ユーザーの位置情報や属性に基づいてカスタマイズされたコンテンツが表示されます。

下記は、コンテンツ切り替えの簡略化された図です。