これまで、読み込み速度の問題は主にエンジニアリング指標として扱われてきましたが、Core Web Vitalsの検索アルゴリズムへの導入とモバイルトラフィックの増加に伴い、パフォーマンスが製品機能であることが明らかになりました。速度の影響を評価するための従来のアプローチは、根本的な内生性の問題に直面しています。つまり、速いデバイスと安定したインターネット接続を持つユーザーは、サイトの最適化に関係なく、より良くコンバージョンするため、擬似的な相関関係が生じます。
問題は、エッジコンピューティングや現代的なCDNアーキテクチャを使用する場合に悪化します。トラフィックをグループに一貫して分割することができず、エッジサーバーでのアグレッシブなキャッシュにより、トラフィックのグルーピングが保証されません。さらに、自己選別の効果があります。低速の接続を持つユーザーは、ページが読み込まれる前にサイトを離れることが多く、サンプルの分布を歪め、純粋なA/B比較を不可能にします。
最適な解決策は、パフォーマンスの「良好」な閾値（例えば、LCP = 2.5秒）での回帰不連続設計（RDD）と、ツールとしての計量経済学的変数（IV）を組み合わせることです。計量経済学的変数として、ユーザーが最寄りのエッジサーバーまでの地理的距離や接続タイプ（3G対4G）が用いられることが考えられます。これらは速度に無作為的に影響を与えますが、購入意図とは直接的に相関していません。コホート分析には合成対照法を使用し、類似のデバイス構造と地理的ロケーションを持つユーザーの歴史的データから生成された対照群を構築し、純粋な最適化の効果を季節性やマクロトレンドから隔離することが可能です。
大規模なeコマースプロジェクトにおいて、フロントエンドチームは革命を起こしました。画像を最新のフォーマット（WebP、AVIF）に変換し、レイジーロードを実装し、レンダリングのクリティカルパスを最適化して、良好な接続を持つユーザーのLCPを4.2秒から1.8秒に削減しました。プロダクトチームは「リリース後」セグメントで12％のコンバージョンの増加を記録しましたが、同時に季節的な広告キャンペーンが開始され、製品カタログが更新されたため、因果関係に疑問が生じました。
選択肢1: 前後のコホートの単純比較
アナリストは最適化の1週間前と後のユーザーのコンバージョンを地域ごとに層別化して比較することを提案しました。利点: 実装の簡単さと複雑なインフラを必要としないこと。欠点: 季節性の完全な無視（祝祭日前の週）、オーディエンスの構成の違い（新しいユーザーが異なる意図を持って広告からやってくる）、および生存バイアス（slow users）による歪み — 遅いユーザーは後のサンプルから「消え」成長の錯覚を与えます。
選択肢2: 速度とコンバージョンの相関分析
二つ目のアプローチは、ユーザーの実際のLCPを独立変数、コンバージョンの事実を従属変数とする回帰分析を構築することを前提としていました。利点: 利用可能なすべてのデータの使用とセッションごとの粒度。欠点: 致命的な内生性：高価なフラッグシップデバイスと速いインターネットを持つユーザーは、初めからより富裕で購入意欲が高いほか、安価なデバイスを持つ3Gユーザーは、速度にかかわらず低い購入意図を持ち、40-60％の上方バイアスを生じます。
選択肢3: 地理的ツールを使用した回帰不連続設計
チームはハイブリッドメソッドを選択しました：最寄りのエッジサーバーまでの距離をツールとして利用し、速度とは相関しますが購買行動とは相関しないものです。カバレッジの境界（信号が「壊れ」、速度が急に2.6-2.8秒に落ちる）にいるユーザーは、2.5秒の閾値の周辺で局所的に無作為なサンプルを形成しました。±0.3秒の範囲で**Local Average Treatment Effect（LATE）**を適用し、インフラが原因とは異なる速度変化があるコンプライアを測定しました。
選択された解決策と結果
RDD+IVアプローチが実装され、キャッシュされたリソースに関するlocalStorageの分析を通じてリターンユーザーの追加フィルタリングが行われました。最終的な評価は、最適化の真の増分効果が新しいユーザーに対して+8.5%、再訪ユーザーに対して+3.2%であることを示し、エッジコンピューティングへの投資の正当化ができ、1年で340%のROIを達成しました。
なぜ標準的なOLS回帰でのパフォーマンスとコンバージョンの比較は偏りを生む見積もりを提供し、この内生性のメカニズムは何が支配的か？
その答えは、二重の自己選択バイアス（double selection bias）にある：まず第一に、遅いデバイスを持つユーザーはシステム的に「成功したセッション」のサンプルに入ることが少なく（彼らは読み込まれる前に離脱する）、トランケーションバイアスを生じます。第二に、インターネット速度は社会経済的地位や地理と相関し、これが支払い能力に直接影響を与えます。計量経済学的変数やRDDがなければ、回帰は「富の指標としての速いインターネット」の効果と「コンバージョンを引き起こす速いサイト」の効果を混同し、真の因果効果を1.5-2倍過大評価します。
クライアントサイドキャッシングや再訪が縦断的分析における最適化効果の評価を歪める方法と、「治療汚染」をフィルタリングする方法は何か？
最適化前にサイトを訪問したリターンビジターは、HTTPキャッシュやService Workerに重い古いリソースを持つため、「治療」（新しい速いバージョン）が部分的または完全に適用されず、治療群と対照群の間に汚染を引き起こします。候補者は、しばしばIf-None-Matchヘッダーや最初の訪問のタイムスタンプでのfirst-party cookieの分析を確認することを忘れます。正しいアプローチは、**intent-to-treat（ITT）分析を行い、「クリーンな新しいセッション」（新しいユーザー + キャッシュクリア）と「汚染された再訪者」に分けること、または固定効果を用いた差分の差分（DiD）**を使用して、ユーザー内の変化をユーザー間の選択から隔離することです。
Core Web Vitalsの効果を評価する際のITT分析（Intent-to-Treat）とTOT分析（Treatment-on-the-Treated）の違いと、スケーリング計画においてビジネスメトリックスがITTで報告されることが重要な理由は何か？
ITTは改善を受けていないユーザー（たとえば、2G上のユーザーやJavaScriptを無効にしたユーザー）を含む全人口に対する効果を測定し、TOT（またはIVの文脈でのLATE）は、実際に最適化の恩恵を受けた「コンプライア」に対する効果だけを測定します。候補者はしばしばビジネスに対しTOT推定（速くて読み込みが改善されるユーザーに+15%のコンバージョン）を誤って報告しますが、100%のトラフィックに最適化をスケーリングする場合、実際の効果はITT（+6-8%）に近くなります。技術的に改善を得られない一部のオーディエンス（古いデバイス、低速ネットワーク）のため、ビジネス計画や収益予測のためには保守的なITT見積もりを使用することが重要です。