施策をやったら、やりっぱなしになっていないでしょうか。広告の文言を変えた、SNSの投稿の仕方を変えた、LINEの配信内容を変えた。そのあと「なんとなく良くなった気がする」で終わらせている事業者は、少なくないと感じます。私たちOne Ismは、施策を実施したら必ず「実施日」を記録し、前後の数字を比較して、効いたかどうかを検証しています。感覚ではなく数字で判定する、その検証フローを公開します。
効果検証と聞くと、難しく感じるかもしれません。ですが、私たちがやっていることは、シンプルです。どんな施策でも、必ず次の4つのステップを通します。
ここから先は、なぜ検証は疎かになりがちなのか、そして4つのステップの中身を、実例と一緒に正直にお伝えします。
施策そのものは、多くの会社がやっています。広告を出す、投稿を工夫する、配信を見直す。手を動かすところまでは、みなさん進めています。
ただ、その施策が「本当に効いたのか」まで確かめている会社は、意外と多くありません。理由はいくつかあると考えています。
ひとつは、忙しさです。施策を実施したら、次の施策にすぐ移ってしまい、振り返る前に別のことに気を取られます。実施した日付すら、記録に残らないまま流れていきます。
もうひとつは、都合よく解釈してしまうことです。全体の数字がなんとなく良ければ「あの施策のおかげだ」と思いたくなります。逆も同じで、悪い結果は「他の要因のせいだ」と考えたくなります。どちらも、実施前後を並べて比べていなければ、確かめようがありません。
そしてもうひとつ、効かなかったことを認めたくない気持ちもあると思います。時間もお金もかけた施策を「効かなかった」と言葉にするのは、気持ちのいいことではありません。だからこそ、はっきり確かめずに、なんとなく終わらせてしまいます。
最初のステップは、記録です。ここでつまずくと、あとの比較も判定も土台から崩れます。特別な分析ツールは要りません。私たちが1件の施策につき記録している項目は、次の5つだけです。
この5項目は、施策を実施したその日のうちに書きます。あとでまとめて書こうとすると、基準値を確認し忘れたり、日付があいまいになったりします。1行のメモで十分なので、その場で書き切ることを優先しています。
次のステップは、比較する期間の区切り方です。ここを誤ると、正しく記録していても、判定を間違えます。
基本ルールはひとつです。実施前と同じ長さの期間を、実施後にも取って比べます。実施前7日間を基準にしたなら、実施後も7日間で見ます。
期間の長さは、施策の性質で調整します。曜日によって数字が動きやすい指標は、最低でも7日間（曜日を1周する長さ）は見ます。宿泊予約のように季節の影響が大きい指標は、直前の数字だけでなく、前年の同じ時期の数字とも重ねて見ます。私たちが自社運営する旅館（創業140年）でも、月次の数字は前年同月比で見ることを基本にしています。
短すぎる期間で判定すると、たまたま良い日・悪い日を拾って誤った結論を出します。長すぎる期間で判定すると、そのあいだに別の施策や外部要因が混ざり込みます。どちらも、正しい判定を遠ざけます。
3つ目のステップは、数字が動いた理由を切り分けることです。多くの会社が、ここを飛ばして「効いた」「効かなかった」を決めてしまいます。
実際の現場では、ひとつの施策だけを変えて、他は何も動かさない、という状況はまれです。広告の文言を変えた同じ週に、SNSの投稿頻度も増やしていた。LINEの配信内容を変えた月に、たまたま連休が重なっていた。こうしたことは普通に起こります。
だからこそ、STEP1の記録には、その施策以外に「同じ期間に何を変えたか、何が起きたか」もあわせて書きます。連休や地域のイベント、競合の動き、他の施策の実施日をメモしておくと、あとで数字が動いた理由を考えるときの材料になります。
完全に1つの要因だけに切り分けることは、実際には難しいと考えています。それでも、記録に残しておけば「これが唯一の理由」とは言えなくても「これが主な理由である可能性が高い」というところまでは判断できます。可能であれば、施策は同時に1つずつ、間隔を空けて実施するほうが、切り分けは簡単になります。
最後のステップは、判定を1行の結論にして残すことです。ここまでの記録・比較・切り分けが正確でも、結論を書き残さなければ、次に活きません。
私たちが残す結論は、次のような1行です。
この1行には、日付、施策名、変更前後の数字、他の要因の有無、White・Blackの判定を、すべて入れます。判定が難しい場合でも、あいまいなまま放置しません。数字の変化が、日々のばらつきの範囲を超えているかどうかで、必ずどちらかに決めます。
判断材料が足りず、その場で決めきれない時は、「保留」のまま終わらせず、次に確認する日付まで1行に書きます。判定そのものを先送りにしないことが、検証を続けるコツです。
この記録→比較→切り分け→判定を、施策のたびに繰り返してきました。単発の派手な一手ではなく、積み重ねの結果として、次のような数字につながっています。
いずれも、1回の施策で一気に結果が出たわけではありません。効いた施策と効かなかった施策の両方を記録し、効いたものだけを積み重ねてきた結果です。
検証フロー自体はシンプルですが、運用していくと、つまずきやすいポイントがあります。私たちが実際に経験した3つと、その対処法を共有します。
正直に言うと、実施した施策のすべてが効いているわけではありません。むしろ、はっきり効果が出た施策のほうが少ないというのが、実感に近いです。
大切なのは、効かなかった施策を、なかったことにしないことです。数字がBlackだったなら、そのままBlackとして記録に残します。都合よく書き換えたり、記録自体を消したりはしません。
効かなかった施策を正直に残しておくと、あとで似た案が出たときに、すぐ確認できます。「それは以前試して、効果が出なかった」と、記録を見せるだけで済みます。記憶に頼ると、同じ施策を形を変えて何度も繰り返してしまいます。
効かなかったことは、失敗ではなく、ひとつの事実です。事実として扱えば、次に何を試すべきかを考える材料になります。感情を挟まず、数字だけで淡々と判定する。それが、検証を続けるコツだと考えています。
最低限、施策を実施した日付を記録してください。実施日が分からないと、前後の数字を比べようがありません。私たちは日付・施策名・変更内容（変更前→変更後）・基準値・記録場所の5項目を、実施したその日のうちに書き残しています。
施策の種類によって変わりますが、まずは実施前と同じ長さの期間を、実施後にも取って比べることをおすすめします。曜日で数字が動きやすい指標は最低7日間、季節の影響が大きい指標は前年の同時期とも重ねて見ます。短すぎると数字がぶれ、長すぎると他の要因が混ざります。
施策の記録に、その期間に起きた他の変化（他の施策・連休やイベント・競合の動きなど）もあわせて書き残します。完全に1つの要因だけに切り分けるのは難しいので、可能であれば施策は1つずつ間隔を空けて実施すると、切り分けがしやすくなります。
日付・施策名・変更前後の数字・他の要因の有無・White（効いた）かBlack（効かなかった）かの判定を、1行にまとめて残します。判断がつかない場合も放置せず、次に確認する日付まで書いておきます。
感覚そのものが悪いわけではありません。ただ、感覚だけで終わらせず、必ず数字で裏付けることを大切にしています。数字と感覚が一致すれば確信になりますし、ずれていれば見直すきっかけになります。
効かなかったという結果も、そのまま記録に残しています。隠さず正直に扱うことで、同じ施策を形を変えて繰り返すことを防げます。
はい。広告に限らず、SNSの投稿の仕方を変えた、LINEの配信内容を変えた、SEOのページを直したといった施策も、同じ「記録→比較→切り分け→判定」の流れで検証しています。