МАТЧАСТЬ / BEFORE–AFTER METHODOLOGY / DOCUMENT 34 / 02.09.2026

Методология Before / After

Как корректно отвечать клиенту на вопрос «Что изменилось после публикации?». Методология фиксирует baseline, окна +7/+30/+60, неизменный prompt cohort, повторные AI-runs, Search Console lag, percent points, paired comparison, source/model changes, confounders и правила причинных формулировок.

Baseline first«до» собирается до intervention

Locked cohortprompts, competitors, platforms, region фиксируются

+7 / +30 / +60early, primary, persistence

Association ≠ causeобычный before/after не доказывает причинность

1. Главное решение

«Матчасть» продаёт измеренное изменение, а не обещанный causal uplift. Стандартный отчёт показывает, как изменилась фиксированная выборка после intervention, и отдельно указывает, насколько уверенно изменение можно связывать именно с публикацией.

BASELINE ↓ PUBLICATION / OTHER INTERVENTION ↓ +7 EARLY ↓ +30 PRIMARY ↓ +60 PERSISTENCE ↓ COMPARE ↓ LIMITATIONS ↓ NEXT BEST ACTION

2. Лестница доказательности

Уровень	Что реально доказано	Допустимая формулировка
Snapshot	Состояние сейчас	«Бренд встречается в 18/50 prompts»
Before/After	Изменение между двумя периодами	«Mention Rate вырос с 36% до 44%»
Temporal association	Изменение произошло после публикации	«Рост наблюдался после публикации»
Comparison cohort	Изменение сильнее сопоставимой группы	«Целевой cohort вырос сильнее comparison cohort»
Quasi-experiment	Оценка эффекта при assumptions	Только research-grade анализ

Запрещённая подмена: простой before/after → «публикация вызвала рост на 18%».

3. Intervention log

Публикация редко является единственным событием. В отчёте должны фиксироваться всё, что могло повлиять на результат.

MATHCHAST_PUBLICATION MATHCHAST_MAJOR_UPDATE COMPANY_PROFILE_UPDATE CLIENT_SITE_UPDATE EXTERNAL_MEDIA PRODUCT_LAUNCH PR_CAMPAIGN PAID_DISTRIBUTION MAJOR_COMPETITOR_EVENT AI_PROVIDER_CHANGE SEARCH_ENGINE_CHANGE

Один intervention обозначается primary. Остальные идут как confounders/annotations.

4. Measurement Plan создаётся ДО публикации

measurement_plan primary_intervention baseline_window post_windows prompt_set_version competitor_set_version platform_set region language collection_method primary_metrics secondary_metrics target_topics comparison_group optional

Для SKU Publish + Visibility этот план становится частью заказа.

5. AI baseline

Рекомендуемый MVP: Day -5: run Day -3: run Day -1: run или 3–5 повторных наблюдений в течение 3–7 дней до публикации.

Один baseline run слишком чувствителен к недетерминированности AI. Semrush прямо подчёркивает probabilistic nature prompt tracking; Profound выполняет tracked prompts ежедневно; Ahrefs позволяет обновлять Custom Prompts daily/weekly/monthly.

6. Если baseline не успели собрать

Сценарий	Что можно сделать
Нужно публиковать сегодня	Post-only monitoring без строгого AI Before/After
Есть 24 часа	Compressed baseline с пониженной evidence quality
Статья уже вышла	Historical Search baseline, если источник хранит данные; AI baseline задним числом не выдумывается

7. Locked Prompt Cohort

Основной объект методологии — неизменный cohort.

Серия сравнима, если одинаковы: prompt wording prompt set version competitor set platform region language collection method metric version model/mode: фиксировать, если доступно.

8. Expansion Set

LOCKED: 40 prompts → официальный trend EXPANSION: 15 новых prompts → exploratory panel НЕ смешивать denominators.

9. Competitor Set

AI Share of Voice зависит от того, кто включён в denominator. Если после baseline добавить нового конкурента, historical SoV нельзя пересчитывать молча.

SoV v1: Client + A + B + C Emerging competitor D: show separately SoV v2: new series / new baseline.

10. Platform / Region / Language

Baseline Russia/ChatGPT/Gemini нельзя сравнивать с Post US/ChatGPT/Claude как единую серию.

RU and US: separate series ChatGPT/Gemini/Perplexity: locked aggregate v1 Claude added later: new platform series + aggregate v2.

11. Окна измерения

Окно	Назначение
Baseline	Стабильная точка «до» + оценка обычной вариативности
+7	Early signal, first crawl/citation, measurement health
+30	Главный первый коммерческий before/after
+60	Persistence / delayed effect
+90+	Evergreen / premium monitoring

12. Почему +7 не является финалом

Crawling, source discovery, retrieval и external changes происходят с разной задержкой. +7 — early directional, +30 — primary, +60 — проверка устойчивости.

13. Paired analysis

Мы измеряем те же prompts до и после, поэтому сравнение должно быть paired.

Для каждого prompt p: baseline_presence_p = mentions / baseline replicates post_presence_p = mentions / post replicates delta_p = post - baseline Overall delta = mean(delta_p)

14. Почему сначала считаем внутри prompt

Prompt с большим числом успешных runs не должен случайно получить в несколько раз больший вес, если дизайн не предполагал weighting.

15. Основной weighting

На MVP каждый стратегический prompt получает равный вес. Demand/Opportunity-weighted показатели позже живут отдельной метрикой.

16. Percent points, не маркетинговая арифметика

Baseline 18% Post 25% Основной headline: +7 п.п. Secondary: +38.9% relative Counts: 9/50 → 12.5/50 equivalent or actual observation numerator.

1% → 3% нельзя рекламировать главным образом как «+200% visibility» без +2 п.п. и denominator.

17. Counts всегда рядом

Mention Rate 44% 22 / 50 prompts Baseline: 36% 18 / 50 Change: +8 п.п.

18. Mention Rate

Сравнивается answer-level presence на locked cohort. No-answer/provider failure не считается отсутствием бренда.

19. Recommendation Rate

Baseline: brand recommended / shortlisted in 7/40 commercial prompts Post: 11/40 Change: +10 п.п.

20. Citation Rate

Own-domain Citation Rate Mathchast Citation Rate Watched URL Citation Rate Compare separately.

21. First Observed Citation

Для новой страницы milestone «впервые зафиксировано цитирование URL» часто понятнее процента.

Но нельзя называть это «моментом AI indexing»: мы видим только first observed citation в нашей выборке.

22. Share of Voice

Client mentions: 18 → 25 Tracked competitor mentions: 100 → 110 SoV: 15.3% → 18.5% Δ +3.2 п.п.

Рядом показывается absolute Mention Rate, потому что SoV может двигаться из-за поведения конкурентов.

23. Интерпретация SoV

Mention	SoV	Что произошло
↑	↑	Absolute и relative presence выросли
↑	↓	Клиент растёт, но категория/конкуренты быстрее
↓	↑	Относительная устойчивость на падающем рынке
↓	↓	Негативное направление

24. Source Mix

Baseline: Owned 60 Earned 30 Other 10 Post: Owned 40 Mathchast 10 Earned 40 Other 10

Поскольку доли compositional, рядом показывать absolute citations, а не только проценты.

25. Fact Accuracy

10 critical facts Baseline: 7 accurate 2 outdated 1 wrong Post: 9 accurate 1 outdated 0 wrong

Для verification/profile interventions Fact Accuracy может быть сильнее global SoV.

26. Outcome должен соответствовать intervention

Intervention	Primary outcome
Case	Recommendation / target-topic Citation
Expert article	Expertise/topic mentions
Research	Citations / source adoption
Company profile update	Branded Fact Accuracy
Context Pack	Topic-cluster coverage

Не каждая публикация должна оцениваться по global SoV.

27. Topic-level analysis

Security: 8% → 25% (+17 pp) Pricing: 60% → 58% (-2 pp) Automation: 42% → 43% (+1 pp)

Если статья была о security, target-topic movement информативнее общего average.

28. Funnel-level analysis

Discovery 12 → 18% Consideration 24 → 35% Recommendation 10 → 19% Branded Facts 90 → 92%

29. Primary metric фиксируется заранее

До публикации: Expected topic: SECURITY Primary: Recommendation Rate Secondary: Mathchast Citation Rate Mention Rate Exploratory: other topic shifts.

Так нельзя после результата выбрать единственную случайно выросшую метрику и объявить её целью.

30. Search: новый URL не имеет честного «до»

0 показов до создания URL → 400 после публикации не является «ростом SEO на 400 показов».

Для нового URL: publish → first crawl → first indexed/searchable observation → first impression → first click → +7/+30/+60 trajectory.

31. Company/topic-level Search Before/After

30d before vs 30d after Metrics: brand impressions non-brand topic impressions clicks query-cluster coverage pages receiving impressions.

32. Search Console final data

Google официально указывает, что данные Performance обычно доступны с задержкой около 2–3 дней, а самые свежие строки могут быть preliminary. API позволяет запрашивать dataState=final и отдельно свежие incomplete data.

Официальный +30 report строится на finalized Search Console data. Последние preliminary дни либо исключаются, либо показываются отдельным слоем.

33. Search timezone

Search Console в обычных Performance views маркирует сутки по Pacific Time. Внутренняя аналитика «Матчасти» может жить в UTC/бизнес-таймзоне. Data source timezone хранится явно.

34. Search anomalies

Google ведёт журнал anomalies; в 2026 году в нём фиксировались logging issues, затронувшие Generative AI/Search reporting. Такие периоды должны появляться как chart annotations.

35. Query clusters

BRAND: Acme Acme AI Acme reviews TOPIC: AI visibility tools GEO monitoring LLM brand tracking

Raw query list Search Console не считается полным universe из-за privacy/top-row limitations.

36. CTR и Position — secondary

CTR может снизиться при хорошем расширении impressions. Average position агрегирует разные запросы и контексты. Оба показателя диагностические, не главный outcome.

37. Reader analytics нового материала

Нет pre-page baseline. Используем: +7/+30/+60 + historical matched cohort: same format same topic similar distribution same commercial/editorial class.

38. Comparison cohort

New case Compare: last 20 eligible cases median P25–P75 Metrics: meaningful reads second-click company profile click official-site click.

39. Контрольная группа для AI — P1/P2

TREATMENT: 40 prompts directly related to publication topic COMPARISON: 40 adjacent prompts not addressed by publication Measure both: before and after.

40. Difference-in-Differences

Treatment: 20% → 35% +15 pp Control: 25% → 30% +5 pp Difference-in-differences: +10 pp.

Это не автоматически causal. Нужны достаточная pre-history, сопоставимость и plausible parallel trends.

41. Когда не использовать DiD

1 baseline day 5 prompts major model change unrelated control simultaneous product launch prompt set edited.

42. Statistical uncertainty

Для advanced report рекомендуем paired bootstrap по prompts, а не по отдельным AI answers.

1. Calculate baseline/post per prompt 2. Calculate delta_p 3. Resample prompts with replacement 4. Recalculate mean delta 5. Build percentile interval

Replicates одного prompt не являются полностью независимыми единицами.

43. Почему не p<0.05 как главный маркетинг

Tracked prompts — стратегическая purposive sample, а не случайная выборка всех реальных разговоров. Классическая «статзначимость» может создать ложное ощущение научной универсальности.

44. Более полезный язык

Robust observation Directional Within baseline variation Consistent across 2/3 platforms Small sample Partial data Non-comparable.

45. Baseline variability band

Baseline runs: 32, 38, 35, 34, 37% Post: 36% → внутри обычного диапазона Post: 55% → явно вне baseline range → проверяем persistence.

46. Coverage / Missing data

Scheduled: 360 observations Completed: 348 Coverage: 96.7%

Provider error / refusal / collection failure = NO_OBSERVATION, а не «brand absent».

Стартовая гипотеза: при <80% planned observations report получает PARTIAL. Точный threshold валидируется на pilots.

47. Comparable cells

unit: prompt × platform × region Для strict delta нужны: достаточные baseline observations + достаточные post observations.

48. Model / collection method change

Изменение	Действие
Prompt wording materially changed	Новая серия для prompt
Competitor set changed	Новая SoV version
Region changed	Отдельная series
New platform added	Новая platform series + aggregate version
Metric formula changed	Новая metric version
Collection route materially changed	Возможно полный baseline restart

49. Non-comparable — это нормальный результат

Если measurement instrument изменился существенно, система должна сказать NON-COMPARABLE, а не рисовать красивый delta.

50. Multi-intervention campaign

September: Mathchast case client site update external press article product launch → campaign-level before/after Asset-level: watched URL citation / referrals Не: 4 независимых causal claims.

51. Несколько публикаций за месяц

Если клиент выпускает 10 материалов, company-level SoV становится результатом content/PR cluster. Для каждой статьи сохраняются собственные watched URL/source metrics и target prompt cohort.

52. Triangulation

Search: new URL gets impressions AI: new URL first cited Reader: ChatGPT referrals appear Target prompts: Recommendation +12 pp Together: strong temporal multi-signal association.

Но даже такой набор не превращается автоматически в randomized causal proof.

53. Trend patterns

Baseline → +7 → +30 → +60	Интерпретация
20 → 40 → 22 → 21	Early spike, not sustained
20 → 20 → 28 → 35	Delayed positive trend
20 → 28 → 30 → 31	Sustained positive
20 → 19 → 21 → 20	Flat / baseline variation

54. Summary states

UP_SUSTAINED UP_EARLY_ONLY UP_DELAYED FLAT MIXED DOWN INSUFFICIENT_DATA NON_COMPARABLE

55. Mixed result — полезный результат

Mention ↑ Recommendation ↑ Citation ↓ Conclusion: brand visibility strengthened, source footprint did not. Next action: source/citation gap analysis.

56. Causal wording policy

Evidence	Можно	Нельзя
Before/After	«Изменилось с X до Y»	«Публикация вызвала Y»
Temporal	«Рост наблюдался после публикации»	«Рост обеспечен публикацией»
Comparison	«Целевой cohort вырос сильнее comparison»	«100% доказан эффект»
Watched URL cited	«URL был процитирован»	«Мы заставили модель использовать URL»

57. Intervention-specific success

Research: citation/source adoption Case: recommendation on exact use case Profile verification: fact accuracy Expert page: expertise presence Context Bridge: topic-cluster coverage.

58. Report structure

1. Что измеряли 2. Baseline 3. Intervention 4. +7 / +30 / +60 5. Primary metric 6. Platform/topic detail 7. Search Proof 8. Reader outcomes 9. Sources/citations 10. Confounders 11. Evidence level 12. Limitations 13. Next Best Action.

59. Example client summary

Mention Rate: 36% → 44% +8 п.п. Recommendation: 12% → 19% +7 п.п. Mathchast Citation: 0% → 8% first citation observed Sep 18 Comparable coverage: 96.7% Evidence: Repeated observational Annotation: External media article Sep 12.

60. Flat summary wording

«Показатель остался внутри обычного baseline диапазона. Устойчивого изменения за первые 30 дней не зафиксировано.»

61. Negative result wording

«Mention Rate снизился на 6 п.п. на сопоставимой выборке. Причина по этим данным не установлена; требуется source/topic analysis.»

62. Measurement health

Prompt coverage 98% Platform coverage 100% Comparable cohort 94% Method changes 0 Major confounders 1 Search final data 92% Evidence: ROBUST WITH ANNOTATION

63. Report versioning

report_id measurement_plan_id methodology_version metric_versions cohort_version data_cutoff annotations generated_at report_version.

Исправление data bug создаёт новую версию отчёта; предыдущая сохраняется для audit.

64. Methodology versioning

v1.0 paired deltas + counts v1.1 bootstrap intervals v1.2 comparison cohort rules Historical reports: retain method version.

65. Search report rule

Main +30 Search metrics используют FINAL data. Preliminary rows могут отображаться в live dashboard, но визуально отделяются.

66. Google data anomaly sensitivity

Если anomaly пересекает окно: calculate: with affected days vs without affected days If conclusion same: robust If not: uncertain.

67. Fast-track product UX

Нужна публикация сегодня? A. Publish now → monitoring after publication → no strict AI baseline B. Collect baseline → publication through 3–5 days → full Before/After.

68. Baseline card в кабинете

BASELINE LOCKED 40 prompts 3 platforms 4 competitors RU 3 replicates Aug 28 – Sep 2 [Методология]

69. +30 card

+30 SNAPSHOT Comparable: 348 / 360 96.7% Primary: Recommendation +7 pp Evidence: ROBUST OBSERVATIONAL

70. Next Best Publication получает только устойчивые сигналы

Priority gap if: persistent buyer intent high competitors present source gap clear content/entity gap exists Do not react: to one random answer.

71. Рыночные паттерны

Semrush уже предлагает historical AI visibility trends и weekly snapshots; Profound сравнивает выбранный time window с previous period и ежедневно обновляет prompt-driven dataset; Ahrefs Brand Radar предоставляет historical Mention/SoV endpoints и регулярные Custom Prompts. Это подтверждает, что longitudinal tracking — рыночный стандарт. Отличие «Матчасти» должно быть в заранее зафиксированном intervention plan, locked cohort и более строгом causal wording.

72. Почему topic cohort важнее одного prompt

Исследование Semrush 2026 года отдельно показывает, что победа по одному prompt не означает устойчивую видимость по теме. Поэтому основная единица интерпретации — topic cluster из нескольких buyer questions.

73. MVP

P0/P1: measurement plan 3-run baseline locked prompts locked competitors 2–3 platforms +7/+30/+60 paired delta pp + counts topic/platform splits coverage state annotations Search final-data rules watched URL milestones human QA.

74. P1.5

paired bootstrap baseline variability bands comparison prompt cohorts rolling monitoring campaign-level analysis.

75. P2

difference-in-differences interrupted time series advanced comparison groups Fact Accuracy interventions portfolio measurement historical lag benchmarks.

76. Что не входит в MVP

Не строим	Почему
Causal lift по одному before/after	Неверная причинная интерпретация
Single-run baseline	Слишком шумно
Changing prompts mid-series	Ломает сравнимость
Один p-value как proof	Создаёт ложную универсальность
0→X «SEO uplift» для нового URL	У страницы не было pre-period
Смешивание Search preliminary/final	Ломает отчёт

77. Acceptance tests

CLEAN: 50 prompts 3 platforms 3 baseline runs 3 post runs >95% comparable → delta/report CONFOUNDED: publication + PR + launch → campaign-level conclusion BROKEN METHOD: connector changed → NON-COMPARABLE → new baseline SMALL: 5 prompts, 0→2 → +40 pp, 2/5, LOW SAMPLE.

78. Главная коммерческая формулировка

«Мы показываем не обещанный эффект, а измеренное изменение на заранее зафиксированной выборке — и отдельно указываем, насколько уверенно его можно связывать с публикацией.»

79. Решение документа

Утвердить locked-cohort Before/After methodology. AI baseline собирается до публикации несколькими runs на неизменном наборе prompts, competitors, platforms, region и collection method. Главные окна — +7, +30, +60; официальный первый результат — +30. Rate-метрики сравниваются в процентных пунктах и сопровождаются numerator/denominator. Анализ paired по prompts; позднее добавляется prompt-level bootstrap. Provider failures не считаются отсутствием бренда. Для нового URL Search не используется фиктивное «0→X», вместо этого отслеживаются discovery milestones и post-launch trajectory; company/topic-level Search сравнивается на исторических окнах и finalized Search Console data. Все major interventions и provider changes аннотируются. При изменении measurement instrument создаётся новая series. Стандартная коммерческая формулировка остаётся observational; causal language допускается только в специально спроектированных comparative/quasi-experimental исследованиях. Результат Mathchast_34 является прямым входом для Mathchast_35 Next Best Publication.

Источники исследования

Baseline schedule, 30–50 prompt standard, 3-run replicates, +7/+30/+60 windows, 80% coverage rule, paired bootstrap, evidence states and comparison designs are project methodology decisions of «Матчасть». They should be revised after the first 10–30 monitored companies through a public methodology changelog.