День 13: Исследование рынка как у McKinsey с помощью ИИ

Выбор модели и API

Актуальный способ запроса — Responses API (POST /v1/responses). Он проще и поддерживает «структурированные ответы» в JSON-схеме.

OpenAI Cookbook • OpenAI Platform • OpenAI

Бюджетно и достаточно умно для такого проекта подойдёт gpt-4.1-mini (можно заменить на gpt-4.1, если нужен потолок качества).

OpenAI Platform

Вариант A (без кода): аддон «GPT for Sheets & Docs»

• Установить аддон из Marketplace (Talarian). Google Workspace
• Открыть таблицу → Extensions → GPT for Sheets and Docs → Launch.
• Ввести OpenAI API-ключ и модель (например, gpt-4.1-mini).
• В ячейках использовать формулы аддона (например, =GPT("Суммаризуй сайт " & A2 & " по схеме ...")).

Плюс: быстро стартовать. Минус: меньше контроля над схемой/JSON и обработкой HTML.

Вариант B (с кодом): Google Apps Script + OpenAI Responses API

1. Подготовка проекта

• В Google Sheets: Extensions → Apps Script.
• Project Settings → Script properties → добавить OPENAI_API_KEY (так безопаснее, чем хранить в коде).
• В Code.gs вставить код ниже и сохранить.

Почему Responses API и «структурированные ответы»? Он нативно поддерживает response_format: json_schema, что заставляет модель возвращать валидный JSON по вашей схеме. OpenAI Platform • OpenAI

2. Код: базовый клиент OpenAI

/** === Конфиг === */
const OPENAI_URL = "https://api.openai.com/v1/responses";
const OPENAI_MODEL = "gpt-4.1-mini"; // можно "gpt-4.1" при необходимости качества

function getApiKey_() {
  const key = PropertiesService.getScriptProperties().getProperty("OPENAI_API_KEY");
  if (!key) throw new Error("Нет Script property OPENAI_API_KEY");
  return key;
}

/** Универсальный вызов Responses API с JSON-схемой */
function callOpenAIJson_(prompt, jsonSchemaObj, temperature) {
  const payload = {
    model: OPENAI_MODEL,
    input: [
      {
        role: "user",
        content: [
          { type: "input_text", text: prompt }
        ]
      }
    ],
    response_format: {
      type: "json_schema",
      json_schema: {
        name: "StructuredResult",
        schema: jsonSchemaObj,
        strict: true
      }
    },
    temperature: temperature ?? 0.4
  };

  const res = UrlFetchApp.fetch(OPENAI_URL, {
    method: "post",
    contentType: "application/json",
    headers: { Authorization: `Bearer ${getApiKey_()}` },
    payload: JSON.stringify(payload),
    muteHttpExceptions: true
  });

  if (res.getResponseCode() >= 400) {
    throw new Error("OpenAI error: " + res.getContentText());
  }

  const json = JSON.parse(res.getContentText());
  // В Responses API текст лежит в output -> message -> content -> text
  const text = json && json.output && json.output[0] && json.output[0].content && json.output[0].content[0] ? json.output[0].content[0].text : null;
  if (!text) throw new Error("Не удалось извлечь текст из ответа OpenAI: " + res.getContentText());

  // Возвращает строку JSON, парсим в объект:
  try {
    return JSON.parse(text);
  } catch (e) {
    // Если модель вернула текст, но без чистого JSON (мало вероятно при json_schema) – пробуем поправить
    return JSON.parse(text.replace(/```json|```/g, "").trim());
  }
}

Форма запроса через input и пример извлечения результата соответствуют cookbook по Responses API. OpenAI Cookbook

3. Вытаскиваем текст с сайта конкурента и режем до лимита

/** Грубая очистка HTML -> текст */
function htmlToText_(html) {
  // Убираем скрипты/стили и теги
  html = html.replace(/<script[\s\S]*?<\/script>/gi, " ")
             .replace(/<style[\s\S]*?<\/style>/gi, " ")
             .replace(/<[^>]+>/g, " ")
             .replace(/&nbsp;|&amp;|&quot;|&lt;|&gt;|&#\d+;/g, " " );
  // Сжимаем пробелы
  return html.replace(/\s+/g, " ").trim();
}

function fetchPageText_(url, maxLen) {
  const res = UrlFetchApp.fetch(url, { muteHttpExceptions: true, followRedirects: true });
  if (res.getResponseCode() >= 400) throw new Error("Не удалось скачать: " + url);
  const txt = htmlToText_(res.getContentText());
  const lim = maxLen ?? 12000; // ограничим, чтобы не раздувать контекст
  return txt.length > lim ? txt.slice(0, lim) : txt;
}

Примечание: соблюдайте robots.txt и условия сайтов; объём ограничиваем, чтобы экономить токены.

4. Суммаризация конкурента в жёсткий JSON

/** Схема JSON для конкурента */
function competitorSchema_() {
  return {
    type: "object",
    properties: {
      name: { type: "string" },
      short_description: { type: "string" },
      value_proposition: { type: "string" },
      target_audience: { type: "string" },
      key_features: { type: "array", items: { type: "string" } },
      pricing_model: { type: "string" },
      acquisition_channels: { type: "array", items: { type: "string" } },
      geo_focus: { type: "string" },
      notes: { type: "string" }
    },
    required: ["name", "short_description", "value_proposition", "target_audience", "key_features"]
  };
}

/** Пользовательская функция в листе: =COMPETITOR(A2) */
function COMPETITOR(url) {
  if (!url) return [["", "", "", "", "", "", "", "", "", ""]];
  const pageText = fetchPageText_(url, 12000);

  const prompt = [
    "Ты — продуктовый аналитик. Извлеки факты о компании/продукте из текста ниже.",
    "Если данных нет — оставь поле пустым, не выдумывай.",
    "Верни строго JSON по схеме (без комментариев).",
    "",
    "Текст с сайта (обрезан):",
    pageText
  ].join("\n");

  const obj = callOpenAIJson_(prompt, competitorSchema_(), 0.2);

  // Возвращаем как массив по колонкам для заполнения строки в Google Sheets
  const out = [
    url,
    obj.name || "",
    obj.short_description || "",
    obj.value_proposition || "",
    obj.target_audience || "",
    (obj.key_features || []).join(", "),
    obj.pricing_model || "",
    (obj.acquisition_channels || []).join(", "),
    obj.geo_focus || "",
    obj.notes || ""
  ];

  return [out]; // двумерный массив — одна строка
}

5. SWOT по конкуренту (из сводки)

function swotSchema_() {
  return {
    type: "object",
    properties: {
      strengths: { type: "array", items: { type: "string" } },
      weaknesses: { type: "array", items: { type: "string" } },
      opportunities: { type: "array", items: { type: "string" } },
      threats: { type: "array", items: { type: "string" } }
    },
    required: ["strengths", "weaknesses", "opportunities", "threats"]
  };
}

/** =SWOT_SUMMARY(B2:J2) — передаём сводку по конкуренту как диапазон */
function SWOT_SUMMARY(range) {
  if (!range) return [["", "", "", ""]];
  const values = (Array.isArray(range) ? range : [[range]]);

  const headers = ["Название","Описание","Ценность","Аудитория","Фичи","Модель","Каналы","Гео","Заметки"];
  const flat = values[0]; // предполагаем одна строка
  const text = headers.map((h,i)=> `${h}: ${flat[i+1] || ""}`).join("\n");

  const prompt = [
    "Сделай лаконичный SWOT на основе краткой сводки конкурента ниже.",
    "Факты — только из текста. Верни строгий JSON (массивы строк).",
    "",
    text
  ].join("\n");

  const obj = callOpenAIJson_(prompt, swotSchema_(), 0.2);
  const join = arr => (arr||[]).join(" • ");

  return [[
    join(obj.strengths),
    join(obj.weaknesses),
    join(obj.opportunities),
    join(obj.threats)
  ]];
}

6. Поиск ниш: Gaps + тренды

Идея: на вход даём список конкурентов (фичи, аудитории, ценности) и просим GPT выдать кандидаты ниш с оценками.

function gapSchema_() {
  return {
    type: "array",
    items: {
      type: "object",
      properties: {
        idea: { type: "string" },
        who_for: { type: "string" },
        pain_point: { type: "string" },
        why_now: { type: "string" },
        competition_gap: { type: "string" },
        attractiveness_1to10: { type: "number" },
        confidence_note: { type: "string" }
      },
      required: ["idea","attractiveness_1to10"]
    }
  };
}

/** =GAPS(A2:J10; "рынок: рекламные автоматизации") */
function GAPS(competitorTableRange, contextNote) {
  const rows = competitorTableRange || [];
  const header = ["URL","Название","Описание","Ценность","Аудитория","Фичи","Модель","Каналы","Гео","Заметки"];
  const lines = rows.map(r => header.map((h,i)=> `${h}: ${r[i]||""}`).join(" | ")).join("\n");

  const prompt = [
    "На основе сведений о конкурентах сформируй список недообслуженных ниш (Gaps).",
    "Проверь дубли, обобщи фичи и ЦА. Верни массив объектов JSON по схеме.",
    contextNote ? `Контекст: ${contextNote}` : "",
    "",
    lines
  ].join("\n");

  const ideas = callOpenAIJson_(prompt, gapSchema_(), 0.3);
  // Разворачиваем массив в таблицу
  const headerOut = [["Идея","Для кого","Проблема","Почему сейчас","Gap vs конкуренты","Привлекательность (1-10)","Комментарий"]];
  const body = ideas.map(x => [
    x.idea||"", x.who_for||"", x.pain_point||"", x.why_now||"",
    x.competition_gap||"", x.attractiveness_1to10||"", x.confidence_note||""
  ]);
  return headerOut.concat(body);
}

При желании можно дополнить проверкой спроса (Google Trends, Keyword Planner) вручную, а в колонках добавить ссылки/оценки.

7. Матрица возможностей Impact/Effort

На вкладке ImpactEffort заведите колонки: A: Идея, B: Impact (1–10), C: Effort (1–10), D: Квадрант, E: Комментарий.

Формула для квадранта в D2:

=IFS(
  B2>=7  * (C2<=4), "Quick Wins",
  B2>=7  * (C2>4),  "Major Projects",
  B2<7   * (C2<=4), "Fill-ins",
  TRUE,             "Time Wasters"
)

Постройте пузырьковую/рассеяние-диаграмму (X=Effort, Y=Impact), добавьте условное форматирование по D.

Как этим пользоваться в таблице

• В Конкуренты внесите URL в A2:A.
• В B2 введите: =INDEX(COMPETITOR(A2),1,2) и протяните вправо до K. Или сразу: =COMPETITOR(A2) если строка выделена под этот массив.
• На вкладке SWOT в A2:D2: =SWOT_SUMMARY(Конкуренты!B2:J2) и протяните вниз.
• На вкладке Gaps&Trends вызовите: =GAPS(Конкуренты!A2:J20; "рынок: ваш контекст") — это выкатит список идей.

Альтернативы и дополнения

Официальный SDK для JS/TS (если захотите перенести логику в мини-бекенд): библиотека openai использует Responses API по умолчанию. GitHub

Веб-поиск прямо через Responses API как инструмент: можно включать hosted-tool web_search в массив tools, но в Google Apps Script это быстрее реализовать собственным UrlFetchApp + ваш промпт. OpenAI Cookbook • OpenAI Platform

Частые вопросы

• Какая конечная точка и формат?
  POST https://api.openai.com/v1/responses, тело с model, input и при необходимости response_format: { type: "json_schema", ... }. OpenAI Cookbook • OpenAI Platform
• Что делать, если JSON вдруг приедет в «json ... »?
  Это бывает в старых сценариях; в коде выше предусмотрена очистка на всякий случай. Структурированные ответы минимизируют проблему. OpenAI Community
• Какую модель выбрать?
  Стартуйте с gpt-4.1-mini (дешево/быстро), для сложных разборов — gpt-4.1. OpenAI Platform