How to Build a RAG Pipeline with YouTube Transcripts

Получите ключ в панели управления (100 бесплатных кредитов, без карты) и получите транскрипт каждого видео по id. Кредиты списываются за запрос, а не за минуту видео, так что 3-часовая лекция стоит тот же 1 кредит, что и 2-минутный ролик - это важно, когда вы загружаете весь архив канала:

async function fetchTranscript(videoId: string) {
  const res = await fetch(
    `https://getyoutubetranscript.com/api/v1/transcript?v=${videoId}`,
    { headers: { Authorization: `Bearer ${process.env.GETYOUTUBETRANSCRIPT_API_KEY}` } }
  );
  const json = await res.json();
  if (!json.success) throw new Error(json.message);
  return json.data as { video_id: string; title: string; transcript: string; word_count: number };
}

const videoIds = ['dQw4w9WgXcQ', 'jNQXAC9IVRw' /* ... */];
const videos = await Promise.all(videoIds.map(fetchTranscript));

video_id и title возвращаются вместе с текстом транскрипта - именно на них ссылается ответ в шаге 5.

Разбейте каждый транскрипт на перекрывающиеся окна перед преобразованием в эмбеддинги - эмбеддинг всего видео целиком слишком грубый, чтобы найти по нему конкретный ответ, и для этого не нужна никакая библиотека:

function chunkText(text: string, size = 1200, overlap = 200) {
  const chunks: string[] = [];
  let start = 0;
  while (start < text.length) {
    const end = Math.min(start + size, text.length);
    chunks.push(text.slice(start, end));
    start += size - overlap;
  }
  return chunks;
}

const records = videos.flatMap((video) =>
  chunkText(video.transcript).map((text, chunkIndex) => ({
    videoId: video.video_id,
    title: video.title,
    chunkIndex,
    text,
  }))
);

Окно в 1200 символов с перекрытием в 200 символов - разумное значение по умолчанию для транскриптов устной речи - уменьшите его для коротких насыщенных роликов, увеличьте для длинного лекционного контента, где помогает больше окружающего контекста.

Преобразуйте каждую часть в эмбеддинг и храните id и название видео вместе с вектором, поскольку именно это превращает найденную часть в ссылку на источник позже:

import OpenAI from 'openai';
const openai = new OpenAI();

async function embed(text: string) {
  const res = await openai.embeddings.create({ model: 'text-embedding-3-small', input: text });
  return res.data[0].embedding;
}

const index = await Promise.all(
  records.map(async (r) => ({ ...r, embedding: await embed(r.text) }))
);

Здесь векторы хранятся в памяти для наглядности. При превышении нескольких сотен частей замените массив на pgvector, Pinecone или другое векторное хранилище - шагу поиска ниже нужна только функция, возвращающая top-k ближайших векторов, а не именно эта структура.

Во время запроса преобразуйте вопрос в эмбеддинг той же моделью и ранжируйте сохранённые части по косинусному сходству:

function cosineSimilarity(a: number[], b: number[]) {
  let dot = 0, normA = 0, normB = 0;
  for (let i = 0; i < a.length; i++) {
    dot += a[i] * b[i];
    normA += a[i] ** 2;
    normB += b[i] ** 2;
  }
  return dot / (Math.sqrt(normA) * Math.sqrt(normB));
}

async function retrieve(query: string, k = 5) {
  const queryEmbedding = await embed(query);
  return index
    .map((r) => ({ ...r, score: cosineSimilarity(r.embedding, queryEmbedding) }))
    .sort((a, b) => b.score - a.score)
    .slice(0, k);
}

k=5 - хорошая отправная точка: слишком мало частей - модели не хватает контекста для полного ответа, слишком много - нерелевантные части начинают размывать ответ.

Передайте найденные части модели как пронумерованный контекст и укажите ей отвечать только на основе этого материала и указывать источники - именно это делает ответ прослеживаемым до реального видео, а не общих знаний самой модели:

async function answer(query: string) {
  const matches = await retrieve(query);
  const context = matches
    .map((m, i) => `[${i + 1}] From "${m.title}":\n${m.text}`)
    .join('\n\n');

  const completion = await openai.chat.completions.create({
    model: 'gpt-4.1-mini',
    messages: [
      {
        role: 'system',
        content:
          "Answer only using the numbered transcript excerpts below. Cite sources as [1], [2], etc. " +
          "If the excerpts don't contain the answer, say so.",
      },
      { role: 'user', content: `${context}\n\nQuestion: ${query}` },
    ],
  });

  return completion.choices[0].message.content;
}

Указание источника по названию видео, а не выдуманная временная метка, соответствует тому, что реально возвращает API транскриптов - не позволяйте модели придумывать временную метку, которую ей никогда не передавали.

Для канала, который продолжает публиковать видео, проверяйте новые загрузки по расписанию через бесплатный эндпоинт /channel/latest (0 кредитов), пропускайте уже проиндексированные id видео и получайте, разбивайте на части и преобразуйте в эмбеддинги только новые. Тогда стоимость загрузки остаётся пропорциональной новому контенту, а не полной переиндексации при каждом запуске.

Видео - один из самых неудобных форматов для построения поиска по контенту: видео нельзя прогрепать. Транскрипт превращает его обратно в текст, с которым уже умеет работать ваш существующий стек эмбеддингов и поиска, без запуска собственного распознавания речи. А поскольку API с оплатой за запрос, а не за длительность видео, не учитывает длину видео при тарификации, загрузка архива длинного контента (подкасты, лекции, многочасовые трансляции) не становится систематически дороже, чем загрузка коротких роликов - а это именно тот архив, для поиска по которому обычно и строится RAG.