Build an AI YouTube Video Summarizer with LangChain and Next.js

В этом руководстве используется текущее разделение пакетов LangChain JS - базовые примитивы, интеграция с OpenAI и text splitter'ы живут каждый в своём собственном пакете:

npm install langchain @langchain/core @langchain/openai @langchain/textsplitters

Получите ключ в панели управления (100 бесплатных кредитов, без карты), затем вызовите эндпоинт расшифровки из route handler в Next.js:

// app/api/summarize/route.ts
import { NextResponse } from 'next/server';

async function fetchTranscript(videoId: string) {
  const res = await fetch(
    `https://getyoutubetranscript.com/api/v1/transcript?v=${videoId}`,
    { headers: { Authorization: `Bearer ${process.env.GETYOUTUBETRANSCRIPT_API_KEY}` } }
  );
  const json = await res.json();
  if (!json.success) throw new Error(json.message);
  // json.data.transcript is the full plain-text transcript,
  // json.data.word_count is its length in words.
  return json.data as { transcript: string; word_count: number; title: string };
}

transcript - это полная расшифровка в виде обычного текста, а word_count - её длина в словах, что полезно, чтобы решить, можно ли вообще пропустить этап разбиения на части для короткого видео.

Длинная расшифровка легко может превысить объём, который комфортно отправить в LLM за один промпт, поэтому сначала разбейте её. RecursiveCharacterTextSplitter пытается разбивать сначала по абзацам, затем по предложениям, затем по словам, именно в этом порядке, чтобы части оставались читаемыми, а не обрывались посреди предложения:

import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters';

const splitter = new RecursiveCharacterTextSplitter({
  chunkSize: 4000,
  chunkOverlap: 200,
});

const chunks = await splitter.splitText(transcript);
// A 20-minute video is usually 1-2 chunks; a 2-hour one might be 8-10.

chunkOverlap сохраняет немного контекста из конца одной части в начале следующей, чтобы предложение, разделённое на границе, не терялось ни в одной из частей.

ChatPromptTemplate + модель + StringOutputParser, соединённые через pipe (язык выражений LangChain, LCEL) - это текущий, стабильный способ построения цепочки: каждая часть параллельно получает своё короткое краткое содержание:

import { ChatOpenAI } from '@langchain/openai';
import { ChatPromptTemplate } from '@langchain/core/prompts';
import { StringOutputParser } from '@langchain/core/output_parsers';

const model = new ChatOpenAI({ model: 'gpt-4.1-mini', temperature: 0 });

const chunkPrompt = ChatPromptTemplate.fromTemplate(
  'Summarize this part of a video transcript in 3-4 sentences, keeping any concrete facts, numbers, or names:\n\n{chunk}'
);
const chunkChain = chunkPrompt.pipe(model).pipe(new StringOutputParser());

const chunkSummaries = await Promise.all(
  chunks.map((chunk) => chunkChain.invoke({ chunk }))
);

Запуск их параллельно через Promise.all важен для задержки: расшифровка из 10 частей, суммируемая по одной, займёт в 10 раз больше времени, чем суммирование всех 10 одновременно.

Краткие содержания частей теперь достаточно коротки, чтобы поместиться вместе в один промпт, поэтому вторая цепочка объединяет их в итоговый результат:

const finalPrompt = ChatPromptTemplate.fromTemplate(
  'These are summaries of consecutive parts of the same video transcript, titled "{title}".\n' +
  'Combine them into one coherent summary (a short paragraph, then 3-5 key takeaways as bullet points):\n\n{summaries}'
);
const finalChain = finalPrompt.pipe(model).pipe(new StringOutputParser());

const summary = await finalChain.invoke({
  title,
  summaries: chunkSummaries.join('\n\n'),
});

return NextResponse.json({ summary });

Эта двухэтапная структура (сначала суммировать части, затем суммировать краткие содержания) - именно то, что делает под капотом собственная схема map-reduce в LangChain - здесь она написана явно вместо использования устаревшей вспомогательной цепочки, поскольку API вспомогательных цепочек суммирования менялись между версиями LangChain, а простые примитивы LCEL - более стабильная основа для построения.

Описанный выше шаг получения расшифровки - единственная часть этого пайплайна, которая по-настоящему усложняется в продакшене - самостоятельно размещённые библиотеки парсинга часто блокируются сразу после развёртывания на облачном сервере. Размещённый API расшифровок YouTube создан специально для того, чтобы этот шаг продолжал работать, и остальной части пайплайна не нужно об этом беспокоиться.