Build an AI YouTube Video Summarizer with LangChain and Next.js

Hướng dẫn này dùng cách chia gói hiện tại của LangChain JS - các thành phần lõi, tích hợp OpenAI, và text splitter mỗi thứ nằm trong gói riêng của nó:

npm install langchain @langchain/core @langchain/openai @langchain/textsplitters

Lấy một khóa từ trang quản trị (100 tín dụng miễn phí, không cần thẻ), rồi gọi endpoint chép lời từ một route handler của Next.js:

// app/api/summarize/route.ts
import { NextResponse } from 'next/server';

async function fetchTranscript(videoId: string) {
  const res = await fetch(
    `https://getyoutubetranscript.com/api/v1/transcript?v=${videoId}`,
    { headers: { Authorization: `Bearer ${process.env.GETYOUTUBETRANSCRIPT_API_KEY}` } }
  );
  const json = await res.json();
  if (!json.success) throw new Error(json.message);
  // json.data.transcript is the full plain-text transcript,
  // json.data.word_count is its length in words.
  return json.data as { transcript: string; word_count: number; title: string };
}

transcript là toàn bộ bản chép lời dạng văn bản thuần và word_count là độ dài của nó - hữu ích để quyết định có nên bỏ qua hoàn toàn bước chia nhỏ với video ngắn hay không.

Một bản chép lời dài có thể dễ dàng vượt quá mức thoải mái để gửi cho LLM trong một prompt duy nhất, nên hãy chia nhỏ trước. RecursiveCharacterTextSplitter cố gắng ngắt tại đoạn văn, rồi câu, rồi từ, theo thứ tự đó, để các phần vẫn dễ đọc thay vì cắt giữa câu:

import { RecursiveCharacterTextSplitter } from '@langchain/textsplitters';

const splitter = new RecursiveCharacterTextSplitter({
  chunkSize: 4000,
  chunkOverlap: 200,
});

const chunks = await splitter.splitText(transcript);
// A 20-minute video is usually 1-2 chunks; a 2-hour one might be 8-10.

chunkOverlap giữ lại một ít ngữ cảnh từ cuối một phần sang đầu phần tiếp theo, để một câu bị chia tại ranh giới không bị mất ở cả hai phần.

ChatPromptTemplate + một model + StringOutputParser được nối với nhau (ngôn ngữ biểu thức của LangChain, LCEL) là cách hiện tại, ổn định để xây dựng một chain - mỗi phần nhận được bản tóm tắt ngắn riêng, chạy song song:

import { ChatOpenAI } from '@langchain/openai';
import { ChatPromptTemplate } from '@langchain/core/prompts';
import { StringOutputParser } from '@langchain/core/output_parsers';

const model = new ChatOpenAI({ model: 'gpt-4.1-mini', temperature: 0 });

const chunkPrompt = ChatPromptTemplate.fromTemplate(
  'Summarize this part of a video transcript in 3-4 sentences, keeping any concrete facts, numbers, or names:\n\n{chunk}'
);
const chunkChain = chunkPrompt.pipe(model).pipe(new StringOutputParser());

const chunkSummaries = await Promise.all(
  chunks.map((chunk) => chunkChain.invoke({ chunk }))
);

Chạy song song với Promise.all quan trọng đối với độ trễ: một bản chép lời gồm 10 phần được tóm tắt lần lượt sẽ mất thời gian gấp 10 lần so với tóm tắt cả 10 phần cùng lúc.

Các bản tóm tắt phần giờ đã đủ ngắn để cùng vừa trong một prompt, nên một chain thứ hai sẽ gộp chúng thành kết quả cuối cùng:

const finalPrompt = ChatPromptTemplate.fromTemplate(
  'These are summaries of consecutive parts of the same video transcript, titled "{title}".\n' +
  'Combine them into one coherent summary (a short paragraph, then 3-5 key takeaways as bullet points):\n\n{summaries}'
);
const finalChain = finalPrompt.pipe(model).pipe(new StringOutputParser());

const summary = await finalChain.invoke({
  title,
  summaries: chunkSummaries.join('\n\n'),
});

return NextResponse.json({ summary });

Cấu trúc hai bước này (tóm tắt các phần, rồi tóm tắt các bản tóm tắt) chính xác là những gì mô hình map-reduce riêng của LangChain làm bên dưới - được viết tường minh ở đây thay vì dùng một chain hỗ trợ cũ, vì các API của summarization chain hỗ trợ đã thay đổi qua các phiên bản LangChain, và các thành phần LCEL thuần là nền tảng ổn định hơn để xây dựng.

Bước lấy bản chép lời ở trên là phần duy nhất của pipeline này thực sự trở nên khó khăn hơn trong môi trường production - các thư viện scraping tự lưu trữ thường bị chặn ngay khi triển khai lên server cloud. Một API Chép Lời YouTube được lưu trữ được xây dựng riêng để giữ cho bước đó luôn hoạt động, để phần còn lại của pipeline này không cần phải bận tâm.