How to Build a RAG Pipeline with YouTube Transcripts

Dapatkan API key dari dashboard (100 kredit gratis, tanpa kartu) lalu ambil transkrip setiap video berdasarkan id-nya. Kredit dikenakan per permintaan, bukan per menit video, jadi kuliah 3 jam biayanya sama saja 1 kredit dengan klip 2 menit - ini penting saat Anda meng-ingest seluruh arsip sebuah channel:

async function fetchTranscript(videoId: string) {
  const res = await fetch(
    `https://getyoutubetranscript.com/api/v1/transcript?v=${videoId}`,
    { headers: { Authorization: `Bearer ${process.env.GETYOUTUBETRANSCRIPT_API_KEY}` } }
  );
  const json = await res.json();
  if (!json.success) throw new Error(json.message);
  return json.data as { video_id: string; title: string; transcript: string; word_count: number };
}

const videoIds = ['dQw4w9WgXcQ', 'jNQXAC9IVRw' /* ... */];
const videos = await Promise.all(videoIds.map(fetchTranscript));

video_id dan title ikut dikembalikan bersama teks transkripnya - itulah yang disitir kembali sebagai jawaban di langkah 5.

Pecah setiap transkrip menjadi jendela-jendela yang saling tumpang tindih sebelum di-embed - embedding satu video utuh terlalu kasar untuk mengambil jawaban yang spesifik, dan tidak perlu library apa pun untuk ini:

function chunkText(text: string, size = 1200, overlap = 200) {
  const chunks: string[] = [];
  let start = 0;
  while (start < text.length) {
    const end = Math.min(start + size, text.length);
    chunks.push(text.slice(start, end));
    start += size - overlap;
  }
  return chunks;
}

const records = videos.flatMap((video) =>
  chunkText(video.transcript).map((text, chunkIndex) => ({
    videoId: video.video_id,
    title: video.title,
    chunkIndex,
    text,
  }))
);

Jendela 1.200 karakter dengan overlap 200 karakter adalah nilai default yang wajar untuk transkrip ucapan lisan - perkecil untuk klip pendek yang padat, perbesar untuk konten gaya kuliah panjang di mana konteks sekitar lebih membantu.

Embed setiap potongan dan simpan video id serta title bersama vektornya, karena itulah yang mengubah potongan yang diambil menjadi sitasi nanti:

import OpenAI from 'openai';
const openai = new OpenAI();

async function embed(text: string) {
  const res = await openai.embeddings.create({ model: 'text-embedding-3-small', input: text });
  return res.data[0].embedding;
}

const index = await Promise.all(
  records.map(async (r) => ({ ...r, embedding: await embed(r.text) }))
);

Ini menyimpan vektor di memori demi kejelasan. Setelah lebih dari beberapa ratus potongan, ganti array ini dengan pgvector, Pinecone, atau vector store lain - langkah pengambilan di bawah hanya butuh fungsi yang mengembalikan top-k vektor terdekat, bukan bentuk persis ini.

Saat ada pertanyaan, embed pertanyaan itu dengan model yang sama lalu urutkan potongan tersimpan berdasarkan cosine similarity:

function cosineSimilarity(a: number[], b: number[]) {
  let dot = 0, normA = 0, normB = 0;
  for (let i = 0; i < a.length; i++) {
    dot += a[i] * b[i];
    normA += a[i] ** 2;
    normB += b[i] ** 2;
  }
  return dot / (Math.sqrt(normA) * Math.sqrt(normB));
}

async function retrieve(query: string, k = 5) {
  const queryEmbedding = await embed(query);
  return index
    .map((r) => ({ ...r, score: cosineSimilarity(r.embedding, queryEmbedding) }))
    .sort((a, b) => b.score - a.score)
    .slice(0, k);
}

k=5 adalah titik awal yang wajar - terlalu sedikit potongan dan model tidak punya cukup konteks untuk menjawab lengkap, terlalu banyak dan potongan yang tidak relevan mulai mengencerkan jawabannya.

Berikan potongan yang diambil ke model sebagai konteks bernomor dan instruksikan agar menjawab hanya dari yang tersedia serta menyitir sumbernya - inilah yang membuat jawaban bisa dilacak kembali ke video asli, bukan pengetahuan umum model itu sendiri:

async function answer(query: string) {
  const matches = await retrieve(query);
  const context = matches
    .map((m, i) => `[${i + 1}] From "${m.title}":\n${m.text}`)
    .join('\n\n');

  const completion = await openai.chat.completions.create({
    model: 'gpt-4.1-mini',
    messages: [
      {
        role: 'system',
        content:
          "Answer only using the numbered transcript excerpts below. Cite sources as [1], [2], etc. " +
          "If the excerpts don't contain the answer, say so.",
      },
      { role: 'user', content: `${context}\n\nQuestion: ${query}` },
    ],
  });

  return completion.choices[0].message.content;
}

Menyitir berdasarkan judul video, bukan mengarang timestamp, sesuai dengan apa yang benar-benar dikembalikan API transkrip - jangan biarkan model mengarang timestamp yang tidak pernah diberikan kepadanya.

Untuk channel yang terus mengunggah, cek unggahan baru secara terjadwal lewat endpoint gratis /channel/latest (0 kredit), lewati video id yang sudah terindeks, dan hanya ambil, potong, serta embed yang baru saja. Biaya ingest jadi tetap sebanding dengan konten baru, bukan re-index penuh setiap kali dijalankan.

Video adalah salah satu format yang cukup merepotkan untuk dibangun sistem retrieval-nya - Anda tidak bisa meng-grep video. Transkrip mengubahnya kembali menjadi teks yang sudah bisa ditangani stack embedding dan retrieval yang sudah Anda punya, tanpa perlu menjalankan speech-to-text sendiri. Dan karena API per-permintaan tidak mengukur berdasarkan panjang video, meng-ingest arsip konten panjang (podcast, kuliah, siaran berjam-jam) tidak jadi lebih mahal secara sistematis dibanding meng-ingest klip pendek - padahal itulah arsip yang biasanya ingin dicari lewat pipeline RAG.