Ukuran chunk: terlalu kecil vs terlalu besar

Sistem retrieval membagi setiap dokumen menjadi chunk, potongan dengan jumlah token tetap, lalu mencari di antara chunk itu. Ukuran chunk terlihat seperti pengaturan kecil, padahal ia menentukan apakah jawaban sebuah pertanyaan ditemukan utuh, terpotong dua, atau tenggelam.

1. 1
   Panjang dokumen 2.048 token, dan pita emas menandai jawaban sepanjang 120 token pada token 300 sampai 420. Setiap baris memotong dokumen menjadi chunk dengan satu ukuran tanpa overlap, jadi chunk dimulai setiap 128, 512, atau 1.024 token. Chunk yang disorot adalah yang memuat bagian terbesar jawaban. Pencarian mengubah setiap chunk menjadi satu vector, deretan angka yang mewakili maknanya, lalu mengembalikan chunk dengan vector terdekat ke vector pertanyaan.
2. 2
   Dengan chunk 128 token, batas potongan jatuh di token 384, tepat di dalam jawaban. Chunk terbaik memuat 84 dari 120 token jawaban, atau 70%, dan 30% sisanya ada di chunk berikutnya. Pencarian yang hanya mengembalikan chunk terbaik memberi model sebagian jawaban. Overlap, yaitu mengulang beberapa token terakhir sebuah chunk di awal chunk berikutnya, menjaga jawaban di dekat batas tetap utuh, dengan konsekuensi jumlah chunk bertambah.
3. 3
   Dengan chunk 512 token, jawaban utuh dan mengisi 23% chunk-nya. Dengan chunk 1.024 token, jawaban masih utuh, tetapi hanya mengisi 12%. Satu vector milik chunk itu kini sebagian besar mewakili 900 token lainnya, sehingga kecocokannya dengan pertanyaan berkurang. Chunk yang lebih besar juga membuat prompt lebih panjang untuk setiap chunk yang diambil.