Sesi 7.5: Pakai API untuk Melindungi dari Slop

Kursus → Modul 7: API sebagai Alat Riset

Sesi 5 dari 7

Search API bukan cuma untuk riset. Mereka untuk pertahanan. Setiap klaim faktual yang AI kamu generate bisa diverifikasi terhadap hasil pencarian. Setiap statistik bisa di-cross-reference. Setiap "menurut para ahli" bisa dicek apakah ada ahli yang beneran bilang hal itu.

Ini mengubah pipeline kamu dari content generator jadi content verifier. Langkah verifikasi itulah yang memisahkan kerja kamu dari slop.

Masalah Verifikasi

Halusinasi AI itu ga random. Dia ikuti pola. Model paling sering berhalusinasi di kategori tertentu.

Tipe Klaim	Risiko Halusinasi	Contoh
Angka spesifik	Tinggi	"Revenue naik 47% di Q3" (angka dikarang)
Kutipan beratribusi	Tinggi	"Seperti yang pernah Jeff Bezos katakan..." (ga pernah bilang itu)
Sitasi sumber	Sangat tinggi	"Studi Harvard 2024 menemukan..." (studinya ga ada)
Klaim temporal	Sedang	"Di 2019, regulasi berubah..." (tahun salah)
Fakta perusahaan	Sedang	"Didirikan 2015 di Austin" (kota salah)
Pengetahuan umum	Rendah	"Python adalah bahasa pemrograman" (benar)

Strategi verifikasinya simpel: cek klaim berisiko tinggi duluan. Angka spesifik, kutipan beratribusi, dan sitasi sumber adalah tempat halusinasi bersarang. Pengetahuan umum biasanya reliabel. Fokuskan budget verifikasi kamu di tempat risikonya paling tinggi.

Pipeline Verifikasi Otomatis

Pipeline verifikasi mengambil konten buatan AI, mengekstrak klaim yang bisa diverifikasi, searching setiap klaim terhadap hasil web, dan menandai ketidaksesuaian untuk review manusia. Ini bukan fact-checking yang sepenuhnya otomatis. Ini flagging otomatis yang memfokuskan perhatian manusia di tempat yang paling dibutuhkan.

graph TD A["Konten buatan AI"] --> B["Ekstrak klaim yang
bisa diverifikasi
(manual atau via AI)"] B --> C["Untuk tiap klaim:
search via Tavily
atau Google"] C --> D{"Hasil pencarian
mendukung klaim?"} D -->|"Ya: didukung"| E["Tandai terverifikasi
(dengan sumber)"] D -->|"Tidak: bertentangan"| F["Tandai untuk koreksi"] D -->|"Ga ada hasil"| G["Tandai ga bisa diverifikasi"] E --> H["Laporan verifikasi"] F --> H G --> H H --> I["Manusia review
item yang ditandai"] style F fill:#2a2a28,stroke:#c47a5a,color:#ede9e3 style E fill:#2a2a28,stroke:#6b8f71,color:#ede9e3 style G fill:#2a2a28,stroke:#c8a882,color:#ede9e3

Tool Verifikasi

Beberapa tool dan API mendukung verifikasi otomatis di level kecanggihan yang berbeda.

Tool	Pendekatan	Paling Cocok Untuk
Tavily Search	Search tiap klaim, bandingkan hasil	Verifikasi fakta umum
Google Fact Check API	Query fact-check yang sudah ada dari markup ClaimReview	Klaim yang sudah di-fact-check jurnalis
Gemini dengan grounding	Model verifikasi klaimnya sendiri via search selama generation	Pencegahan real-time selama generation
ClaimBuster	Model AI yang mendeteksi klaim yang layak dicek	Prioritas klaim mana yang perlu diverifikasi
Originality.ai Fact Checker	Ekstraksi klaim dan verifikasi otomatis	Cek cepat untuk artikel lengkap

Membangun Script Fact-Checking Praktis

Script fact-checking paling simpel yang berguna ikuti logika ini: ambil daftar klaim (satu per baris), search tiap klaim pakai search API, bandingkan klaim dengan hasil teratas, dan kembalikan vonis untuk masing-masing: Didukung, Bertentangan, atau Ga Bisa Diverifikasi.

Langkah perbandingan adalah di mana panggilan AI lain membantu. Feed klaim asli dan hasil pencarian ke LLM dengan instruksi untuk menentukan apakah hasil pencarian mendukung, bertentangan, atau ga cukup untuk mengevaluasi klaim. Ini AI mengecek kerja AI, yang memang ga sempurna, tapi dia menangkap halusinasi paling jelas dan menandai sisanya untuk review manusia.

graph LR A["Daftar klaim"] --> B["Untuk tiap klaim"] B --> C["Tavily search"] C --> D["Perbandingan LLM:
klaim vs. hasil pencarian"] D --> E["Vonis:
Didukung / Bertentangan /
Ga Bisa Diverifikasi"] E --> F["Laporan verifikasi"] style D fill:#2a2a28,stroke:#c8a882,color:#ede9e3 style F fill:#2a2a28,stroke:#6b8f71,color:#ede9e3

Apa yang Ditangkap Verifikasi (dan Apa yang Ga)

Verifikasi otomatis menangkap: statistik karang-karangan, studi yang ga ada, tanggal salah, fakta perusahaan keliru, dan kutipan yang salah atribusi. Ini error-error yang paling cepat menghancurkan kredibilitas dan paling mudah dideteksi dengan search.

Verifikasi otomatis ga reliabel menangkap: miskarakterisasi halus, data benar yang dipakai dalam konteks menyesatkan, statistik cherry-picked yang secara teknis akurat tapi ga representatif, dan klaim yang terlalu niche untuk search engine punya hasil yang relevan. Ini butuh penilaian manusia.

Tujuannya bukan mengotomasi semua fact-checking. Tujuannya mengotomasi 80% yang mudah supaya kamu bisa fokuskan waktu review manusia yang terbatas pada 20% yang susah.

Tugas

Bangun script fact-checking sederhana: dia menerima daftar klaim (satu per baris di file teks), search tiap klaim pakai Tavily atau Google Search, dan kembalikan "Didukung," "Bertentangan," atau "Ga Bisa Diverifikasi" untuk tiap klaim.
Tes pada 10 klaim faktual dari artikel buatan AI. Sertakan campuran klaim yang kemungkinan benar (pengetahuan umum) dan klaim yang kemungkinan dihalusinasi (statistik spesifik, sitasi, kutipan).
Berapa banyak klaim yang lolos verifikasi? Berapa banyak yang ketangkap salah? Apakah ada false positive (ditandai salah tapi sebenarnya benar) atau false negative (lolos sebagai benar tapi sebenarnya salah)? Dokumentasikan akurasi pipeline verifikasi kamu.

Pakai API untuk Melindungi dari Slop