Kalimat paling terkenal dari seluruh karya Tetlock cuma satu: rata-rata pakar kira-kira sama jitunya dengan simpanse yang melempar panah.
Kalimat itu sudah muncul di New York Times, Wall Street Journal, Financial Times, dan Economist. Enak diulang, terdengar berani, dan menghina orang yang memang enak dihina.
Yang paling ingin kalimat itu mati ternyata Tetlock sendiri.
Dia membuka bukunya dengan membocorkan leluconnya lebih dulu supaya rusak, lalu memakai satu bab untuk membongkarnya. Di tengah buku dia menulis terus terang: lupakan lelucon simpanse itu.
Yang sebenarnya keluar dari dua puluh tahun pengukuran
Rata-rata bukan berarti semua, dan di situ letak seluruh perkaranya.
Waktu ratusan pakar itu dipisahkan menurut hasilnya, yang muncul dua kelompok yang jelas berbeda. Satu kelompok memang tidak lebih baik daripada menebak asal, dan untuk ramalan jarak jauh malah kalah dari simpanse. Kelompok kedua mengalahkan simpanse, walaupun tipis, dan cuma menang tipis juga dari cara paling malas seperti "tebak saja tidak ada yang berubah".
Jaraknya juga menentukan. Untuk satu tahun ke depan, para pakar mengalahkan kebetulan. Ketepatan itu luntur makin jauh mereka disuruh melihat, dan baru jatuh ke tingkat simpanse pada tiga sampai lima tahun.
Jadi yang runtuh bukan keahlian. Yang runtuh anggapan bahwa keahlian tetap berlaku sejauh apa pun kita menyuruhnya melihat.
Dan yang memisahkan dua kelompok tadi bukan gelar, bukan akses dokumen, bukan pula pandangan politiknya. Yang memisahkan cara berpikirnya.
Landak punya satu kacamata besar yang dipakai menerangkan segalanya. Bicaranya yakin, kesimpulannya cepat, dan itu yang bikin dia enak ditayangkan di acara berita sembilan puluh detik. Rubah mengambil keterangan dari mana-mana, tidak keberatan mengubah pendapat, dan kalimatnya penuh "tergantung".
Tiap akhir tahun acara televisi mulai mengundang orang meramal tahun depan. Ada yang datang sebagai paranormal, ada yang datang sebagai pengamat dengan setelan rapi dan grafik di belakangnya. Cara bicaranya beda jauh, susunan acaranya sama persis: satu orang yang sangat yakin, disuruh menyebut apa yang akan terjadi, dan tidak ada satu pun yang dipanggil kembali tahun depannya untuk dihitung berapa yang meleset.
Turnamen yang dimenangkan pensiunan
Bagian kedua penelitiannya jauh lebih keras.
Pada 2011 Tetlock dan Barbara Mellers membuka Good Judgment Project dan ikut turnamen ramalan yang dibiayai badan riset intelijen Amerika. Pesertanya sukarelawan yang mendaftar sendiri: pensiunan, pembuat film, seorang matematikawan, orang-orang yang merasa bakatnya sedang menganggur.
Tahun pertama mereka mengalahkan kelompok pembanding dengan selisih 60 persen. Tahun kedua 78 persen. Mereka mengalahkan tim universitas, termasuk Michigan dan MIT, dengan selisih 30 sampai 70 persen, sampai penyelenggaranya menghentikan tim-tim lain.
Lawan berikutnya lebih berat lagi. Para peramal itu juga mengalahkan analis intelijen profesional yang punya akses ke dokumen rahasia. Selisih persisnya dirahasiakan, tapi seorang editor Washington Post memberitakannya sekitar 30 persen lebih baik. Sebagai pembanding ukurannya, seluruh badan intelijen Amerika bersama-sama punya anggaran di atas lima puluh miliar dolar dan dua puluh ribu analis.
Yang menang sekelompok orang yang membaca berita dari sumber yang sama dengan kita.
Dan penandanya bukan kepintaran. Tetlock menyebutnya perpetual beta, istilah pemrogram untuk program yang memang tidak pernah dianggap selesai. Seberapa keras seseorang mau memperbarui keyakinannya dan memperbaiki cara kerjanya sendiri. Sebagai penanda, itu kira-kira tiga kali lebih kuat daripada kecerdasan.
Mereka juga berpikir dalam pecahan yang jauh lebih halus. Bukan "kemungkinan besar", tapi sebelas persen, dua belas persen. Waktu ramalan mereka dibulatkan ke kelipatan lima persen saja, ketepatannya langsung turun. Peramal biasa dibulatkan empat kali lebih kasar pun hampir tidak berubah, karena kepala mereka memang cuma punya dua atau tiga setelan.
Yang bisa dimulai minggu ini
Mulai dari angka dasar, jangan dari ceritanya. Sebelum menebak apakah usaha teman akan bertahan, jangan mulai dari betapa semangatnya dia. Mulai dari berapa persen warung baru yang masih buka sesudah dua tahun. Angka itu titik berangkat, baru sesudahnya digeser naik atau turun menurut hal khusus tentang dia. Yang biasa kita lakukan justru terbalik: mulai dari cerita, lalu cari angka yang mendukung.
Pecah pertanyaan besar jadi bagian yang bisa ditaksir. "Apakah proyek ini selesai tepat waktu" susah dijawab siapa pun. "Berapa lama biasanya perizinan", "berapa lama pengerjaannya", "seberapa sering ada revisi" bisa ditaksir satu per satu.
Geser pendapat sedikit-sedikit. Ada kabar baru, gerakkan taksiran lima atau sepuluh persen. Yang paling sering meleset dua jenis orang: yang tidak pernah bergerak sama sekali, dan yang membalik keyakinannya tiap ada berita.
Catat tebakanmu, lalu periksa. Yang paling murah dan paling jarang dikerjakan siapa pun.
Tapi di sini ada lubang yang tidak Tetlock isi. Dia menyuruh mencatat tanpa memberi tahu mana yang layak dicatat. Padahal sebagian besar tebakan kita memang tidak penting, dan mencatat semuanya bikin daftarnya penuh hal yang tidak ada gunanya diperiksa. Kebiasaan yang isinya sampah akan berhenti sendiri di minggu ketiga, dan yang berhenti biasanya menyalahkan dirinya, bukan nasihatnya.
Saringan yang saya pakai satu saja. Catat cuma tebakan yang kalau meleset akan mengubah keputusan. Kalau jawabannya tidak mengubah apa pun, tidak usah dicatat, dan sebenarnya tidak usah dipikirkan lama-lama juga.
Dengan saringan itu daftarnya jadi pendek, isinya berat semua, dan enam bulan kemudian membukanya terasa ada gunanya.
Yang berat dijalankan
Coba jawab pertanyaan atasan dengan "kemungkinannya sekitar enam puluh lima persen" lalu lihat wajahnya. Orang yang menyebut angka begitu tidak terdengar teliti. Dia terdengar belum siap.
Tetlock menunjuk paradoksnya sendiri: cara berpikir yang paling jitu justru yang paling tidak laku. Orang tidak mau mendengar "nanti saya perbaiki kalau ada data baru". Orang mau mendengar "ini pasti terjadi, dan inilah sebabnya".
Yang lebih mahal ongkosnya bukan soal angka, tapi soal mengubah pendapat.
Sekali mengubah pendirian karena ada keterangan baru, yang diingat orang biasanya bukan keterangannya. Yang diingat bahwa pendiriannya berubah. Sesudah dua tiga kali, sebutannya sudah berganti jadi plin-plan, dan sebutan itu menempel jauh lebih lama daripada ingatan tentang siapa yang akhirnya benar.
Saya belum pernah melihat notulen rapat yang mencatat siapa yang taksirannya paling mendekati. Yang dicatat keputusannya, dan siapa yang mengusulkan. Berapa jauh melesetnya tidak pernah jadi urusan siapa-siapa.
Jadi orang yang memperbaiki taksirannya sedang mengerjakan hal yang benar dan menanggung ongkosnya sendirian. Sementara yang tidak bergerak sedikit pun terlihat punya pendirian.
Di situ jarak antara cara berpikir yang paling jitu dan cara bertahan hidup di kantor mana pun, dan Tetlock tidak menutupnya.
Di mana Taleb berdiri
Tetlock menaruh keberatan Nassim Taleb dan Daniel Kahneman sebagai tantangan paling kuat terhadap seluruh gagasannya, dan menghabiskan satu bab untuk itu. Dia bahkan pernah menulis makalah bersama Taleb.
Yang mereka sepakati ternyata banyak. Tidak seorang pun bisa meramal apa pun sepuluh tahun ke depan selain hal yang sudah kelewat jelas. Ramalan geopolitik dua puluh tahun dan buku laris tentang abad yang akan datang sama-sama tidak punya dasar.
Yang mereka perselisihkan jarak pendek dan menengah. Dan Tetlock mengakui sendiri satu hal yang memberatkan pihaknya: keunggulan para peramal terbaik menyusut justru waktu keadaan sedang bergejolak.
Buat saya dua-duanya benar untuk jarak yang berbeda, dan sebagian besar perdebatan mereka terjadi karena masing-masing merasa sedang membicarakan hal yang sama.
The Black Swan benar soal yang jauh dan yang besar: rekam jejak bagus yang panjang bukan bukti aman, dan satu kejadian sanggup menghapus dua puluh tahun. Buku ini benar soal yang dekat: dalam enam bulan sampai setahun, sebagian orang memang lebih jitu, dan itu bisa diukur.
Yang menerangkan kenapa kepala kita menolak ketidakpastian dan buru-buru memasang kepastian palsu ada di Thinking, Fast and Slow, dan Tetlock memakainya sebagai dasar.
Peserta baru yang tidak pernah capek
Turnamen yang jadi tulang buku ini masih jalan, dan pesertanya sekarang bukan orang semua.
Pada Metaculus Cup musim panas 2026, program otomatis memegang lima dari sepuluh tempat teratas, termasuk yang paling atas. Setahun sebelumnya program yang terbaik masih di urutan dua puluh lima, lalu sempat kedelapan dari lima ratus empat puluh sembilan peserta, dan itu pertama kalinya sebuah program masuk sepuluh besar.
Ukuran yang lebih hati-hati memberi gambaran yang lebih sabar. Pada patokan yang dipakai Forecasting Research Institute, program-program itu disebut sudah tidak bisa dibedakan secara statistik dari peramal manusia yang terlatih. Diadu langsung dengan peramal terbaiknya, selisihnya masih ada, dan tipis: skor kesalahan 0,101 lawan 0,081.
Kalau bukunya dibaca ulang, hasil itu justru masuk akal. Bukunya sudah menerangkan bahwa yang membedakan peramal jitu cara kerjanya, dan cara kerja itu bisa ditulis jadi daftar: mulai dari angka dasar, pecah pertanyaannya, geser sedikit-sedikit tiap ada kabar, catat lalu periksa. Daftar yang bisa ditulis begitu memang tinggal menunggu ada yang menjalankannya tanpa bosan, tanpa gengsi, dan tanpa pernah jatuh cinta pada tebakannya sendiri.
Bagian yang tidak berubah tetap yang paling penting. Program-program itu unggul di pertanyaan yang tanggal jatuh temponya jelas dan bisa diperiksa. Untuk pertanyaan sepuluh tahun, mereka berdiri di tempat yang sama dengan kita semua, cuma dengan kalimat yang jauh lebih rapi.
"Beliefs are hypotheses to be tested, not treasures to be guarded."
Keyakinan itu dugaan yang harus diuji, bukan harta yang harus dijaga.
Enak didengar, sampai saya mulai menghitung berapa banyak keyakinan saya sendiri yang belum pernah diuji, cuma dijaga.
Tapi yang paling kepakai dari buku ini bukan kalimat itu. Yang paling kepakai satu pertanyaan yang harus dijawab lebih dulu, sebelum menaksir apa pun.
Saya sedang berdiri di jarak berapa jauh.
Kalau yang ditanya enam bulan ke depan, tebakan yang disiapkan baik-baik memang lebih baik daripada tebakan asal, dan itu sudah diukur. Kalau yang ditanya sepuluh tahun, orang yang paling meyakinkan di ruangan itu dan orang yang paling tidak tahu apa-apa sebenarnya sedang berdiri di tempat yang sama.
Yang bikin repot, dua-duanya terdengar persis sama waktu bicara.
Infografis
Buka ukuran penuh
Susunan bukunya: bagiannya apa saja, mana jantungnya, mana yang boleh dilewat.
Bentuknya
Dua belas bab, ditambah lampiran berisi daftar pedoman ringkas. Susunannya menanjak: mula-mula membuktikan bahwa ramalan bisa diukur sama sekali, lalu menceritakan pengukurannya, lalu memeriksa siapa yang ternyata paling jitu dan kenapa.
Buku ini beda dari buku sejenis karena isinya hasil pengukuran, bukan pendapat. Tetlock mengerjakan dua penelitian besar: yang pertama dua puluh tahun mengumpulkan ramalan para ahli lalu mencocokkannya dengan kejadian, yang kedua sebuah turnamen ramalan dengan ribuan peserta biasa yang diadakan atas biaya lembaga intelijen Amerika.
Bab 1 sampai 3: bisa diukur atau tidak
Bab 1 memasang perkaranya. Bab 2 tentang kenapa ramalan hampir tidak pernah diperiksa: karena kalimatnya dibuat kabur, tanpa tanggal dan tanpa angka, sehingga tidak bisa dinyatakan salah.
Bab 3 tentang cara mengukurnya, dan ini bab yang paling penting sekaligus paling teknis. Intinya: sebuah ramalan baru bisa dinilai kalau ramalannya menyebut apa yang akan terjadi, kapan, dan berapa besar kemungkinannya menurut peramalnya.
Bab 4 sampai 7: siapa yang jitu
Bagian yang paling banyak dibicarakan orang. Isinya penelusuran tentang siapa yang ternyata paling jitu di turnamen itu, dan jawabannya bukan yang paling ahli, bukan yang paling banyak membaca berita, dan bukan yang paling pandai berhitung.
Yang membedakan mereka cara kerjanya: memecah pertanyaan besar jadi bagian yang bisa ditakar, mencari angka dasar berapa sering kejadian semacam itu biasanya terjadi, menyusun tebakan awal, lalu memperbaikinya sedikit demi sedikit tiap ada kabar baru.
Yang paling menenangkan dari seluruh buku ada di bagian ini: peramal yang paling jitu memperbarui ramalannya rata-rata cuma beberapa kali per pertanyaan. Bukan puluhan.
Bab 8 sampai 11: kebiasaan dan tim
Bab 8 tentang sikap memperlakukan pendapat sendiri sebagai barang yang selalu dalam perbaikan. Bab 9 tentang tim, dan kesimpulannya bahwa tim yang boleh saling membantah mengalahkan orang yang bekerja sendiri. Bab 10 tentang kesulitan yang dihadapi pemimpin: menuntut anak buahnya meragukan segalanya sekaligus menuntut mereka bertindak tegas.
Bab 11 memeriksa apakah orang-orang jitu itu memang benar-benar jitu atau cuma beruntung, dan jawabannya berdasarkan pengulangan bertahun-tahun.
Bab 12: penutup
Bab akhir tentang apa yang harus berubah supaya ramalan bisa diperiksa secara umum, terutama di pemerintahan dan media.
Yang jadi jantungnya
- Bab 2 dan 3. Kalau cuma dua bab yang sempat dibaca, ambil keduanya, karena di situ diterangkan kenapa hampir semua ramalan yang kita dengar tidak bisa dinyatakan salah, dan bagaimana membuatnya bisa.
- Bab tentang cara kerja peramal yang jitu, karena isinya bisa dicoba minggu ini tanpa izin siapa pun.
- Bab 8, untuk sikap memperlakukan pendapat sebagai barang yang belum selesai.
Yang boleh dilewat
- Bab 10 kalau tidak sedang memimpin siapa-siapa.
- Bab 12 hampir seluruhnya, yang isinya usulan untuk lembaga di sana.
- Sebagian besar cerita tentang peserta turnamen satu per satu, yang bentuknya berulang.
Yang jangan ditelan bulat-bulat
Kalimat yang paling terkenal dari Tetlock justru yang paling ingin ia bunuh sendiri. Dari penelitian pertamanya beredar kesimpulan bahwa ramalan para ahli tidak lebih baik daripada tebakan acak, dan kalimat itu dipakai orang untuk menolak keahlian apa pun.
Yang sebenarnya ia temukan lebih sempit dan lebih berguna: ramalan jangka panjang tentang urusan politik dan ekonomi memang buruk, sebagian ahli jauh lebih baik daripada sebagian lain, dan yang membedakan cara berpikirnya, bukan pengetahuannya. Buku ini sebagian besar ditulis untuk membetulkan kalimat itu.
Seluruh temuannya berdiri di atas pertanyaan yang bisa ditutup dalam beberapa bulan sampai beberapa tahun, dan yang jawabannya bisa dinyatakan terjadi atau tidak dengan jelas. Untuk kejadian yang langka, besar akibatnya, dan tidak ada padanannya di catatan mana pun, alat ini tidak menolong sama sekali, dan itu keberatan yang sah.
Kalau buru-buru
Bab 2, 3, dan bab tentang cara kerja peramal yang jitu. Tiga bab, dan yang tersisa cukup: kenapa hampir semua ramalan disusun supaya tidak bisa salah, bagaimana membuat sebuah ramalan bisa diperiksa, dan kebiasaan apa saja yang membedakan orang yang jitu dari orang kebanyakan.