Mesin pencari dalam internet terkenal menjadi hal yang sangat penting,karena semua hal yang melekat pada kehidupan manusia dapat diakses melalui hal tersebut. Menurut Statcounter, Google menguasai 97.17% pasar mesin pencari di Indonesia pada Maret 2022.
Hal itu ditandai dengan kemunculan Chat-GPT dengan model GPT-3 pada November 2022 lalu. Teknologi ini populer dengan sangat cepat hingga mencapai lebih dari satu juta pengguna dalam waktu lima hari sejak peluncurannya. Google jelas terimbas akan kedatangan inovasi yang tidak hanya sekadar mesin pencari biasa, tetapi juga sebagai
partner penggunanya untuk mendapatkan informasi dengan cara interaktif melalui metode chatting. Sebulan pasca kemunculan Chat-GPT market share Google turun menjadi 96.64% pada bulan Desember 2022 lalu.
Penurunan ini memang terbilang kecil, namun bisa menjadi tanda awal bahwa teknologi lama bisa tenggelam bila tidak mengikuti perkembangan atau gagal bersaing.
Teknologi dalam Chat-GPT
GPT (Generative Pre-trained Transformer), sesuai dengan kepanjangannya, GPT menggunakan Language Model terbaru yaitu Transformer. Model ini terbukti bekerja lebih baik daripada model yang lain dalam memproses dan memahami penerjemahan mesin, pembuatan dokumen, dan penguraian sintaksis.
Pada awalnya, OpenAI menggunakan pendekatan semi-supervised dalam pemrosesannya (NLP) dengan mengkombinasikan antara unsupervised pre-training dan supervised fine-tuning. Setelah melalui eksperimen ternyata kedua hal tersebut dapat menimbulkan masalah. Ditambah lagi, manusia tidak memerlukan data supervised yang besar untuk mempelajari tugas tertentu.
Selama unsupervised pre-training berjalan, Language Model mengembangkan keterampilan dan kemampuan mengenali pola. Kemudian, menggunakan kemampuan ini pada waktu inferensi untuk beradaptasi atau mengenali dengan cepat tugas yang diinginkan.
Parameter yang lebih besar membuat penggunaan "pembelajaran dalam konteks" semakin efisien. Grafik menunjukkan performa dari lima tugas yang berhubungan dengan kata. Grafik menunjukkan penggunaan 175 miliar parameter untuk meningkatkan akurasi.
