6 Prinsip Umum dari Search Engine
Untuk mengenal lebih jauh tentang kinerja mesin pencari ini, atau disebut dengan search engine, ada beberapa hal yang perlu diangkat terlebih dahulu, terutama keterkaitannya dengan masalah arsitektur dan mekanisme dari mesin pencari tersebut.
1. Spider
Merupakan program yang men-download halaman-halaman yang mereka temukan, mirip dengan browser. Perbedaannya adalah bahwa browser menampilkan secara langsung informasi yang ada (baik teks, gambar, dll) untuk kepentingan manusia yang menggunakannya pada saat itu, sedangkan spider tidak melakukan untuk menampilkan dalam bentuk yang terlihat seperti itu, karena kepentingannya adalah untuk mesin, bukan untuk manusia, spider pun dijalankan oleh mesin secara otomatis.
Kepentingannya adalah untuk mengambil halaman-halaman yang dikunjunginya untuk disimpan ke dalam database yang dimiliki oleh search engine.
2. Crawler
Merupakan program yang dimiliki oleh search engine untuk melacak dan menemukan link yang terdapat dari setiap halaman yang ditemuinya. Tugasnya adalah untuk menentukan spider harus pergi kemana dan mengevaluasi link berdasarkan alamat yang ditentukan dari awal. Crawler mengikuti link dan mencoba menemukan dokumen yang belum dikenal oleh search engine.
3. Indexer
Komponen ini melakukan aktifitas untuk menguraikan masing-masing halaman dan meneliti berbagai unsure, seperti teks, headers, struktur atau fitur dari gaya penulisan, tag HTML khusus, dan lain-lain.
4. Database
Merupakan tempat standar untuk menyimpan data-data dari halaman yang telah dikunjungi, didownload dan sudah dianalisis. Kadang kala disebut juga dengan index dari suatu search engine.
5. Result engine
Mesin yang melakukan penggolongan dan penentuan peringkat dari hasil pencarian pada search engine. Mesin ini menentukan halaman mana yang menemui criteria terbaik dari hasil pencarian berdasarkan permintaan penggunanya, dan bagaimana bentuk penampilan yang akan ditampilkan.
Proses ini di laksanakan berdasarkan algoritma perangkingan yang dimiliki oleh search engine tersebut. Mengikuti kaidah perangkingan halaman yang digunakan oleh mereka adalah hak mereka, para peneliti mempelajari sifat-sifat yang mereka gunakan, terutama untuk meningkatkan pencarian yang dihasilkan oleh search engine tersebut.
6. Web server
Merupakan computer yang melayani permintaan dan memberikan respon balik dari permintaan tersebut. Web server ini biasanya menghasilkan informasi atau dokumen dalam format HTML.
Pada halaman tersebut tersedia layanan untuk mengisikan kata kunci pencarian yang diinginkan oleh usernya. Web server ini juga bertanggung jawab dalam menyampaikan hasil pencarian yang dikirimkan kepada computer yang meminta informasi atau pencarian yang diinginkan.