Visible Web dan Invisible Web Pada Search Engine

Halaman tersembunyi

Halaman yang boleh dimunculkan dari hasil pencarian pada search engine disebut “visible web”. Sedangkan halaman yang tidak boleh dimunculkan, atau tidak bisa dilihat, karena aturan-aturan tertentu, baik atas permintaan dari situs yang bersangkutan, atau karena hal lain, maka disebut dengan “Invisible web”.

Versi pertama dari halaman web yang bersifat tersembunyi ini mulai diangkat semenjak tahun 2000, ketika pada saat itu banyak halaman yang tidak ditampilkan dalam hasil pencarian, sehingga secara teknis diatur dan dibuatlah prosedur khusus yang mampu menangani hal tersebut.

Saat ini terdapat beberapa tipe dari halaman yang menggunakan fasilitas ini, halaman yang tidak bisa dilihat namun diolah sedemikian rupa untuk dihasilkan dihalaman web pun bisa tersedia. Tipe tersebut adalah:

1. Halaman dengan format non HTML, seperti PDF,Word, Exel, Corell Suite, dan lain-lain, dokumen tersebut diterjemahkan ke dalam bentuk HTML, sehingga saat ini kebanyakan dari search engine besar dapat menampilkan hasil terjemahan tersebut.

2. Halaman berbasis script, yaitu link yang memiliki symbol-simbol khusus dalam bentuk bahasa pemrograman, hal ini juga sudah bisa diselesaikan dan hampir search engine memiliki kemampuan ini.

3. Halaman yang dibentuk secara dinamis melalui program yang mengolah database (seperti Active Server Pages, Cold Fusion, PHP, dan lain-lain) dapat di-index jika memiliki URL yang stabil atau tetap yang dapat ditemukan oleh search engine.

Kenapa tersembunyi?

Masih terdapat beberapa rintangan bagi search engine untuk tidak dapat menghasilkan pencarian pada file tersembunyi tersebut, sehingga halaman tersebut tidak bisa dihasilkan oleh mesin pencari.

1. Search engine masih belum memikirkan solusinya. Jika suatu halaman untuk melanjutkan kehalaman berikutnya memerlukan proses pengetikan, maka ini merupakan suatu halangan bagi search engine, karena mesin tidak bisa melakukannya.  Mereka tidak bisa melakukan pencarian terhadap suatu catalog, mereka tidak bisa mengisi login atau passwors dan seterusnya.

2. Halaman yang diminta untuk tidak dimasukkan kedalam indeks search engine. Untuk hal ini, search engine melakukannya berdasarkan aturan yang telah ditetapkan.

Tidak ada alasan teknis untuk hal ini, setiap pemilik situs atau pemilik search engine dapat saja untuk tidak memasukkan halaman-halaman mereka jika mereka menginginkan demikian.