کی از جالبترین اصطلاحاتی که اخیرا یاد گرفتم همین وب نامرئی یا invisible web بود که البته اسم دیگرش deep وب هست. صفحات اینترنتی ای که ما به طور عادی می بینیم، وب سطحی نام دارند. افراد قبل از هر مرجع دیگری از وب برای جستجوی تحقیقاتشان استفاده می کنند. اما موتورهای جستجو لزوما بهترین نتایج را نمایش نمی دهند. آنها اطلاعات مخفی یا عمیق موجود در اینترنت را نمایش نمی دهند.
* وب ژرف چیست؟
اصطلاح وب نامرئی یا وب “ژرف” به مخزن عظیمی از اطلاعات اطلاق می شود که موتورهای جستجو به آنها دسترسی مستقیم ندارند به طور مثال پایگاه داده کتابخانه های دانشگاهها، سایتهایی که برای مشاهده آنها نیاز به رمز عبور داریم و سایتهایی که به هر دلیل، موتورهای جستجو از فهرست بندی آنها، منع شده اند. بر خلاف صفحات قابل مشاهده (یعنی همین وبی که می توانید توسط موتورهای جستجو ببینید) اطلاعاتی در پایگاههای داده موجود است که اسپایدرها و رباتهای خزنده بدانها دسترسی ندارند.
بعنوان نمونه، اغلب مردم گوگل را بعنوان دارنده بزرگترین پایگاه داده جستجو تصور می کنند که حدودا ۸ بیلیون صفحه را فهرست بندی کرده است. این رقم بزرگ است ولی اگر وب مخفی را در نظر بگیریم باید این رقم را بایستی در ۵۰۰ ضرب کنیم. بعلاوه گوگل فقط صفحات قابل جستجو را که حدودا ۲۵۰ بیلیون است ذخیره کرده است ولی از رقم دقیق صفحات غیر قابل جستجو خبری نیست.
* آمارهای جالب:
- اطلاعات موجود در وب ژرف، بین ۴۰۰ تا ۵۵۰ برابر وب عمومی هستند که ما می بینیم
- وب ژرف حاوی ۷۵۰۰ ترابایت اطلاعات است، در مقابل وب سطحی ۱۹ ترابایت ذخیره کرده است
- وب ژرف دارای نزدیک به ۵۵۰ بیلیون مستند می باشد در حالیکه این رقم برای وب سطحی ۱ بیلیون است
- بیش از ۲۰۰ هزار وب سایت ژرف وجود دارند
- جالب است بدانید که بیش از نیمی از محتوای وب عمیق در عنوان سایتهایشان از کلمه Database استفاده کرده اند و اگر این کلمه را در جستجوهایتان بکار برید، امکان دسترسی تان را به این سایتها افزایش می دهید.
* این مطلب خلاصه ای از این مقاله بسیار عالی هست که توصیه می کنم حتما بخوhنید. در جدول شماره ۲، بزرگترین وب سایتهای عمیق لیست شده اند که می تونید در جستجوهای مختلف از اونها استفاده کنید
