موتورهای جستجو به منظور ارائه نتایج جستجو، فعالیت های مختلفی را انجام می دهند. خزنده - فرایند استخراج تمامی صفحات وب مرتبط با یک وب سایت. این وظیفه توسط یک نرم افزار به نام خزنده یا عنکبوت (یا Googlebot در مورد گوگل) انجام می شود. نمایه سازی - فرایند ایجاد فهرست برای تمام صفحات وب محصور شده و نگه داشتن آنها در یک پایگاه داده غول پیکر از جایی که بعدا می تواند بازیابی شود.