Sostanzialmente i motori di ricerca sono dei siti web che utilizzano al loro interno un software detto crawler, spider (ragno), bot (parassita) o anche robot programmato per scandagliare la rete alla ricerca di siti web, selezionare le pagine in esso contenute, catalogarle, indicizzarle, aggiornarle e poi fornire i risultati della ricerca agli utenti navigatori.