Crawler, nazywany też robotem internetowym, robotem wyszukiwarki lub pająkiem (spider), to program, którego wyszukiwarki używają do przeglądania i indeksowania stron w internecie. Jego główne zadanie to odwiedzanie stron, odczytywanie treści i zbieranie informacji. Na tej podstawie powstaje indeks, z którego wyszukiwarka korzysta, by pokazywać trafne wyniki.
Crawler przechodzi po linkach z jednej strony na drugą i zbiera dane o treści, strukturze i innych ważnych cechach każdej strony. Te dane pomagają wyszukiwarkom zrozumieć, o czym jest strona, i odpowiednio ustalić jej pozycję w wynikach. Dzięki crawlerom wyszukiwarki mają aktualne informacje i mogą pokazywać użytkownikom dokładne i trafne wyniki.