Wat is crawling?
Alle zoekmachines bezoeken je website op dagelijkse, wekelijkse of maandelijkse basis. Dit wordt ook wel crawlen genoemd.








Door crawling wordt je opgenomen in de zoekresultaten. Het crawl proces start bij het robots.txt bestand.