Az internetet először zömében HTML formájú dokumentumok gazdagították. A keresőgépeket ezért úgy alakították ki, hogy képesek legyenek a hipertext szerkezetű dokumentumok megtalálására. A fejlődéssel azonban mindenféle fájlformátum felkerült. Sem ezeket, sem a dinamikusan generált lapokat a keresők nem ismerték fel. Ezért ez lett a web láthatatlan része. Ezek megtalálásához ad segítséget az oldal.