Robots.txt filen skal ligge i RODEN af dit domain, og være læselig, og indeholde MINIMUM to ting:
"User-agent:", det er navnet på søge robotten. Normalt skriver man en * for alle.
"Disallow:" der fortæller robotten hvilken sider den IKKE må besøge. Eks. "/" for alt, "/subdomæne" for at fobyde læsning af alt i "/subdomæne" eller den ene fil "/billeder/aj_hvor_var_jeg_fuld.jpg" eller for websider "/ferie_i_bangkok/mig_og_thaipigerne_i_pat_pong.htm"
Du kan have mere end EN disallow regel, men alle disallow regler gælder for alle roboter. OG: Andre kan også læse din "robots.txt" fil, så hvis nogen virkelig vil forsøge, så kan de jo bare læse din robots.txt fil, og hvis du deri har angivet direkte filnavne... så er det en meget dårlig ide hvis du vil bevare noget hemmeligt.
Et eksempel på en "god" robots.txt fil:
User-agent: *
Disallow: /private-filer
Disallow: /hemmelige-filer
Disallow: /arbejde
Nu kender jeg ikke lige web10 (bruger selv enten dedikerede servere eller hoster hos one.com). MEN.... Hvis du har et unix/linux baseret miljø, så er det nok apache webserver der bruges. Der kan du benytte dig af en teknologi der hedder "htaccess". Den fungerer lidt ligesom robots.txt filen. Men det er istedet SERVEREN der læser filen og vurderer om den skal spørge om et password inden den viser indholdet af siden. Kig evt. her:
http://httpd.apache.org/docs/1.3/howto/htaccess.html Det MEST normale er at de billige providere benytter sig af linux/apache løsningen, da den er billigst i drift og anskaffelse. Men... Der findes jo nok en eller to der stadig kører windows. Det ER muligt at password beskytte sider i microsofts IIS (hvis det er den der er installeret hos din provider), men jeg er rimeligvis sikker på at du skal have en dedikeret server for at det kan lade sig gøre. Men hvis der benyttes apache, så kan du forsøge med htaccess igen.