Robots是網(wǎng)站和爬蟲之間的協(xié)議，它以簡單直接的TXT格式告知相應(yīng)爬蟲的允許權(quán)限，即RobotsTXT是在搜索引擎中訪問網(wǎng)站時(shí)查看的第一個(gè)文件。搜索蜘蛛訪問站點(diǎn)時(shí)，首先會(huì)檢查站點(diǎn)Txt根目錄下是否有機(jī)器人，如果有，搜索機(jī)器人會(huì)根據(jù)文件內(nèi)容確定訪問范圍；如果文件不存在，所有搜索蜘蛛將能夠訪問網(wǎng)站上所有不受密碼保護(hù)的頁面。Txt協(xié)議不是一個(gè)標(biāo)準(zhǔn)，只是一個(gè)約定，所以不能保證網(wǎng)站的隱私。注意robotsTxt使用字符串比較來確定是否獲取URL。因此，目錄末尾是否有斜杠“/”表示不同的URL，以及；不允許：*。gif"；這樣的通配符

機(jī)器人。TXT在SEO中的作用

網(wǎng)站優(yōu)化】什么是機(jī)器人文件，它們的功能是什么" />

搜索引擎自動(dòng)收集互聯(lián)網(wǎng)上的網(wǎng)頁，并通過爬蟲程序（也稱為搜索蜘蛛、機(jī)器人、搜索機(jī)器人等）獲取相關(guān)信息

考慮到網(wǎng)絡(luò)安全和隱私，搜索引擎遵循robotsTXT協(xié)議。通過純文本文件。該網(wǎng)站在根目錄Txt中創(chuàng)建，可以聲明不希望機(jī)器人訪問的部分。每個(gè)網(wǎng)站是否愿意被指定的搜索引擎包含或控制。當(dāng)搜索引擎爬蟲訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否有機(jī)器人。如果文件不存在，爬蟲將沿著鏈接爬行。如果確實(shí)存在，爬蟲將根據(jù)文件的內(nèi)容確定訪問范圍。