Faili ya robots.txt haikomei kwa maelezo rahisi ya URL zilizopo kwenye tovuti ili kuorodheshwa. Inatoa maagizo kwa injini za utafutaji, kulingana na matakwa yetu. Rahisi kujenga na kuweka kwenye mzizi wa tovuti, inaonyesha hatua za kufuata, inakuwezesha kuzuia indexing ya kurasa maalum na / au orodha kamili, au hata kuzuia injini moja au zaidi ya utafutaji, na hivyo kufungia bandwidth na kupunguza. seva na mtandao, na kuifanya ipatikane zaidi kwa malengo yaliyokusudiwa. Maelezo kamili kuhusu faili rahisi ya maandishi ambayo imekuwa muhimu katika uboreshaji wa kisasa.
Jinsi ya kuunda faili ya robots.txt
Faili ya robots.txt inahusiana na itifaki ya kutengwa kwa roboti. Tunadaiwa faili ya kwanza ya robots.txt kwa Martin Koster. Mwisho ulifanya kazi kwa Webcrawler mwaka wa 1994. Lengo la mbinu ni kuwanyima roboti za injini ya utafutaji Orodha ya Watendaji wa Ngazi ya C rasilimali fulani za tovuti. Rasilimali ambazo hatutaki kushiriki kwenye wavuti. Kwa hivyo, faili hii inaonyesha kurasa ambazo hazipaswi kuorodheshwa kwenye injini ya utafutaji. Mkataba ni kwamba faili ya kwanza iliyosomwa na roboti za injini tafuti ni faili inayoitwa robots.txt .
Kwa nini faili ya robots.txt?
Kuna sababu kuu mbili za kutumia faili ya robots.txt;
- Kwanza, inazuia rasilimali fulani, zinazochukuliwa kuwa hazina maslahi ya umma, zisiwekwe kwenye mtandao;
- Kisha, hupunguza mtandao kwa kuepuka trafiki nyingi na kwa hiyo hupunguza kazi ya indexers na seva ya http.
Katika hatua hii, hebu tayari tufafanue kwamba faili ya robots.txt haiwezi kwa hali yoyote kufanya kazi kama chombo cha usalama. Faili hii inaendelea kufikiwa na kila mtu. Ikiwa roboti za fadhili zitaheshimu maagizo yaliyowekwa kwenye faili, sivyo ilivyo kwa roboti hasidi, ambazo hutafuta kupata data ya kibinafsi. Kwa hivyo usichanganye robots.txt na usalama!
Jinsi ya kuunda na mahali pa kuiweka?
Ili kuunda, ni rahisi sana. Unda tu faili ya robots.txt kwenye notepad yako. Na onyesha vizuizi vya kuorodhesha unavyotaka kuheshimiwa. Zingatia mambo matatu tu;
- Iandike robots.txt, si ROBOTS.TXT, au hata Robots.txt;
- Usisahau kamwe kwamba faili lazima isizidi 62kb;
- Fikiria kuiweka kwenye mzizi wa tovuti yako, ili iweze kupatikana kwa injini za utafutaji. Ikiwa tovuti yako inaitwa utaweka faili yako ya robots.txt kama hii:
Je, tovuti yako haifanyi vizuri vya kutosha?
Baadhi ya mifano ya maagizo ya msingi kwenye faili ya robots.txt
Kila maagizo yamejengwa kwa angalau mistari miwili;
- Mstari wa ‘Wakala wa mtumiaji:’ unaofafanua roboti(za) zinazolengwa na vizuizi;
- Mstari wa ‘Ruhusu:’ au ‘Usiruhusu:’ unaoruhusu au kutoruhusu ufikiaji wa rasilimali zinazolengwa.
Ili kuifanya iwe rahisi iwezekanavyo, hapa kuna mfano maalum:
* inachukua nafasi ya roboti zote. Maagizo hapa kwa hiyo yanalenga roboti zote, vyovyote zinavyoweza kuwa. Ikiwa maagizo ni maalum, hata 14 måder at finde nye kunder bevist af profferne hayalingani, ni kwa sababu kitendo cha ‘Siruhusu:’ hakikatazi chochote hapa. Hii inamaanisha kutoweka faili ya robots.txt. Kinyume chake, ikiwa tungeandika ‘Usiruhusu: /’, tungepiga marufuku kurasa zote za tovuti kutoka indexing kwenye injini za utafutaji. Ambayo sio lengo linalohitajika pia. Lakini hii inakupa wazo la jinsi robots.txt rahisi inavyofanya kazi.
Jinsi ya kuzuia saraka nzima au kurasa maalum?
Unapotaka kuzuia saraka fulani au ukurasa maalum wa tovuti yako, unahitaji tu kupanua na kutaja mstari wako wa amri;
Au
Nk…
Na kuzuia roboti moja, maagizo yanafanywa kwa sehemu mbili;
Kisha
Na/au
Tumia wildcards kwa faili ya robots.txt
Kadi ya pori ni nini?
Kadi ya mwituni ni mcheshi. Kama katika mashindano ya tenisi. Wachezaji wengine wanapewa faida ya mcheshi kuwaruhusu kucheza hata bila kuwa na sifa za kimantiki. Katika kompyuta, mcheshi huyu huchukua umbo la metacharacter, mhusika znb directory aliyepo kwenye kibodi akiiruhusu kuchukua nafasi ya wengine wengi. * ni metacharacter, au kadi-mwitu ukipenda. The $ too… Herufi hizi maalum zimekusudiwa kuchukua nafasi ya mwanzo au mwisho wa neno. Kwa mfano, ikiwa unahitaji kutafuta maneno yote yanayoanza na ‘Rafiki’, utauliza rafiki* na yote yataonyeshwa.
Baadhi ya mifano ya kadi pori
Katika kesi ya maagizo yaliyotolewa kwa kuorodhesha roboti, kwa mfano unaweza kuandika hivi:
Kukataa kuorodhesha kurasa zote zenye ‘?’ katika url yao.
Tenda vivyo hivyo ikiwa utaamua kukata ufikiaji wa saraka maalum za WordPress:
‘$’ inatumika zaidi kuashiria mwisho wa URL. Katika kesi hii, ikiwa unataka kuwatenga kutoka kwa injini za utafutaji kurasa zote zilizo na mwisho sawa, kama vile aina fulani ya faili. Ili kukataa kuweka faharasa kwa faili za .pdf, utaandika:
Na hakuna kinachokuzuia kuzuia ufikiaji wa faili hizi kwa injini moja ya utaftaji:
Je, tunaweza kuongeza maoni kwenye faili ya robots.txt
Bila shaka, inawezekana kuongeza maoni ndani ya faili ya robots.txt. Na hata zaidi ikiwa faili itageuka kuwa ndefu na ngumu kwa sababu ya idadi ya maagizo iliyotolewa.
Jinsi ya kuongeza maoni?
Kwa nini uongeze maoni kwenye faili ya robots.txt?
Kwa hivyo unawe kutaja kila hatua unayochukua. Hii ni ya kuvutia hasa katika kesi ya faili ndefu (kuwa makini usizidi 62 KB, hata hivyo), ili kutambua aya tofauti. Kuongeza maoni kuna kipengele cha kiutendaji na cha shirika pekee.
Ni aina gani ya maoni ya kuongeza?
Unaweza kubainisha kila wakati ni roboti ambayo maagizo yamekusudiwa, au ni saraka au kurasa zipi unazofanyia kazi. Lakini pia unaacha tarehe ya mwisho ya marekebisho ya mstari wa amri, au taarifa yoyote muhimu inayowezesha uelewa wa mfanyakazi mwenzako au mshiriki mwingine kwenye tovuti kwa mfano.
Kuna tofauti gani kati ya robots.txt na noindex tag?
Faili ya robots.txt hukuruhusu kudhibiti roboti zinazoelekeza kwenye wavuti, kutambaa. Wanasoma faili ya robots.txt wanaheshimu maagizo yake na kwa hivyo huelekeza kwa hiari maudhui ya kurasa fulani au saraka fulani. Walakini, kurasa hizi na saraka hazionekani. Kiungo kinachoelekeza kwenye mojawapo ya kurasa hizi hakikatazi onyesho lake. Kwa hivyo inatosha kwa kiungo kuelekezwa mara moja kwa mtambaji kutambua kuwepo kwa ukurasa huu. Itaashiria kiotomatiki, lakini ikionyesha URL pekee, bila vitambulisho (kichwa na meta) na kwa hivyo bila maelezo ya ukurasa.
Lebo ya noindex, kwa upande wake, inakataza moja kwa moja kuorodhesha ukurasa. Wacha tuseme kwamba njia ni kali zaidi. Hapa, hata katika kesi ya kiungo kinachoelekeza kwenye ukurasa unaolengwa, hakuna indexing kwenye injini iliyochaguliwa (au injini iliyochaguliwa) inakuwa iwezekanavyo. Kwa kweli, vitendo viwili vinaweza kuwa nyongeza, kuheshimu mpangilio wa maagizo. Lebo ya noindex inafaa zaidi ikiwa inahusisha kuweka kurasa mahususi, au hata tovuti nzima. Lakini katika kesi ya folda au saraka, noindex haiwezi kusakinishwa. Kwa kuongeza, faili ya robots.txt inafaidika kutokana na faida nyingine, inaweza kutoa anwani ya ramani ya tovuti kwa watambazaji.
