Google делится дополнительной информацией об ограничениях сканирования Googlebot через @sejournal, @martinibuster

bg bho bik bm bn brx bs bug ca ceb cgg ckb co crh cs cv cy da de din doi dv dyu dz ee el en eo es et eu fa ff fi fj fo fr fur fy ga gd gl gom gn gu ha haw he hi hil hne hmn hr hrx ht hu hy id ig ilo is it ja jam jv ka kab kbp kg kha kk kl km kn ko kri ku ktu ky la lb lg li lij ln lo lmo lt ltg lua luo lus lv mai mak mg mi min mk ml mn mni-mtei mos mr ms mt my nd ne nl nn no nr nso nus ny oc om or pa pag pam pap pl ps pt pt-br qu rn ro ru rw sa sah sat sc scn sg si sk sl sm sn so sq sr ss st su sus sv sw szl ta tcy te tg th ti tiv tk tl tn to tpi tr trp ts tt tum ty udm ug uk ur uz ve vec vi war wo xh yi yo yua yue zap zh zh-hk zh-tw zu