Taka drobna porada dla webmasterów.
Jeżeli utrzymujecie listę zbanowanych user agentów w NGINXie, to z jakiegoś durnego powodu user agenty takie jak meta-externalagent czy facebookexternalhit były w stanie dotrzeć na stronę.
Dlatego postanowiłem założyć (profilaktycznie) blokadę także na subnety należące do Mety -- przynajmniej w przeszłości roboty indeksujące Mety nie respektowały zasad robots.txt, ale że jest to Meta Platforms, to nie można im w tym kontekście ufać, że się zmienili.
W głównym pliku konfiguracyjnym (nginx.conf) wpisuję „include /usr/local/etc/nginx/offenders.conf” (należy nadmienić, że serwer, na którym utrzymywana jest „Kontrabanda”, posiada zainstalowany system FreeBSD, stąd dodatkowe /usr/local), w tym samym miejscu tworzę plik o nazwie offenders.conf, a jego zawartość jest następująca:
deny 31.13.24.0/21;
deny 31.13.64.0/18;
deny 57.144.0.0/14;
deny 45.64.40.0/22;
deny 57.141.0.0/24;
deny 57.141.2.0/24;
deny 57.141.4.0/24;
deny 57.141.6.0/24;
deny 57.141.8.0/24;
deny 57.141.10.0/24;
deny 57.141.12.0/24;
deny 66.220.144.0/20;
deny 66.220.144.0/21;
deny 69.63.176.0/20;
deny 69.63.184.0/21;
deny 69.171.224.0/19;
deny 74.119.76.0/22;
deny 102.132.96.0/20;
deny 103.4.96.0/22;
deny 129.134.0.0/17;
deny 157.240.0.0/17;
deny 2a03
deny 2a03
deny 2a03
deny 2a03
deny 2a03
deny 2a03
deny 2a03
deny 2a03
Oczywiście najpewniej nie są to wszystkie subnety Mety Platforms, ale przynajmniej na początek powinno wystarczyć.
PS: kiedy na Hejto pojawią się tzw. code blocki?
#kontrabanda #facebook #nginx #przydatne #ciekawostki
