Taka drobna porada dla webmasterów.

Jeżeli utrzymujecie listę zbanowanych user agentów w NGINXie, to z jakiegoś durnego powodu user agenty takie jak meta-externalagent czy facebookexternalhit były w stanie dotrzeć na stronę.

Dlatego postanowiłem założyć (profilaktycznie) blokadę także na subnety należące do Mety -- przynajmniej w przeszłości roboty indeksujące Mety nie respektowały zasad robots.txt, ale że jest to Meta Platforms, to nie można im w tym kontekście ufać, że się zmienili.

W głównym pliku konfiguracyjnym (nginx.conf) wpisuję „include /usr/local/etc/nginx/offenders.conf” (należy nadmienić, że serwer, na którym utrzymywana jest „Kontrabanda”, posiada zainstalowany system FreeBSD, stąd dodatkowe /usr/local), w tym samym miejscu tworzę plik o nazwie offenders.conf, a jego zawartość jest następująca:

deny 31.13.24.0/21;

deny 31.13.64.0/18;

deny 57.144.0.0/14;

deny 45.64.40.0/22;

deny 57.141.0.0/24;

deny 57.141.2.0/24;

deny 57.141.4.0/24;

deny 57.141.6.0/24;

deny 57.141.8.0/24;

deny 57.141.10.0/24;

deny 57.141.12.0/24;

deny 66.220.144.0/20;

deny 66.220.144.0/21;

deny 69.63.176.0/20;

deny 69.63.184.0/21;

deny 69.171.224.0/19;

deny 74.119.76.0/22;

deny 102.132.96.0/20;

deny 103.4.96.0/22;

deny 129.134.0.0/17;

deny 157.240.0.0/17;

deny 2a03:/32;

deny 2a031000::/36;

deny 2a032000::/36;

deny 2a033000::/36;

deny 2a035000::/36;

deny 2a037000::/36;

deny 2a03f001::/48;

deny 2a03f003::/48;

Oczywiście najpewniej nie są to wszystkie subnety Mety Platforms, ale przynajmniej na początek powinno wystarczyć.

PS: kiedy na Hejto pojawią się tzw. code blocki?

#kontrabanda #facebook #nginx #przydatne #ciekawostki