Taka drobna porada dla webmasterów.
Jeżeli utrzymujecie listę zbanowanych user agentów w NGINXie, to z jakiegoś durnego powodu user agenty takie jak meta-externalagent czy facebookexternalhit były w stanie dotrzeć na stronę.
Dlatego postanowiłem założyć (profilaktycznie) blokadę także na subnety należące do Mety -- przynajmniej w przeszłości roboty indeksujące Mety nie respektowały zasad robots.txt, ale że jest to Meta Platforms, to nie można im w tym kontekście ufać, że się zmienili.
W głównym pliku konfiguracyjnym (nginx.conf) wpisuję „include /usr/local/etc/nginx/offenders.conf” (należy nadmienić, że serwer, na którym utrzymywana jest „Kontrabanda”, posiada zainstalowany system FreeBSD, stąd dodatkowe /usr/local), w tym samym miejscu tworzę plik o nazwie offenders.conf, a jego zawartość jest następująca:
deny 31.13.24.0/21;
deny 31.13.64.0/18;
deny 57.144.0.0/14;
deny 45.64.40.0/22;
deny 57.141.0.0/24;
deny 57.141.2.0/24;
deny 57.141.4.0/24;
deny 57.141.6.0/24;
deny 57.141.8.0/24;
deny 57.141.10.0/24;
deny 57.141.12.0/24;
deny 66.220.144.0/20;
deny 66.220.144.0/21;
deny 69.63.176.0/20;
deny 69.63.184.0/21;
deny 69.171.224.0/19;
deny 74.119.76.0/22;
deny 102.132.96.0/20;
deny 103.4.96.0/22;
deny 129.134.0.0/17;
deny 157.240.0.0/17;
deny 2a03:/32;
deny 2a031000::/36;
deny 2a032000::/36;
deny 2a033000::/36;
deny 2a035000::/36;
deny 2a037000::/36;
deny 2a03f001::/48;
deny 2a03f003::/48;
Oczywiście najpewniej nie są to wszystkie subnety Mety Platforms, ale przynajmniej na początek powinno wystarczyć.
PS: kiedy na Hejto pojawią się tzw. code blocki?
#kontrabanda #facebook #nginx #przydatne #ciekawostki