RSS-hozzáférés kiadóknak

Ez az oldal azoknak a magyar hírportáloknak szól, amelyeknek a hírcsatornáját (RSS/Atom) a kiszolgálójuk botvédelme nem engedi letölteni. Leírjuk, mit kérünk le, miért érdemes átengedni minket, és hogyan lehet ezt beállítani – szolgáltatóra lebontva is.

A hírcsatorna az Ön tulajdona, és joga van bárkit kizárni belőle. Amit itt leírunk, az kérés, nem követelés – és ha úgy dönt, hogy nem engedi be a robotunkat, azt tudomásul vesszük.

Mi a probléma

Egyes szolgáltatók botvédelme mindent kizár, ami nem böngésző. A hibajelenség jellegzetes: a hírcsatorna URL-je böngészőből tökéletesen működik, egy hírolvasónak viszont 403-as választ ad, és a válasz törzse egy JavaScript-ellenőrző oldal, ilyen címmel:

Checking your browser before accessing. Just a moment...

Ez az oldal arra vár, hogy a látogató JavaScriptet futtasson. Egy hírolvasó vagy aggregátor nem futtat JavaScriptet – nem is kellene neki, hiszen egy XML-fájlt szeretne letölteni –, ezért ezen az ellenőrzésen soha nem jut túl.

Fontos: ilyenkor a hírcsatorna maga hibátlan. A fájl a helyén van, a tartalma rendben van, csak a védelem nem engedi hozzá a gépi olvasókat. És ez nem csak minket zár ki: ugyanez a szabály zárja ki a Feedlyt, az Inoreadert, a böngészőbe épített hírolvasókat és minden más aggregátort is.

Mit kérünk le

Pontosan két dolgot:

Semmi mást. Nem járjuk be a webhelyét, nem követjük a hírcsatornából kivezető hivatkozásokat, és nem töltjük le a cikkek teljes szövegét.

Miért érdemes átengednie minket

A Hírnavigátor híraggregátor. Azt a címet és rövid összefoglalót jelenítjük meg, amelyet Ön maga tett közzé a saját hírcsatornájában – a cikkért pedig az olvasót az Ön saját oldalára küldjük tovább. Nálunk nem lehet elolvasni a cikket, csak megtalálni.

Ezért a letiltás gyakorlatilag nem tartalmat védi meg, hanem átirányított olvasót vesz el. Ha a hírcsatorna nem elérhető, a portál kikerül a listáinkból, és az onnan érkező látogatók elmaradnak.

Kik vagyunk

A robotunkról teljes adatlapot vezetünk: hirnavigator.hu/bot. A lényeg röviden:

Amit kérünk: az RSS elérését engedje át általánosan

Nem azt kérjük, hogy minket vegyen fel név szerint egy kivétellistára. Az a jobb megoldás, ha a hírcsatorna útvonalát veszi ki a botvédelem alól – tehát egyetlen szabállyal minden hírolvasót és aggregátort átenged.

Ennek két oka van. Egy ilyen szabály kevesebb munka (egy bejegyzés, nem tíz), és nem kell frissíteni: ha holnap egy másik hírolvasó vagy aggregátor is olvasni szeretné a hírcsatornát, az is átjut, anélkül hogy Önnek bármit tennie kellene.

Konkrétan: a botvédelem alól vegye ki a hírcsatorna útvonalát. Ez rendszertől függ, tipikusan valamelyik ezek közül:

/feed/
/rss
/rss.xml
/atom.xml
/?feed=rss2

Ha nem tudja, melyik az Öné, nyissa meg böngészőben a hírcsatorna címét, és az URL útvonalrészét használja.

Ha az általános kivétel nem járható – például mert a felület nem engedi útvonalra szabályt írni –, akkor a szűkebb megoldás is elég nekünk: engedélyezze a 46.29.138.199 IP-címet. Ez csak minket ereszt be, tehát a többi hírolvasónál a probléma megmarad, de nekünk megoldja.

Szolgáltatóspecifikus beállítás

Az alábbi szakaszok egy-egy szolgáltató saját felületére vonatkoznak. Ha az Ön szolgáltatója nincs a listán, írjon nekünk a [email protected] címre – megnézzük, és ha kiderül a helyes lépéssor, felkerül ide.

Szolgáltatóra lebontva:

Hostinger

A Hostingernél két, egymástól független réteg szűrhet, és csak az egyik van az Ön kezében. Érdemes ezt előre tudni, mert az első lépés önmagában lehet, hogy nem elég.

1. réteg – a hPanel IP-kezelője (ez Öntől függ). A Hostinger saját dokumentációja szerint:

  1. Lépjen be a hPanelbe, és nyissa meg a Websites menüpontot.
  2. A kérdéses webhelynél kattintson a Dashboard gombra.
  3. A bal oldali menüben keresse meg az IP Manager pontot.
  4. Az IP to allow mezőbe írja be: 46.29.138.199
  5. A megjegyzés mező kitöltése nem kötelező (például: Hirnavigator RSS bot).
  6. Kattintson az Add gombra.

A Hostinger dokumentációja megjegyzi, hogy ezek a szabályok a webhely .htaccess fájljába kerülnek bele, és figyelmeztet arra, hogy ezeket a sorokat ne törölje ki kézzel. Arról viszont a dokumentáció nem mond semmit, hogy ez a beállítás hat-e a botvédelemre és a JavaScript-ellenőrzésre.

Nem ígérjük, hogy ez az egy lépés megszünteti a böngésző-ellenőrző oldalt. Gyors és ingyenes, ezért érdemes elsőként megpróbálni – de ha utána is a „Just a moment…” oldal jön vissza, akkor a szűrés a 2. rétegben van.

2. réteg – infrastruktúra szintű botvédelem (ez nincs az Ön kezében). A „Checking your browser / Just a moment…” oldalt egy olyan védelem állítja elő, amely a webhelye előtt, a szolgáltató infrastruktúrájában fut. Nyilvános beszámolók szerint a Hostinger támogatása azt közölte, hogy ez botonként nem hangolható az adott csomagban, mert osztott (shared) hosztingon ezeket a kiszolgálószintű beállításokat kizárólag a szolgáltató kezeli, az ügyfél nem módosíthatja; megoldást csak VPS-csomagon ajánlottak.

Ha tehát az IP-kezelő után is megjelenik a böngésző-ellenőrzés, két út marad:

  • Kérje a Hostinger támogatását, hogy a hírcsatorna útvonalát vegyék ki a botvédelem alól, vagy engedélyezzék a fenti IP-címet a botvédelem szintjén. Ehhez az alábbi, beküldhető szöveg készen áll.
  • Tegyen saját CDN-t vagy proxyt a webhely elé (például egy olyan szolgáltatást, amelynek a botvédelmi szabályait Ön állítja). Így a szabályozás visszakerül az Ön kezébe.

Beküldhető szöveg a szolgáltatónak

Ezt a szöveget bemásolhatja a szolgáltatója támogatási jegyébe. Két helyen kell hozzányúlni: cserélje ki a saját domainjét és a saját hírcsatorna-címét, és írja alá.

Támogatási jegy szövege

Tárgy: Kérés – RSS-hírcsatorna elérésének engedélyezése hírolvasóknak

Tisztelt Támogatás!

A(z) [sajatdomain.hu] webhely üzemeltetője vagyok. Egy magyar
híraggregátor (Hírnavigátor, hirnavigator.hu) nem tudja letölteni a
webhelyem RSS-hírcsatornáját: a kérésére 403-as választ kap, és a
válasz törzse egy JavaScript-ellenőrző oldal, ezzel a címmel:
"Checking your browser before accessing. Just a moment...".
Böngészőből ugyanez az URL hibátlanul működik.

Szeretném, ha a hírcsatornám elérhető lenne hírolvasók és
aggregátorok számára. Kérem az alábbiak egyikét:

1) Elsődlegesen: vegyék ki a hírcsatorna útvonalát a botvédelem és a
   JavaScript-ellenőrzés alól. A hírcsatorna címe:
   https://[sajatdomain.hu]/feed/
   Ez egyetlen szabállyal minden hírolvasót és aggregátort átenged,
   nem csak egyet, és később nem kell módosítani.

2) Ha ez nem lehetséges: engedélyezzék az alábbi egyetlen IP-címet,
   és kérem, hogy ez az engedélyezés a botvédelem szintjén is
   érvényesüljön, ne csak tűzfal- vagy .htaccess-szinten.

   IP-cím:              46.29.138.199
   fordított DNS (PTR): bot.hirnavigator.hu
   User-Agent:          Mozilla/5.0 (compatible; HirnavigatorBot/1.0;
                        +https://hirnavigator.hu/bot)

A robot kizárólag az RSS/Atom fájlt és az abban hivatkozott
előnézeti képeket kéri le. A webhelyet nem járja be, a cikkek
szövegét nem tölti le, és betartja a robots.txt szabályait. A robot
nyilvános adatlapja: https://hirnavigator.hu/bot

Kérem, jelezzék, ha a beállítás megtörtént, vagy ha a csomagomban ez
nem megoldható.

Köszönettel,
[a nevem]

Ha kérdése van

Írjon a [email protected] címre. Szívesen megnézzük együtt, hogy pontosan mi zárja ki a lekérésünket, és szükség esetén a szolgáltatónak szóló szöveget is testre szabjuk. Ha viszont azt kéri, hogy egyáltalán ne olvassuk a hírcsatornáját, azt is teljesítjük – a részletek a robot adatlapján szerepelnek.