HTML Microdata document

This HTML5 document contains 14 embedded RDF statements represented using HTML+Microdata notation.

The embedded RDF content will be recognized by any processor of HTML5 Microdata.

Namespace Prefixes

Prefix	IRI
wikipedia-hu	http://hu.wikipedia.org/wiki/
dct	http://purl.org/dc/terms/
dbo	http://dbpedia.org/ontology/
foaf	http://xmlns.com/foaf/0.1/
dbpedia-hu	http://hu.dbpedia.org/resource/
prop-hu	http://hu.dbpedia.org/property/
rdfs	http://www.w3.org/2000/01/rdf-schema#
freebase	http://rdf.freebase.com/ns/
rdf	http://www.w3.org/1999/02/22-rdf-syntax-ns#
n7	http://hu.dbpedia.org/resource/Sablon:
owl	http://www.w3.org/2002/07/owl#
prov	http://www.w3.org/ns/prov#
xsdh	http://www.w3.org/2001/XMLSchema#
n11	http://hu.dbpedia.org/resource/Kategória:

Statements

Subject Item: dbpedia-hu:Keresőrobot
rdfs:label: Keresőrobot
owl:sameAs: freebase:m.08220
dct:subject: n11:Internet
dbo:wikiPageID: 769123
dbo:wikiPageRevisionID: 21705389
prop-hu:wikiPageUsesTemplate: n7:Nincs_forrás n7:Ny-en n7:Portál n7:Jegyzetek
dbo:abstract: A keresőrobot (angolul: web crawler) egy informatikai kifejezés. Olyan speciális programok gyűjtőneve, amelyek képesek az interneten fellelhető publikus, illetve a robots.txt és a robots metatag által engedélyezett tartalmak letöltésére, és ezek valamilyen formában való elemzésére, az adatok eltárolására. A keresőrobotokat legtöbbször keresőoldalak használják arra a célra, hogy a felkutatott és indexelt weboldalak linkjeit a saját oldalukon kereshetővé tegyék. Ilyen a talán legismertebb Googlebot, ami a Google számára tölt le weboldalakat, de nagyon sok hasonló robot létezik. A tipikus felhasználáson kívül léteznek speciális alkalmazások is, karbantartásra, vagy más adatok összegyűjtésére használt robotok is. A keresőrobotok felépítésüktől függően képesek egy már létező böngésző motorját felhasználva a megcélzott weboldal HTML-kódjának a teljes feldolgozására, és azon a JavaScript-függvények lefuttatására is, de általában nem ez a helyzet. A keresőrobotok rendszerint egy böngészőnél sokkal egyszerűbb módon, a HTML-struktúra objektumokká felépítése nélkül próbálják a szöveget értelmezni. Ez azt jelenti, hogy az emberi felhasználó által látott, és a keresőrobot által látott „kép” néha jelentősen eltér. A keresőrobotok többsége nem képes képeket értelmezni, illetve a HTML-kód megjelenítését szabályozó CSS-t sem dolgozza fel, így lényegében csak a szöveges tartalom az amit lát. Ahhoz, hogy egy a keresőrobotéhoz hasonló képet kapjunk, nekünk is egy szöveges böngészőt kell használni, ilyen például a Lynx. A weboldalak tulajdonosai háromféle módon tudják a saját oldalaikon a keresőrobotok tevékenységét szabályozni. Ezek közül a leggyakrabban használt a robots.txt. Ez egy egyszerű szöveges fájl, amely instrukciókat tartalmaz a robotok számára, hogy az azt tartalmazó weboldal mely oldalait érhetik el a robotok. Például: User-agent: *Disallow: /test/*Allow: /help.htmlAllow: /index.html Itt a „test” alkönyvtár tartalma tilos a robotok számára, az oldalon található help.html és az index.html viszont feldolgozható. Alapértelmezetten minden tartalmat feldolgozhatnak. A User-agent: után következik annak robotnak a megnevezése, amelyre ez a bejegyzés vonatkozik, a csillag jelentése az, hogy minden robotra vonatkozik, lehet egy konkrét robotot is letiltani, például: User-agent: GooglebotDisallow: / Ez a Google keresőrobotjának jelzi, hogy semmit nem indexelhet (a webhely gyökérkönyvtárát tiltja le). A következő eszköz a HTML-oldalak fejlécében elhelyezett robots metaelem: <meta name="robots" content="index,follow" /> A tartalom (content) lehetséges értékei: * noindex – ilyenkor az adott oldalt a robotok nem indexelhetik * index – indexelés engedélyezett * nofollow – az adott oldalt indexeli, de onnan nem gyűjthet további linkeket * follow – linkek gyűjtése megengedett * all – azonos az index,follow kombinációval, ez az alapértelmezés * none – azonos a noindex,nofollow kombinációval És ezek értelemszerű kombinációi, az index,follow eset az alapértelmezés, ezért ezt felesleges megadni. A harmadik lehetőség az egyes linkek követését korlátozza, ez az linkelem <a href="…" rel="nofollow">linkszöveg</a> paraméterezésével állítható be. Az így megjelölt linkeket a keresőrobot korábban csak követte, de nem számított bele az oldalak kapcsolódási tőkéjét meghatározó linkek közé. 2019. szeptemberében a Google bejelentette, hogy a nofollow attribútummal ellátott linkeket is felhasználhatja az oldalak rangsorolásakor, 2020. március 1 után pedig az indexelés és feltérképezést is elvégezheti a nofollow ellenére. A bejelentéssel bevezetett két új attribútumot, a rel="ugc" a felhasználó által generált tartalomra mutató linkekre, míg a rel="sponsored" a szponzorált linkekre alkalmazható. Fontos megjegyezni, hogy a keresőrobotok számára a fenti szabályok betartása önkéntes kooperáció, ha egy robotot nem ilyen módon programoztak, akkor nem kényszeríthető a betartására, a weboldal tulajdonosa legfeljebb tűzfal segítségével zárhatja ki a már ismert kártékony robot IP-címét, vagy olyan dinamikus kódot szerkeszt, amely a robot oldal lekérésének a szövegéből kitalálja hogy az egy bizonyos fajta robot, és neki egy másik oldalt generál. A kártékony keresőrobotok csoportját alkotják az olyan keresőrobotok, amelyek e-mail-címeket vagy más elérhetőségeket keresnek. Ezek nem weboldalakat gyűjtenek indexelés céljából, hanem csak a gyanútlan felhasználók elérhetőségét, amit a későbbiekben spam céljára fognak használni.
prov:wasDerivedFrom: wikipedia-hu:Keresőrobot?oldid=21705389&ns=0
dbo:wikiPageLength: 5267
foaf:isPrimaryTopicOf: wikipedia-hu:Keresőrobot

Subject Item: wikipedia-hu:Keresőrobot
foaf:primaryTopic: dbpedia-hu:Keresőrobot