Back to Question Center
0

Web Screen Scraping: Hasznos tippek a Semalt-tól

1 answers:

Napjainkban az adatok válhatnak a legfontosabb eszközeivé. Mint ilyen, soha nem szabad elengedni, hogy a versenytársak kezébe kerüljön. Azonban néha nehéz lehet, hogy megakadályozza ezt a képernyő lekaparása miatt. Ez egy olyan technika, amelyet évek óta használnak az adatok weboldalakból való kivonására - vi lanes.

Ez a módszer két jelentős problémát jelent a vállalkozás számára. Először is, az adatok felhasználhatók arra, hogy előnyhöz jussanak az üzleti felett, talán az árak alákínálásával, valamint a termékekkel kapcsolatos információk megszerzésével. Továbbá, ha tartósan készen állnak, a technika egy weboldal teljesítményét is lecsaphatja.

Általánosságban a "screen scraping" olyan koncepció, amelyet korai terminál emulációs programok hoztak létre néhány évtizeddel ezelőtt. Ez egy olyan programozási technika, amely kivonja az olyan információkat a képernyőről, amelyeket elsősorban embereknek történő megtekintésre terveztek. A program úgy tesz, mintha ember lenne, és elolvassa az adatokat, értékes információkat gyűjti és tárolja.

A technika az évek során jelentősen fejlődött, különösen a web-robotok feltalálásával..Továbbra is tovább fejlődött az e-kiskereskedelmi árnyékolás, például ár-összehasonlító weboldalak fejlesztésével. Ezek a webhelyek olyan programokat alkalmaznak, amelyek rendszeres látogatást tesznek a népszerű e-kiskereskedelemben, hogy megkapják a legújabb árakat, valamint az adott termékhez vagy szolgáltatáshoz való hozzáférést. Ezeket az adatokat ezután egy adatbázisban tárolják, és az e-kiskereskedelmi táj összehasonlító értékelésére használják.

A versenyképes képernyős kaparás számos negatív hatással jár a vállalat informatikai rendszereire, mivel ez csupán egy másik példa a nem kívánt forgalomra. A közelmúltban végzett vizsgálatok bebizonyították, hogy az összes forgalom legalább 61% -át robotok generálják. Ezek a botok elfogyasztják a létfontosságú erőforrásokat, valamint a valódi webfelhasználóknak szánt sávszélességet, ami a valós ügyfelek késleltetési ütemének növekedéséhez vezethet.

A szitanyomás hosszú ideje folyik. Azonban nem sokkal az utóbbi időben reagálnak erre a viselkedés áldozatai. Egyesek tisztességtelen üzleti gyakorlatokat és szerzői jogokat sértettek, miközben a csipegető vállalatok megvédik magukat az információ szabadságával.

A weboldal tulajdonosai sokoldalúan használják a weboldalak használatára vonatkozó irányelveket, amelyek megakadályozzák az agresszív lekapartást. Sajnálatos módon nem tudják érvényesíteni ezeket a szabályokat, ezért a probléma nem tűnik hamarosan.

Évekkel ezelőtt az eBay bevezetett egy olyan API-t, amely lehetővé teszi a jó kaparók számára az adatok elérését. Azonban nem akadályozza meg a versenyelőnyben felhasználandó információk rosszindulatú begyűjtését. Az egyetlen valódi védelem olyan technológiák használatával érhető el, amelyek megakadályozhatják a webhelyen kívüli látogatókat. Ez lehetővé teszi az igazi felhasználók számára a weboldal elérését, miközben megakadályozzák a robotok károsodását.

Az egyéb hatékony módszerek, amelyek segítségével a képernyő lekicsinylését meg lehet küszöbölni olyan technikák alkalmazásával, mint az IP-hírnév hírszerzés, a hamisított IP-forrásfelderítés, a kérés-válasz viselkedéselemzés, a valós idejű fenyegetettség-felmérés és a földrajzi helymeghatározás végrehajtás.

December 7, 2017