Semalt Expert räägib, kuidas veebiandmete kraapimine seadustati kohtuotsusega

Ehkki veebisaitidelt andmete kaapimine ilma saidi omanike selgesõnalise loata võib olla ebaseaduslik, otsustas kohtunik hiljuti teatud tingimustel teisiti. hiQ Labs esitas hiljuti kohtuasja LinkedIn vastu, et takistada neil LinkedIni lehtedelt andmeid kaevandada.

Enamiku inimeste jaoks oli see ebaviisakas šokk, et LinkedInil lubati anda startup-ile tasuta juurdepääs oma veebilehtedele. hiQ kasutas oma algoritme tuvastamaks, millal Linkedini kasutaja tööd otsib, vastavalt muudatustele, mida kasutaja teeb oma avalikus profiilis.

Algoritmid töötavad LinkedIni veebilehtedelt ekstraheeritud andmetega. Nagu arvata võis, LinkedInile see ei meeldinud ning hiQ edasise andmete ekstraheerimise takistamiseks võeti kasutusele vastumeetmed. Lisaks paika pandud tehnilistele tõketele anti välja ka rangelt sõnastatud juriidilised hoiatused.

Startupil polnud muud valikut kui võtta see teema seaduslikult käsile. hiQ pidi otsima õigusabi. Ettevõte soovis, et LinkedIn kästaks ära oma tehnilised tõkked. hiQ soovis, et ka tema andmete eraldamise protsess LinkedInis legaliseeritaks.

Stardiks õnneks sai see, mida ta tahtis. Otsus oli hiQ kasuks. LinkedIn sai käsu eemaldada kõik vastumeetmed, mis takistavad hiQ-d oma (LinkedIn) veebilehtede kraapimisest, ja anda hiQ-le ka vabad käed, kuna see on täiesti seaduslik. Kohtunik hindas oma otsust asjaolule, et hiQ soovib kraapida andmeid, mis on kuvatud avalikkuse jaoks.

Kohtunik käskis kostjal mitte ainult eemaldada kogu hiQ vastu rakendatud ennetusmehhanism, vaid käskis ka kostjal tulevikus sellistest toimingutest hoiduda.

Avatud veebiandmete reklaamimine

Ehkki otsus on endiselt ajutine ettekirjutus, on südantsoojendav kuulda, et seadus toetab avatud veebiandmeid ja tasuta juurdepääsu Interneti-teabele, kuna see määrus seda kinnitab. Isegi kui lõplik otsus saab kostja kasuks, on see asjaolu juba kindlaks tehtud.

Kohtunik edendas seda poliitikat, sulgedes praktiliselt kõik Linkedini argumendid. Kuigi LinkedIn üritas tuvastada, et hageja rikkus tema privaatsust, vastas kohtunik sellele, et andmeid müüb ka kostja.

Kui see argument ei pidanud vett, väitis kostja ka, et hiQ tegu rikkus jämedalt arvutipettuste ja kuritarvitamise seadust (CFAA), kuna käivitusprogramm pöördus nende serverite poole, et ebaseaduslikult andmeid koguda. Jällegi lükati see argument läbi. See lükati tagasi põhjusel, et hiQ kraapis ainult avalike, kaitsmata lehtede sisu.

Kohtunik analüsis juhtumit nii, et keegi kõndis tööajal avatud poodi. Sellise inimese kohta ei saa öelda, et ta ületaks. Niisiis, hiQ ei ületanud. Huvitaval kombel läks kohtunik kaugemale, et selgitada, miks tema otsus on avalikes huvides.

Lühidalt: kohus nõustus, et andmete otsimiseks, väljavõtmiseks ja analüüsimiseks on avalikes huvides. Niisiis on teabe vaba liikumise tõkete seadmise julgustamine kahjulik poliitika.

Mida peaksite otsusest õppima

Ehkki teil ei pruugi olla põhjust andmeid otse LinkedInist hankida, peaksite otsusest õppima. Parem on mängida turvaliselt, lugedes kõigi veebisaitide faili robots.txt ja austades seda. Pidage meeles, et otsus on endiselt ajutine ettekirjutus. See võib lõpuks minna LinkedIni kasuks.

Ehkki otsus ei pruugi teid otseselt mõjutada, on hea meel, et föderaalkohus järgib veebi üldsusele avatuks pidamise poliitikat. Seega peaks teave olema kättesaadav ja kättesaadav neile, kes saavad seda otsida ja seda paremini kasutada.

Veebiandmed on äärmiselt kasulikud kõigile, eriti meediaanalüütikutele, arendajatele, andmeteadlastele ja mõnele muule spetsialistile. Sellisena on otsus tervitatav areng.