Semalt Expert berättar hur skrapning av webbdata legaliserades med domstolens dom

Även om det kan vara olagligt att skrapa data från webbplatser utan uttryckligt tillstånd från webbplatsens ägare, har en domare nyligen beslutat annat under vissa omständigheter. hiQ Labs väckte nyligen en talan mot LinkedIn för att förhindra dem från att extrahera data från LinkedIn-sidor.

Det kom som en oförskämd chock för de flesta att LinkedIn fick höra att ge startup gratis tillgång till sina webbsidor. hiQ använde sina algoritmer för att upptäcka när en LinkedIn-användare letar efter ett jobb baserat på de ändringar användaren gör i sin offentliga profil.

Algoritmerna körs på data extraherade från LinkedIn-webbsidorna. Som väntat gillade LinkedIn inte det och motåtgärder infördes för att förhindra hiQ från ytterligare datauttag. Bortsett från de tekniska hinder som infördes, utfärdades också starkt formulerade juridiska varningar.

Startup hade inget annat val än att ta upp problemet lagligt. hiQ var tvungen att söka rättvisa. Företaget ville att LinkedIn beordrade att ta bort sina tekniska hinder. hiQ ville också ha sin datautvecklingsprocess på LinkedIn legaliserad.

Lyckligtvis för starten fick den vad den ville ha. Domen gällde HiQ. LinkedIn fick order om att ta bort alla motåtgärder som hindrar HiQ från att skrapa sina (LinkedIn) webbsidor och också ge HiQ fri hand eftersom lagen är helt laglig. Domaren hänvisade till sitt beslut om att det som hiQ vill skrapa är data som har visats för allmänheten.

Domaren beordrade inte bara svaranden att ta bort all förebyggande mekanism som införts mot HiQ, utan han förordade också att svaranden skulle avstå från sådana handlingar i framtiden.

Främja öppen webbdata

Även om beslutet fortfarande är ett tillfälligt föreläggande är det hjärtvärmande att höra att lagen stöder öppen webbdata och fri tillgång till information på Internet eftersom denna dom bekräftar det. Även om det slutliga beslutet kommer att gynna svaranden, har detta faktum redan fastställts.

Domaren främjade denna policy genom att stänga av praktiskt taget alla LinkedIns argument. Medan LinkedIn försökte konstatera att klaganden bryter mot dess integritet, motverkade domaren det med att svaranden också säljer uppgifterna.

När argumentet inte innehöll vatten, uppgav svaranden också att hiQ: s handling var i grovt brott mot lagen om bedrägeribekämpning och missbruk (CFAA) eftersom uppstarten åtkomst till deras servrar för att skörda uppgifter olagligt. Återigen punkterades argumentet. Det avvisades på grund av att hiQ bara skrapade innehåll på offentliga, icke-skyddade sidor.

Domaren analyserade ärendet som någon som gick in i en öppen butik under öppettiderna. En sådan person kan inte sägas vara överträdelse. Så, hiQ var inte trespassing. Intressant nog gick domaren vidare för att förklara varför hans beslut är av allmänt intresse.

I ett nötskal godtog domstolen att det är i allmänhetens intresse att låta data krypas, extraheras och analyseras. Så det kommer att vara en skadlig politik att uppmuntra placering av hinder för det fria informationsflödet.

Vad du borde lära dig av beslutet

Även om du kanske inte har skäl att extrahera data direkt från LinkedIn, bör du lära dig av beslutet. Det är bättre att spela säkert genom att läsa och respektera robots.txt-filen på alla webbplatser. Kom ihåg att beslutet fortfarande är ett tillfälligt förbud. Det kan så småningom gå till förmån för LinkedIn.

Även om beslutet kanske inte påverkar dig direkt, är det glädjande att en federal domstol upprätthåller policyn att hålla webben öppen för allmänheten. Så information bör vara tillgänglig och tillgänglig för dem som kan söka och utnyttja den bra.

Webbdata är oerhört användbart för alla, särskilt mediaanalytiker, utvecklare, datavetare och vissa andra yrkesverksamma. Som sådan är beslutet en välkommen utveckling.