5 min read

Ukens notater #28: Den virkelige kostnaden til AI-robotene

Et av vår tids «syv underverker» er i mine øyne Wikipedia. Det åpne og fritt tilgjengelige «leksikonet» eksemplifiserer alt som man i internetts spede begynnelse snakket om som den store muligheten internett kunne gi menneskeheten. Åpenhet, fri tilgang informasjon og kunnskap. Wikipedia har levert på alt. At vi i det hele tatt har tilgang til en informasjonskilde som Wikipedia er fantastisk og at den att på til er drevet av frivillige som i det store og hele ikke mottar noe for å bidra, er intent mindre enn et utrolig.

Men selv om innholdet på Wikipedia er gratis, er ikke infrastrukturen som sørger for at nettsiden fungerer gratis. Wikipedia er den åttende mest besøkte nettsiden i verden og det å drifte dette har en betydelig kost, men det er ikke de vanlige besøkene som bekymrer Wikimedia (organisasjonen bak Wikipedia).

Det siste året har nemlig trafikk fra AI-roboter som scraper innholdet til Wikipedia vokst dramatisk. Siden januar i fjor har Wikipedia sett at nedlastning av videoer, bilder og annet tungt innhold har vokst med 50%. Wikipedia har bygd sin infrastruktur slik at det mest populære innholdet «caches» og spres utover et stort antall datasentre som er nærme der forespørselen kommer fra. Men AI-roboter er ikke som mennesker og etterspør det populære innholdet. De etterspør alt. Disse etterspørselene er ikke forhåndslagret i det nærmeste datasenteret, men må sendes til Wikipedias hoveddatasenter. Dette koster vesentlig mer og 65% av denne «dyre» trafikken består nå av AI-roboter.

Wikipedia setter fingeren på et stort problem. Et problem de ikke er alene om. AI-robotene er så aggressive i sin jakt på mer «innhold» som kan forbedre deres modeller at det rett og slett har en pris i kroner og ører for organisasjoner og personer som drifter eller vedlikeholder forumer, wikier, åpne kildekode prosjekter og annet. Dette finnes det foreløpig ingen løsning på og det kjennes en smule frustrerende at min og alle andres private donasjoner til Wikipedia skal brukes på roboter fremfor mennesker som ønsker å lære.

How crawlers impact the operations of the Wikimedia projects
Since the beginning of 2024, the demand for the content created by the Wikimedia volunteer community – especially for the 144 million images, videos, and other files on Wikimedia Commons – has grow…
Open source devs say AI crawlers dominate traffic, forcing blocks on entire countries
AI bots hungry for data are taking down FOSS sites by accident, but humans are fighting back.

🤖 AI

🌎 Big Tech

🌟 Annet

📈 Interessante data