IFixit: ఆంత్రోపిక్ AI స్క్రాపర్ వెబ్‌సైట్‌ను 1 మిలియన్ సార్లు హిట్ చేసిందని iFixit పేర్కొంది
ఆంత్రోపిక్, ఒక కృత్రిమ మేధస్సు (AI) సంస్థ, దాని ClaudeBot వెబ్ క్రాలర్‌తో AI వ్యతిరేక స్క్రాపింగ్ విధానాలను ఉల్లంఘించిన ఆరోపణలను ఎదుర్కొంటోంది. క్రాలర్ iFixit వెబ్‌సైట్‌ను 24 గంటల్లో దాదాపు మిలియన్ సార్లు యాక్సెస్ చేసి, రిపేర్ కంపెనీ వినియోగ నిబంధనలను ఉల్లంఘించినట్లు తెలుస్తోంది. iFixit CEO Kyle Wiens Xలో సమస్యను ప్రచురించారు, iFixit కంటెంట్ పరిమితిలో లేదని ఆంత్రోపిక్ చాట్‌బాట్ అంగీకరిస్తున్న చిత్రాలను పంచుకున్నారు.
iFixit CEO ఆరోపించిన విధాన ఉల్లంఘనను హైలైట్ చేసింది
వీన్స్ ఇలా పేర్కొన్నాడు, "ఆ అభ్యర్థనలలో ఏవైనా మా సేవా నిబంధనలను యాక్సెస్ చేసినట్లయితే, మా కంటెంట్‌ను ఉపయోగించడం స్పష్టంగా నిషేధించబడిందని వారు మీకు చెప్పి ఉంటారు." ఆంత్రోపిక్ వారి కంటెంట్‌ను చెల్లింపు లేకుండా ఉపయోగించడమే కాకుండా వారి DevOps వనరులను కూడా దెబ్బతీస్తోందని ఆయన ఆరోపించారు. క్రాలింగ్ రేటు చాలా ఎక్కువగా ఉందని, అలారాలను ప్రేరేపించి, వారి DevOps టీమ్‌ని ఎంగేజ్ చేసిందని వీన్స్ ది వెర్జ్‌కి వివరించారు. అధిక ట్రాఫిక్ కారణంగా వెబ్ క్రాలర్‌లను నిర్వహించడానికి అలవాటుపడినప్పటికీ, వీన్స్ ఈ సంఘటనను అసాధారణంగా అభివర్ణించారు.
ఆంత్రోపిక్ ఆరోపణలకు ప్రతిస్పందిస్తుంది, iFixit చర్యలను అమలు చేస్తుంది
ఉల్లంఘన ఆరోపణలకు ప్రతిస్పందనగా, ఆంత్రోపిక్ 404 మీడియాను FAQ పేజీకి సూచించింది. దాని క్రాలర్‌ను robots.txt ఫైల్ ఎక్స్‌టెన్షన్ ద్వారా మాత్రమే బ్లాక్ చేయవచ్చని పేర్కొంది. ఈ సంఘటన తర్వాత, iFixit దాని robots.txtకి క్రాల్-డిలే ఎక్స్‌టెన్షన్‌ని జోడించింది. ఈ చేరిక తర్వాత ఆంత్రోపిక్ క్రాలర్ కార్యకలాపాలను నిలిపివేసినట్లు వీన్స్ ధృవీకరించారు. జెన్నిఫర్ మార్టినెజ్, ఆంత్రోపిక్ ప్రతినిధి, వారు robots.txtని గౌరవిస్తారని, iFixit దానిని అమలు చేసినప్పుడు వారి క్రాలర్ సిగ్నల్‌ను గౌరవించిందని ది వెర్జ్‌తో చెప్పారు.
ఇతర వెబ్‌సైట్‌లు ఆంత్రోపిక్ ద్వారా దూకుడు స్క్రాపింగ్‌ను నివేదించాయి
ఆంత్రోపిక్ క్రాలర్ ద్వారా దూకుడు స్క్రాపింగ్‌ను నివేదించడానికి iFixit మాత్రమే సైట్ కాదు. రీడ్ ద డాక్స్ సహ వ్యవస్థాపకుడు ఎరిక్ హోల్‌షర్, Freelancer.com CEO మాట్ బారీ కూడా వీన్స్ థ్రెడ్‌లో ఇలాంటి అనుభవాలను నివేదించారు. చాలా నెలల క్రితం నుండి రెడ్డిట్ థ్రెడ్‌లు కూడా ఆంత్రోపిక్ వెబ్ స్క్రాపింగ్ కార్యకలాపాలలో భారీ పెరుగుదలను గుర్తించాయి. ఈ సంవత్సరం ఏప్రిల్‌లో, Linux Mint వెబ్ ఫోరమ్ ClaudeBot స్క్రాపింగ్ కార్యకలాపాల కారణంగా ఏర్పడిన ఒత్తిడికి సైట్ అంతరాయం కారణమని పేర్కొంది.
Robots.txt: AI స్క్రాపింగ్‌కు వ్యతిరేకంగా సాధారణ ఇంకా పరిమిత రక్షణ
OpenAI వంటి అనేక AI కంపెనీలు వెబ్ క్రాలర్‌లను నిలిపివేయడానికి robots.txt ఫైల్‌లను ఉపయోగిస్తాయి. అయితే, ఈ పద్ధతి వెబ్‌సైట్ యజమానులకు స్క్రాపింగ్ అంటే ఏమిటి, అనుమతించబడదు అని సూచించడానికి సౌలభ్యాన్ని అందించదు. మరో AI కంపెనీ, Perplexity, robots.txt మినహాయింపులను పూర్తిగా విస్మరిస్తుంది. పరిమితులు ఉన్నప్పటికీ, robots.txt కంపెనీలు తమ డేటాను AI శిక్షణా సామగ్రికి దూరంగా ఉంచడానికి అందుబాటులో ఉన్న కొన్ని ఎంపికలలో ఒకటిగా మిగిలిపోయింది. ఈ పద్ధతిని Reddit వెబ్ క్రాలర్‌లపై ఇటీవలి అణిచివేతలో వర్తింపజేసింది.
