"Нэг мөрөөр бүгдийг зогсооно": Google, OpenAI, Microsoft, Anthropic нар AI Crawler-ийн нэгдсэн стандартыг зарлалаа

Вэб хөгжүүлэгчид, системийн админууд сүүлийн хоёр жилийн турш нэгэн төвөгтэй ажилтай тулгарч байсныг та лав санаж байгаа байх: шинэ AI загвар, стартап гарах бүрд тэдний өгөгдөл цуглуулагч crawler-уудыг (GPTBot, ClaudeBot, Google-Extended, Perplexity г.м.) robots.txt файлд нэг бүрчлэн нэмж, блоклох гэж бөөн ажил болдог байв.

Тэгвэл энэ асуудалд цэг тавих томоохон алхам хийгдлээ. Google, OpenAI, Microsoft болон Anthropic нар хамтран интернет вэбсайтуудын контентыг AI модель сургалтад ашиглахаас татгалзах (opt-out) нэгдсэн, нийтийн стандартыг дэмжиж эхлэхээ албан ёсоор зарлалаа.

Энэхүү санаачилгыг Anthropic-ийн стандартын багийн ахлах Кевин Келли (Kevin Kelley) боловсруулж, Интернетийн стандарт тогтоогч байгууллага болох IETF-д (Internet Engineering Task Force) албан ёсоор өргөн мэдүүлсэн бөгөөд "AIPREF" ажлын хэсгийн хүрээнд стандарт болон хэрэгжихээр болжээ.

Замбараагүй "Crawler Зоопарк"-т цэг тавих нь

Уламжлалт вэбд robots.txt буюу Robots Exclusion Protocol нь 30 гаруй жил Search Engine ботуудад зориулагдан ажиллаж ирсэн. Гэвч Generative AI эрин үе эхэлснээр хэдэн арван шинэ scrapers төрөн гарсан юм:

• OpenAI өөрийн GPTBot-оо
• Anthropic ClaudeBot-оо
• Google Google-Extended болон GoogleOther-оо
• бусад жижиг том AI стартапууд өөр өөрсдийн агент ботуудыг илгээж байв.

Хэрэв компани, хувь хөгжүүлэгч өөрийн өгөгдлийг AI трейнингэд оруулахгүй гэвэл robots.txt дотроо хэдэн арван мөр бүхий User-agent блок бичих шаардлагатай болж байлаа. Тэр дундаа шинэ гарсан crawler бүрийг цаг тухайд нь илрүүлж нэмэхгүй л бол таны мэдээллийн сан LLM-ийн бэлтгэл өгөгдөл болчих эрсдэл өндөр байв.

Шинэ стандартаар хөгжүүлэгчид ганцхан нэгдсэн токен (Policy Token буюу тусгай удирдамж)-ийг robots.txt-дээ оруулснаар, уг стандартыг хүлээн зөвшөөрсөн бүх AI компаниудын сургалтын ботуудыг зэрэг зогсоох боломжтой болно.

SEO унах уу? AI Training ба Grounding-ийн зааг ялгаа

Хөгжүүлэгчид болон маркетеруудын хувьд хамгийн эмзэг асуулт бол: "Би AI training-ийг хаачихвал Google, Bing дээрх манай органик хайлтын эрэмбэ (SEO) унах уу?" гэдэг байв.

Энэ шинэ стандартын хамгийн том давуу тал нь зорилгыг гурван тусдаа түвшинд салгаж өгсөнд байгаа юм:

1. AI Training (Сургалт): Суурь LLM загварыг (Foundation model) train/pre-train хийхэд вэбийн өгөгдлийг хуулж ашиглахыг бүрэн хориглоно.
2. AI Grounding / RAG: Жишээ нь, хэрэглэгч Microsoft Copilot эсвэл Gemini, SearchGPT-ээс ямар нэг зүйл асуухад уг загвар таны сайтын линкийг эх сурвалж болгон эш татаж, хариулах явц. Хэрэв хүсвэл үүнийг Training-ээс тусад нь зөвшөөрч эсвэл хориглож болно.
3. Web Search Indexing (Хайлт): Уламжлалт хайлтын системүүд (Googlebot, Bingbot) таны хуудсыг хэвийн индексжүүлж, SEO эрэмбэ болон хайлтын үр дүнд огтхон ч сөрөг нөлөө үзүүлэхгүй.

Өөрөөр хэлбэл, хөгжүүлэгч та хайлтын урсгалаа алдахгүйгээр зөвхөн хиймэл оюуны загвар бэлтгэх дата цуглуулалтыг хаах боломжтой болж байна.

Хэн, хэзээ нэвтрүүлж эхлэх вэ?

• Anthropic: Стандартыг анх боловсруулсан тул тэд өөрсдийн системдээ уг сигналыг шууд дэмжиж, ажиллаж эхэлснийг мэдэгдлээ.
• OpenAI: Ойрын хэдэн сарын дотор GPT crawler-ууддаа уг стандартыг бүрэн нэвтрүүлнэ гэв.
• Google & Microsoft: 2027 оны эхний хагас гэхэд Search Console болон Bing Webmaster Tools-ийн хэрэгслүүдтэйгээ уялдуулан, бүрэн дэмжиж ажиллахаа илэрхийллээ.
• Харин Meta? Meta уг санаачилгыг зарчмын хувьд дэмжиж буйгаа илэрхийлсэн ч одоогоор хэзээ бүрэн дагаж мөрдөх тухайгаа тодорхой зарлаагүй байна.

Вэб хөгжүүлэгчдийн анхааралд

Одоогийн байдлаар IETF дээрх техникийн дүрмийн хэлэлцүүлэг эцэслэж буй бөгөөд эхний хувилбараар __usage_ai-training болон тусгай зориулалтын Disallow токен ашиглахаар төлөвлөгдөж байна. Гэхдээ Google болон Microsoft-оос эцсийн синтакс бэлэн болтол одоо ажиллаж буй компани тус бүрийн дүрмүүдээ (Google-Extended, GPTBot гэх мэт) шууд устгахгүй байхыг сануулжээ.

Технологийн энэ том эвсэл нь нэг зүйлийг тодорхой харууллаа: нээлттэй вэбийн өгөгдлийг AI компаниуд зөвшөөрөлгүйгээр "бөөндөж сордог" үе дуусаж, вэб хөгжүүлэгч, эзэмшигчдэд өөрийн бүтээсэн өгөгдлийг удирдах, хамгаалах хяналтыг протоколын түвшинд буцаан өгөх бодит процесс эхэллээ.

---

Эх сурвалж: Google Search Central, SiliconANGLE, IETF AIPREF Draft Proposals.