"Нэг мөрөөр бүгдийг зогсооно": Google, OpenAI, Microsoft, Anthropic нар AI Crawler-ийн нэгдсэн стандартыг зарлалаа
Вэб хөгжүүлэгчид өөрсдийн контентоо хиймэл оюуны сургалтад ашиглуулахгүй байхын тулд бот тус бүрийг robots.txt дээр гараар хаадаг цаг ард хоцорлоо. Технологийн акулууд IETF-ийн нэгдсэн стандартыг дэмжихээр нэгдэв.