Текстэнд үл үзэгдэх код шингээх нь: Anthropic Claude-ийн шинэ Watermark алгоритм ба түүний цаадах математик
Генератив хиймэл оюуны салбарт хамгийн их хүлээгдэж байсан бас маргаантай сэдвүүдийн нэг бол "AI-аар үүсгэсэн контент, кодыг хэрхэн найдвартай ялгах вэ?" гэдэг асуудал юм. Anthropic компани өөрсдийн Claude загварын үүсгэсэн бүх текст болон өгөгдөлд үл үзэгдэх, алгоритмаар шууд уншигдах дижитал тамга буюу Machine-readable Watermark-ийг албан ёсоор суулгаж эхэлснээ зарлалаа.
Энэхүү өөрчлөлт нь Европын Холбооны EU AI Act-ийн 50-р заалтын шаардлагатай холбоотой хэдий ч Anthropic үүнийг зөвхөн Европт бус, өөрсдийн вэб апп, API, Claude Code болон үүлэн платформуудаар дамжих бүх урсгалд глобал байдлаар нэвтрүүлж байна.
Тэгвэл энэ технологи хэрхэн ажилладаг вэ? Программ хангамж болон текстийн чанарт сөргөөр нөлөөлөх үү?
1. Техникийн хувьд хэрхэн ажилладаг вэ? (Token Sampling & Pseudo-random Modulation)
Олон хөгжүүлэгч "текстэд watermark суулгана" гэхээр үл үзэгдэх тэмдэгт (Zero-Width Characters) эсвэл мета өгөгдөл (metadata) хавсаргаж байгаа мэтээр төсөөлдөг. Гэвч ийм өгөгдөл нь текстийг хуулж тавихад (copy-paste) эсвэл код засварлахад амархан арилдаг сул талтай.
Anthropic-ийн хэрэгжүүлсэн арга нь Токен сонголтын магадлалын математик тархалтад тулгуурладаг:
- Next-Token Prediction: LLM загварууд өгүүлбэрийн дараагийн үгийг таамаглахдаа боломжит токенуудад магадлалын тархалт (probability distribution) оноодог.
- Low-Stakes сонголт: Зарим тохиолдолд хоёр өөр токен утгын хувьд бараг ижил (жишээ нь: "overcast" эсвэл "grey") байх ба энэ үед систем псевдо-санамсаргүй тооны генератор (PRNG) ашиглан нэгийг нь сонгодог.
- Статистик кодчилол: Anthropic нь бүрэн санамсаргүй сонголт хийхийн оронд тусгай нууцлал бүхий псевдо-санамсаргүй алгоритмаар дарааллыг бага зэрэг чиглүүлдэг.
Үр дүнд нь текстийн утга, өгүүлбэрийн бүтэц, логик огтхон ч алдагдахгүй боловч үүссэн текстийн токенуудын сонголт статистик анализийн түвшинд тодорхой хэв шинжийг (signature) агуулж үлддэг. Текстийг өөр газар хуулж тавих, markdown файл болгон хадгалах үед ч энэхүү шинж чанар хадгалагдсаар байна.
2. Зардал болон хурдад нөлөөлөх үү?
Хөгжүүлэгчдийн хамгийн түрүүнд асуух зүйл бол latency болон token cost. Anthropic-ийн мэдээлснээр:
- Нэмэлт токен шаардагдахгүй: Гаралтын хэмжээнд илүү үг, тэмдэгт нэмэгдэхгүй тул API үнийн дүнд ямар ч өөрчлөлт орохгүй.
- Latency-д нөлөөгүй: Токен сонголтын логик inference шатанд математик байдлаар маш хурдан гүйцэтгэгддэг тул хариу өгөх хугацаа (TTFT болон overall TPS) удаашрахгүй.
- Хувийн нууцлал: Watermark нь зөвхөн "Энэ текстийг Claude үүсгэсэн үү?" гэдгийг тодорхойлохоос биш, хэн гэдэг хэрэглэгч, аль төсөл дээр үүсгэсэн талаарх хувийн мэдээллийг шингээхгүй.
Мөн зураг, SVG, график файлуудын хувьд нээлттэй C2PA (Coalition for Content Provenance and Authenticity) стандартын дижитал гарын үсэгтэй мета өгөгдлийг хамтатган суулгаж байна.
3. "Model Collapse"-оос сэргийлэх далд ач холбогдол
Энэхүү шинэчлэл нь зөвхөн хуулийн зохицуулалтыг дагах төдий биш юм. Өнөөдөр интернэт дэх нийт контент болон нээлттэй эхийн кодын ихээхэн хувь нь хиймэл оюунаар үүсгэгдсэн текстээр дүүрч байна.
Судлаачдын хамгийн их санаа зовж буй асуудал бол Model Collapse буюу хиймэл оюуны үүсгэсэн өгөгдөл дээр дахин шинэ загвар сургаснаар загварын чанар эрс муудаж, хийсвэрлэл (hallucination) хяналтгүй нэмэгдэх явдал юм.
Машинд уншигдах найдвартай watermark бий болсноор ирээдүйн өгөгдөл цуглуулах crawler-ууд синтетик өгөгдлийг ялгаж, dataset cleaning хийхэд асар том тус дэм болох юм.
4. Хөгжүүлэгчид юуг анхаарах ёстой вэ?
Хэрэв та Claude API, Claude Code болон Bedrock, Google Cloud, Azure зэрэг үүлэн дэд бүтцээр дамжуулан системдээ Claude-ийг ашиглаж байгаа бол дараах зүйлсийг тооцоолох хэрэгтэй:
- Detector Tools: Anthropic ойрын хугацаанд watermark шалгах open/closed детектор хэрэгслүүдийг нийтэд зарлана. Үүнийг контентын модераци, хууль эрх зүйн баталгаажуулалт, код шалгах системдээ шууд интеграц хийх боломжтой.
- Paraphrase ба Heavy Refactoring: Хэрэв үүсгэсэн текстийг хүн гар аргаар гүнзгий өөрчлөх, олон эх сурвалжтай холих, эсвэл маш богино фрагмент (хэдхэн үгтэй функц г.м) үлдээхэд watermark-ийн статистик найдвартай байдал буурна.
- Enterprise Compliance: Байгууллагын түвшний системүүдэд AI-generated өгөгдлийг audit хийхэд уг стандарт тус болох бөгөөд аюулгүй байдал, хариуцлагын шинэ шаардлагуудад нийцэхэд хялбар болно.
Дүгнэлт
Хиймэл оюуны загварууд өдөр тутмын кодчлол, автоматжуулалтын салшгүй хэсэг болсон энэ цаг үед ил тод байдал, өгөгдлийн гарал үүслийг баталгаажуулах механизм улам бүр чухал болж байна. Anthropic-ийн нэвтрүүлсэн токен тархалтын watermark нь текстийн чанарыг бууруулахгүйгээр ухаалгаар шийдсэн инженерчлэлийн сонирхолтой жишээ боллоо.
Эх сурвалж: Anthropic Engineering & Policy Blog, The Guardian Tech
Сэтгэгдэл
Ачаалж байна...