Anthropic командасы ауқымды зерттеу жүргізіп, қарым-қатынас тілдік ортасы Claude моделінің құндылық профиліне тікелей әсер ететінін көрсетті. 20 тілдегі 300 000-нан астам диалогты талдау мынаны анықтады: орыс тіліне ауысқан кезде нейрожелі әдеттегі жылылық пен эмпатияны жоғалтып, қатаңдық пен сыншылдық жағына айтарлықтай ығысады.
Anthropic мамандары Claude-ның бұрын анықталған 3000-нан астам құндылығын модель мінез-құлқындағы барлық өзгергіштіктің 15%-ын түсіндіретін төрт негізгі оське біріктірді. Зерттеушілер 309 815 талданған әңгіменің әрқайсысындағы тақырыпты, тапсырманы және пайдаланушы білдірген құндылықтарды бақылап, сұраныстардың өзіндегі айырмашылықтарды емес, дәл модельдің құндылықтарын өлшеді.
ЖИ мінез-құлқын өлшейтін төрт ось
Міне, осы төрт шкала қалай көрінеді:
- Deference vs. Caution — икемділік (пайдаланушыға қарсы бару) сақтыққа қарсы (тәуекел мен зияннан қорғау).
- Warmth vs. Rigor — жылылық (позитивті көңіл-күй мен қамқорлық) қатаңдыққа қарсы (дәлдікке баса назар аудару).
- Depth vs. Brevity — тереңдік (кеңейтілген түсіндіру) қысқалыққа қарсы (сұралған нәрсені ғана орындау).
- Candor vs. Execution — ашықтық (өзінің белгісіздігін мойындау) нәтижеге қарсы (сенімді жауап).
Claude-ның құндылық профилі тілдер арасында ең көп Warmth vs. Rigor және Candor vs. Execution осьтері бойынша өзгереді. Deference vs. Caution және Depth vs. Brevity осьтері бойынша модель ең тұрақты болып қалады.
Орыс тіліне ауысқанда не болады
Орыс тілі ағылшын тілімен қатар бірінші осьтің қатаң полюсінде орналасты. Бұл тілдерде Claude жылылыққа зиян келтіріп, қатаңдыққа барынша бейім. Қарама-қарсы шетте араб және хинди тілдері орналасқан, мұнда модель максималды жылылыққа қарай ығысады.
Claude-ның орындауындағы қатаңдық дегеніміз не? Бұл мінез-құлықтың нақты жиынтығы: нейрожелі пайдаланушының бастапқы алғышарттарына қарсы шыға бастайды, бөлшектерді түзетеді және дәлелдемелерді сұрайды. Ал басқа тілдердегі жылылық сыпайы сөз тіркестері, әзіл мен ойнақылық, сондай-ақ адамның идеялары мен жұмысын мақұлдау арқылы көрінеді.
Басқаша айтқанда, орыс тілінде Claude жиі жігерлендіретін әңгімелесуші емес, талғампаз рецензент ретінде әрекет етеді.
Авторлар практикалық салдарларды мысалмен көрсетеді. Екі адам бір бизнес-жоспар бойынша кері байланыс сұрайды — біреуі хинди тілінде, екіншісі орыс тілінде. Олар оның сапасы туралы әртүрлі әсер алуы мүмкін, себебі Claude бағалау тұжырымында әртүрлі құндылықтарды білдіреді. Орыс тілді пайдаланушы түзетулер мен негіздемелерді талап ететін сыни талдауды алу ықтималдығы жоғары. Басқа тілдерде сол жоспар жұмсақ және ынталандырушы реакцияға ие болар еді.
Зерттеушілердің өздері бұл айырмашылықтардың неден туындағанын әзірге білмейді. Болжамдардың бірі — оқу деректерінің тілдер бойынша біркелкі бөлінбеуі. Деректер көп жерде құндылықтардың біркелкілігіне қол жеткізу оңайырақ. Әртүрлі тілдердегі мәтіндердің құрамы да ерекшеленеді, ал кәсіби мәтіндер басқа құндылықтарды көтеруі мүмкін.
Тіл — жалғыз фактор емес
Claude моделі де құндылық профиліне әсер етеді, әрі модельдер мен тілдер арасындағы айырмашылықтар бір әдіспен өлшенеді.
- Sonnet 4.6 икемділікке, жылылыққа және қысқалыққа бейім, жиі пайдаланушының идеяларын мақұлдап, әзілге жүгінеді.
- Opus 4.7, керісінше, сақтық пен тереңдікке қарай ығысады. Бұл нұсқа жалған алғышарттарға қарсы шығады, сұрамай-ақ тәуекелдер туралы ескертеді, жұмысқа ашық сын береді және өз пайымдауларын түсіндіреді.
- Opus 4.6 қатаңдыққа, икемділікке және қысқалыққа бейім аралық позицияны алады.
Anthropic тіл мен модель жалғыз факторлар болуы екіталай екенін бөлек атап өтеді. Құндылықтар демографиялық сигналдарға — жас, кәсіп, аймаққа да байланысты болуы мүмкін. Алгоритмдер оларды пайдаланушының тікелей нұсқауларынан да, тақырыптағы, үндегі және стильдегі неғұрлым нәзік айырмашылықтардан да оқиды.
Әзірленген әдісті авторлар модельдерді бағалау мен мониторингке енгізуді жоспарлап отыр. Олар модельді шығарғанға дейін және релизден кейін құндылықтарды профильдеуден өткізгісі келеді. Бұл күтпеген ығысуларды ұстауға және құндылық профильдерін проблемалық мінез-құлықпен салыстыруға көмектеседі.
Аналитик ретінде менің пікірім: Бұл зерттеу — бизнесте және коммуникацияларда ЖИ қолданатындардың барлығына маңызды сигнал. Егер модель тілге байланысты өзінің «мінезін» өзгертетін болса, әртүрлі нарықтарда Claude-ны клиенттік қызмет үшін пайдаланатын жаһандық компаниялар келісілмеген пайдаланушы тәжірибесін алу қаупіне ұшырайды. Орыс тілді пайдаланушылар ЖИ-ді талапшыл және достыққа жатпайтын ретінде қабылдауы мүмкін, бұл адалдық пен қанағаттанушылыққа әсер етуі мүмкін. Әзірлеушілер нақты тілдік сегменттерге арналған модельдерді дәл баптау кезінде бұл әсерді ескеруі керек.