Қарым-қатынас тілін өзгерту Claude нейрожелісінің тек сөздік қорын ғана емес, сонымен бірге оның құндылықтар жүйесін де түбегейлі өзгертеді. Әзірлеушілер жүргізген ауқымды зерттеу көрсеткендей: орыс тіліндегі нұсқада модель айтарлықтай қатал және сыншыл сипатқа ие болады, мысалы, араб немесе хинди тілдеріне тән әдеттегі жылылық пен эмпатияны жоғалтады.
Аналитиктер Claude-ның 3000-нан астам анықталған құндылық бағдарларын төрт негізгі мінез-құлық осіне келтірді. Бұл осьтер — Икемділік vs. Сақтық, Жылылық vs. Қаталдық, Тереңдік vs. Қысқалық және Ашықтық vs. Нәтижелілік — модель жауаптарындағы барлық өзгергіштіктің 15% түсіндіреді. Тәжірибенің тазалығы үшін талданған 309 815 диалогтың әрқайсысында пайдаланушы қойған тақырып, тапсырма және құндылықтар бақыланды.
ЖИ мінез-құлқын өлшеудің төрт осі
Claude профиліндегі ең күрт өзгерістер дәл «Жылылық vs. Қаталдық» және «Ашықтық vs. Нәтижелілік» осьтерінде орын алады. Дәл осы жерде орыс тілі шеткі позицияны алды. Ағылшын тілімен жұптасқанда, орыс тіліндегі Claude жылылыққа зиян келтіре отырып, қаталдыққа максималды бейімділік көрсетеді. Қарама-қарсы полюсте — араб және хинди тілдері, мұнда модель жылылық пен қолдауға барынша ығысқан.
Бұл іс жүзінде нені білдіреді? Орыс тіліндегі Claude-ның қаталдығы — бұл мінез-құлық үлгілерінің нақты жиынтығы: нейрожелі пайдаланушының бастапқы алғышарттарына қарсы шыға бастайды, бөлшектерді түзетеді және дәлелдемелерді талап етеді. Ал басқа тілдерде көрінетін жылылық сыпайы тұжырымдар, әзіл, ойнақылық және әңгімелесушінің идеяларын мақұлдау арқылы көрінеді. Басқаша айтқанда, орыс тіліндегі Claude жігерлендіретін әңгімелесуші емес, талғампаз рецензент сияқты әрекет етеді.
Зерттеу авторлары мұндай алшақтықтың себебін дәл анықтай алмай отыр. Негізгі гипотеза — оқыту деректерінің тілдер бойынша біркелкі бөлінбеуі. Деректер көп жерде құндылықтардың біркелкілігіне қол жеткізу оңайырақ. Сонымен қатар, әртүрлі тілдердегі мәтіндердің құрамы да ерекшеленеді: орыс тілді сегментте басым болатын кәсіби және академиялық корпустар басқа құндылық жүктемелерін алып жүруі мүмкін.
Anthropic әзірлеген құндылықтарды профильдеу әдісін барлық болашақ модельдерді — релизге дейін және одан кейін — бағалау мен мониторингке енгізуді жоспарлап отыр. Бұл күтпеген өзгерістерді анықтауға және оларды проблемалық мінез-құлықпен салыстыруға мүмкіндік береді. Ал бүгінгі күннің басты қорытындысы айқын: Claude-ның құндылықтары әзірлеушілер әдейі таңдамаған тәсілдермен ерекшеленеді және компания бұл өзгергіштікпен тығыз айналысуды көздейді.
Сарапшының пікірі: Бұл зерттеу — бүкіл сала үшін дабыл қоңырауы. Егер орыс тіліндегі ЖИ-көмекші жүйелі түрде сын мен қаталдыққа бейім болса, бұл пайдаланушылардың өнім сапасын қабылдауын бұрмалауы және орыс тілді қауымдастық үшін тең емес жағдайлар жасауы мүмкін. Мәселе тілдің өзінде емес, оқыту деректерінің сапасы мен құрылымында. Ал Anthropic бұл мәселемен айналысып жатқанда, пайдаланушылар мынаны ескеруі керек: олардың орыс тіліндегі сұрауы қолдаумен емес, қатаң талдаумен қарсы алынуы мүмкін.