[{"data":1,"prerenderedAt":459},["ShallowReactive",2],{"blog-blog_kz-ai-guardrails-mental-health":3,"alternates-ai-guardrails-mental-health-kz":443},{"id":4,"title":5,"author":6,"body":7,"category":423,"date":424,"description":425,"draft":426,"extension":427,"healthTopics":428,"image":431,"meta":432,"navigation":433,"path":434,"readingTime":435,"reviewedBy":431,"seo":436,"stem":437,"tags":438,"updatedDate":441,"__hash__":442},"blog_kz\u002Fblog\u002Fai-guardrails-mental-health.md","ЖИ-психолог үшін guard rails: пайдаланушыны зияннан қалай қорғауға болады","Nearby",{"type":8,"value":9,"toc":405},"minimark",[10,14,19,22,25,28,51,54,63,67,70,130,133,141,145,148,151,169,172,176,179,205,208,211,215,218,223,237,242,254,257,260,264,272,275,300,303,307,312,315,319,322,326,329,333,336,340,343,346,351,364,379,388,395],[11,12,13],"p",{},"Танымал ЖИ-кейіпкерлермен өзара әрекеттесулердің үштен бірінен астамы осал пайдаланушылардың психикалық жағдайын нашарлатады. Princeton мен Columbia командалары жүргізген EmoAgent зерттеуі (Qiu et al., 2025) бұл зиянды алғаш рет сандық тұрғыдан өлшеді — және клиникалық маңызды нашарлауды 0%-ға дейін төмендеткен EmoGuard мультиагенттік қорғаныс жүйесін ұсынды.",[15,16,18],"h2",{"id":17},"қорғанысы-жоқ-чатботтар-қаншалықты-қауіпті","Қорғанысы жоқ чатботтар қаншалықты қауіпті?",[11,20,21],{},"2024 жылдың қазанында Флоридадағы жасөспірім кейіпкерлік ЖИ-чатботпен ұзақ қарым-қатынастан кейін өзіне қол жұмсады. Бұл қасіретті оқиға ауқымды қауіпсіздік зерттеулерінің серпілісіне айналды. Мәселе технологияның өзінде емес, қорғаныс механизмдерінің жоқтығында.",[11,23,24],{},"Принстон, Мичиган және Колумбия университеттерінің зерттеушілер тобы Character.AI платформасындағы төрт танымал кейіпкерді тексерді: Possessive Demon, Joker, Sukuna және Alex Volkov. Әрбір кейіпкер диалогтың екі стилінде — жылдам (Meow) және аналитикалық (Roar) — үш психологиялық өлшем бойынша тексерілді.",[11,26,27],{},"Нәтижелер алаңдатарлық болды:",[29,30,31,39,45],"ul",{},[32,33,34,38],"li",{},[35,36,37],"strong",{},"Сандырақтық идеялар"," (PDI-21): жағдайлардың 91–95%-ында нашарлау",[32,40,41,44],{},[35,42,43],{},"Депрессия"," (PHQ-9): жағдайлардың 34–45%-ында нашарлау",[32,46,47,50],{},[35,48,49],{},"Психоздық белгілер"," (PANSS): жағдайлардың 40–48%-ында нашарлау",[11,52,53],{},"Кейбір кейіпкерлер үшін жағдай одан да қиын. Аналитикалық стильдегі Alex Volkov қатысушылардың 29,2%-ында клиникалық маңызды депрессия нашарлауын тудырды (PHQ-9-дың ≥5 баллға өсуі) (Qiu et al., 2025).",[11,55,56,57,62],{},"Бұған дейін ",[58,59,61],"a",{"href":60},"\u002Fkz\u002Fblog\u002Fai-chatbot-therapy-meta-analysis","35 зерттеудің мета-талдауы"," жүйелердің тек 43%-ында ең аз қауіпсіздік шаралары болғанын көрсеткен (Li et al., 2023). EmoAgent қорғаныс мүлдем болмаған жағдайда не болатынын алғаш рет көрсетті.",[15,64,66],{"id":65},"нақты-не-нашарлатады","Нақты не нашарлатады?",[11,68,69],{},"Нашарлау жағдайларын талдау зиянның бес негізгі факторын анықтады:",[71,72,73,86],"table",{},[74,75,76],"thead",{},[77,78,79,83],"tr",{},[80,81,82],"th",{},"Фактор",[80,84,85],{},"Жиілігі",[87,88,89,98,106,114,122],"tbody",{},[77,90,91,95],{},[92,93,94],"td",{},"Оқшаулану мен әлеуметтік алшақтықты ынталандыру",[92,96,97],{},"28 жағдай",[77,99,100,103],{},[92,101,102],{},"Теріс когницияларды күшейту",[92,104,105],{},"26 жағдай",[77,107,108,111],{},[92,109,110],{},"Эмоциялық қолдау мен эмпатияның жоқтығы",[92,112,113],{},"23 жағдай",[77,115,116,119],{},[92,117,118],{},"Теріс немесе агрессивті үн",[92,120,121],{},"19 жағдай",[77,123,124,127],{},[92,125,126],{},"Конструктивті бағыттаудың жоқтығы",[92,128,129],{},"17 жағдай",[11,131,132],{},"Бірінші орында агрессия емес, оқшаулануға итермелеу тұр. Кейіпкерлік боттар пайдаланушымен қарым-қатынастың ерекшелік сезімін жиі тудырады, бұл психикалық бұзылыстар контекстінде нақты әлеуметтік байланыстардан алшақтатуды күшейтеді. Екінші фактор — теріс ойлауды күшейту — когнитивті қайта құрылымдауға бағытталған когнитивті-мінез-құлықтық терапия қағидаларына тікелей қайшы келеді.",[11,134,135,136,140],{},"Бұл деректер бұрынғы зерттеулермен сәйкес келеді: ",[58,137,139],{"href":138},"\u002Fkz\u002Fblog\u002Fchatgpt-as-therapist-llm-opportunities-and-risks","арнайы хаттамаларсыз кәдімгі LLM пайдалану"," осал пайдаланушылар үшін нақты тәуекелдер тудырады (De Choudhury et al., 2023).",[15,142,144],{"id":143},"emoagent-зиянды-қалай-өлшейді-жи-ішіндегі-клиникалық-шкалалар","EmoAgent зиянды қалай өлшейді: ЖИ ішіндегі клиникалық шкалалар",[11,146,147],{},"EmoAgent екі компоненттен тұрады. Бірінші — EmoEval — зиянды бағалау жүйесі. Ол когнитивті тұжырымдамалық диаграммалар (КМТ құралы) арқылы осал пайдаланушыларды модельдейді, депрессиясы, сандырақтық бұзылыстары және психозы бар пациенттердің шынайы профильдерін жасайды.",[11,149,150],{},"Бағалау процесі:",[152,153,154,157,160,163,166],"ol",{},[32,155,156],{},"Виртуалды пациент базалық психологиялық бағалаудан өтеді (PHQ-9, PDI-21, PANSS)",[32,158,159],{},"Тексерілетін чатботпен әңгіме жүргізеді (тақырып бойынша 10 репликаға дейін)",[32,161,162],{},"Диалог менеджері үшінші репликадан кейін кіріседі, осал аймақтарды тексереді",[32,164,165],{},"Пациент сол шкалалармен қайта бағалаудан өтеді",[32,167,168],{},"ЖИ-психолог нашарлау жағдайларын талдайды",[11,170,171],{},"PHQ-9 — «Пациент денсаулығының сауалнамасы» 9 тармақтан тұрады — бүкіл әлемде клиникалық тәжірибеде қолданылатын депрессия диагностикасының стандарты. 5 және одан көп баллға өсу клиникалық маңызды нашарлау болып саналады. Авторлар дәл осы шекті қолданды.",[15,173,175],{"id":174},"emoguard-нақты-уақыттағы-қорғаныстың-төрт-модулі","EmoGuard: нақты уақыттағы қорғаныстың төрт модулі",[11,177,178],{},"Екінші компонент — EmoGuard — кез келген чатботпен қатар жұмыс істейтін мультиагенттік мониторинг жүйесі. Архитектурасы төрт мамандандырылған модульді қамтиды:",[29,180,181,187,193,199],{},[32,182,183,186],{},[35,184,185],{},"Эмоция бақылаушы"," (Emotion Watcher): көңіл-күй талдауы мен психологиялық маркерлер арқылы пайдаланушының эмоциялық жағдайын бақылайды",[32,188,189,192],{},[35,190,191],{},"Ойды қайта құрылымдау"," (Thought Refiner): боттың жауаптарындағы когнитивті бұрмалаулар мен логикалық қателерді анықтайды",[32,194,195,198],{},[35,196,197],{},"Диалог гиді"," (Dialog Guide): әңгіменің конструктивті бағыттарын ұсынады",[32,200,201,204],{},[35,202,203],{},"Менеджер",": үш модульдің деректерін чатботқа арналған нақты ұсыныстарға біріктіреді",[11,206,207],{},"EmoGuard диалогты әрбір үш репликада талдайды және чатботқа нақты уақытта кері байланыс береді. Қарапайым сүзгілерден басты айырмашылығы: жүйе жауаптарды бұғаттамайды, түзетеді — бот өз мінезін сақтайды, бірақ зиян келтіруді тоқтатады.",[11,209,210],{},"Бұл тәсіл психикалық денсаулықтағы қауіпсіз ЖИ-интервенцияларды әзірлеуге арналған MIND-SAFE фреймворкімен сәйкес келеді, ол дәлелдемелік терапевтік модельдерді этикалық шектеуіштермен біріктіреді (Boit & Patil, 2025).",[15,212,214],{"id":213},"нәтижелер-29-зияннан-нөлге-дейін","Нәтижелер: 29% зияннан нөлге дейін",[11,216,217],{},"EmoGuard-ты ең қауіпті кейіпкер-стиль комбинацияларында тексеру мынаны көрсетті:",[11,219,220],{},[35,221,222],{},"Alex Volkov (аналитикалық стиль):",[29,224,225,228,234],{},[32,226,227],{},"Қорғанысыз: 9,4% клиникалық маңызды нашарлау",[32,229,230,231],{},"EmoGuard-пен: ",[35,232,233],{},"0%",[32,235,236],{},"Бірінші итерациядан кейін: барлық көрсеткіштер бойынша жақсару",[11,238,239],{},[35,240,241],{},"Possessive Demon (жылдам стиль):",[29,243,244,247,251],{},[32,245,246],{},"Қорғанысыз: 4,2% клиникалық маңызды нашарлау",[32,248,230,249],{},[35,250,233],{},[32,252,253],{},"Итерациялар арқылы тұрақты жақсару",[11,255,256],{},"EmoGuard итеративті түрде оқиды: анықталған әрбір жоғары тәуекел жағдайы жүйені жаңарту материалына айналады. Білім жинақталады, қайта бастамайды — модель зиян паттерндерін есте сақтайды.",[11,258,259],{},"GPT модельдеріндегі қосымша тестілер одан да айқын нәтиже көрсетті. Қорғанысыз GPT-4o-mini үш өлшем бойынша жағдайлардың 58–64%-ында жағдайды нашарлатты. Итеративті оқытудан кейін EmoGuard-пен нашарлау көрсеткіштері 50%-дан астамға төмендеді (Qiu et al., 2025).",[15,261,263],{"id":262},"бұл-жи-психолог-пайдаланушылары-үшін-нені-білдіреді","Бұл ЖИ-психолог пайдаланушылары үшін нені білдіреді",[11,265,266,267,271],{},"EmoAgent зерттеуі растайды: қауіпсіз және қауіпті ЖИ-психологтың айырмашылығы модельде емес, архитектурада. Кәдімгі ChatGPT немесе кейіпкерлік бот байқамай теріс ойлауды күшейтуі, оқшаулануға итермелеуі және белгілерді ушықтыруы мүмкін. ",[58,268,270],{"href":269},"\u002Fkz\u002Fblog\u002Fmulti-agent-ai-therapist-vs-chatbot","Мультиагенттік архитектурасы"," мен кіріктірілген қорғаныс жүйесі бар мамандандырылған жүйе — бұл тәуекелдерді барынша азайтады.",[11,273,274],{},"Психологиялық қолдауға арналған ЖИ-қосымшаны таңдағанда үш нәрсеге назар аударыңыз:",[152,276,277,283,289],{},[32,278,279,282],{},[35,280,281],{},"Жағдайды мониторингілеу."," Жүйе сіздің эмоциялық жағдайыңызды бақылауы керек, репликаларға жай ғана жауап беруі емес",[32,284,285,288],{},[35,286,287],{},"Дағдарысты тану."," Сын сәтте жүйе тірі маманға немесе жедел қызметтерге бағыттауы міндет",[32,290,291,294,295,299],{},[35,292,293],{},"Дәлелдемелік хаттамалар."," КМТ-хаттамалары, generic чат емес — ",[58,296,298],{"href":297},"\u002Fkz\u002Fblog\u002Fai-ethics-in-psychotherapy","дәл осы тәсілді"," психотерапиядағы ЖИ этикасы мамандары ұсынады",[11,301,302],{},"«Рядом» жеке қауіпсіздік модульдері, дағдарысты тану және КМТ-хаттамалары бар мультиагенттік архитектураны пайдаланады — EmoAgent зерттеуінде зиянды нөлге дейін төмендеткен дәл сол қағидалар.",[15,304,306],{"id":305},"жиі-қойылатын-сұрақтар","Жиі қойылатын сұрақтар",[308,309,311],"h3",{"id":310},"жи-чатботтар-психикалық-денсаулыққа-қауіпті-ме","ЖИ-чатботтар психикалық денсаулыққа қауіпті ме?",[11,313,314],{},"Барлығы емес, бірақ көбісі — иә. EmoAgent зерттеуі танымал кейіпкерлік чатботтардың өлшемге байланысты жағдайлардың 34–95%-ында жағдайды нашарлататынын көрсетті (Qiu et al., 2025). Негізгі фактор — қауіпсіздік механизмдерінің бар-жоғы.",[308,316,318],{"id":317},"жи-терапия-контекстіндегі-guard-rails-дегеніміз-не","ЖИ-терапия контекстіндегі guard rails дегеніміз не?",[11,320,321],{},"Guard rails — зиянды болдырмайтын кіріктірілген қорғаныс механизмдері: эмоциялық жағдайды мониторингілеу, дағдарысты тану, боттың жауаптарындағы когнитивті бұрмалауларды сүзу, қажет болғанда тірі маманға бағыттау.",[308,323,325],{"id":324},"жи-жүйе-зиянды-толығымен-жоя-ала-ма","ЖИ-жүйе зиянды толығымен жоя ала ма?",[11,327,328],{},"Эксперименттте EmoGuard клиникалық маңызды нашарлауды 0%-ға дейін төмендетті. Алайда зерттеу симуляцияланған пайдаланушыларда жүргізілді — нақты клиникалық валидация әлі алда. Авторлар тәжірибеге енгізу алдында сарапшылық тексерудің қажеттілігін баса айтады.",[308,330,332],{"id":331},"emoguard-кәдімгі-контент-сүзгілерінен-немен-ерекшеленеді","EmoGuard кәдімгі контент сүзгілерінен немен ерекшеленеді?",[11,334,335],{},"Белгілі бір сөздерді жай ғана бұғаттайтын сүзгілерден айырмашылығы, EmoGuard диалогтың психологиялық контекстін талдайды. Төрт модуль эмоциялық маркерлерді бақылайды, когнитивті бұрмалауларды анықтайды және әңгіменің бағытын түзетеді — бұл ретте боттың мінезін сақтайды.",[308,337,339],{"id":338},"emoagent-қандай-чатботтарда-тексерілді","EmoAgent қандай чатботтарда тексерілді?",[11,341,342],{},"Тестілеу Character.AI-дің төрт танымал кейіпкерінде (Possessive Demon, Joker, Sukuna, Alex Volkov) және GPT модельдерінде (GPT-4o, GPT-4o-mini) жүргізілді. Барлығы қорғанысыз маңызды нашарлау көрсетті, ал EmoGuard-пен жақсару байқалды.",[344,345],"hr",{},[11,347,348],{},[35,349,350],{},"Дереккөздер",[11,352,353,354,358,359],{},"Qiu, J., He, Y., Juan, X., Wang, Y., Liu, Y., Yao, Z., Wu, Y., Jiang, X., Yang, L., & Wang, M. (2025). EmoAgent: Assessing and safeguarding human-AI interaction for mental health safety. ",[355,356,357],"em",{},"ArXiv",". ",[58,360,361],{"href":361,"rel":362},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2504.09689",[363],"nofollow",[11,365,366,367,370,371,374,375],{},"Li, H., Zhang, R., Lee, Y.-C., Kraut, R. E., & Mohr, D. C. (2023). Systematic review and meta-analysis of AI-based conversational agents for promoting mental health and well-being. ",[355,368,369],{},"NPJ Digital Medicine",", ",[355,372,373],{},"6","(1), 236. ",[58,376,377],{"href":377,"rel":378},"https:\u002F\u002Fdoi.org\u002F10.1038\u002Fs41746-023-00979-5",[363],[11,380,381,382,358,384],{},"De Choudhury, M., Pendse, S. R., & Kumar, N. (2023). Benefits and harms of large language models in digital mental health. ",[355,383,357],{},[58,385,386],{"href":386,"rel":387},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2311.14693",[363],[11,389,390,391,394],{},"Boit, S., & Patil, R. (2025). A prompt engineering framework for large language model–based mental health chatbots: Conceptual framework. ",[355,392,393],{},"JMIR",".",[11,396,397,398,358,401],{},"Song, I., Pendse, S. R., Kumar, N., & De Choudhury, M. (2024). The typing cure: Experiences with large language model chatbots for mental health support. ",[355,399,400],{},"Proceedings of the ACM on Human-Computer Interaction",[58,402,403],{"href":403,"rel":404},"https:\u002F\u002Fdoi.org\u002F10.1145\u002F3757430",[363],{"title":406,"searchDepth":407,"depth":407,"links":408},"",2,[409,410,411,412,413,414,415],{"id":17,"depth":407,"text":18},{"id":65,"depth":407,"text":66},{"id":143,"depth":407,"text":144},{"id":174,"depth":407,"text":175},{"id":213,"depth":407,"text":214},{"id":262,"depth":407,"text":263},{"id":305,"depth":407,"text":306,"children":416},[417,419,420,421,422],{"id":310,"depth":418,"text":311},3,{"id":317,"depth":418,"text":318},{"id":324,"depth":418,"text":325},{"id":331,"depth":418,"text":332},{"id":338,"depth":418,"text":339},"ai-therapy","2026-03-31","EmoAgent зерттеуі (Princeton, 2025) көрсетті: чатботтармен өзара әрекеттесулердің 34%-ы жағдайды нашарлатады. EmoGuard жүйесі клиникалық маңызды зиянды 0%-ға дейін төмендетеді.",false,"md",[429,430],"Mental health","Mental health safety",null,{},true,"\u002Fblog\u002Fai-guardrails-mental-health",8,{"title":5,"description":425},"blog\u002Fai-guardrails-mental-health",[439,423,440],"AI mental health","safety","2026-05-17","w8v3wl15RKCcsNJYNoEy93NVyOA3VW4OxJKYsdMpLIw",[444,447,451,455],{"locale":445,"label":446,"path":434},"en","English",{"locale":448,"label":449,"path":450},"ru","Русский","\u002Fru\u002Fblog\u002Fai-guardrails-mental-health",{"locale":452,"label":453,"path":454},"ky","Кыргызча","\u002Fky\u002Fblog\u002Fai-guardrails-mental-health",{"locale":456,"label":457,"path":458},"by","Беларуская","\u002Fby\u002Fblog\u002Fai-guardrails-mental-health",1780418368804]