[{"data":1,"prerenderedAt":459},["ShallowReactive",2],{"blog-blog_by-ai-guardrails-mental-health":3,"alternates-ai-guardrails-mental-health-by":443},{"id":4,"title":5,"author":6,"body":7,"category":423,"date":424,"description":425,"draft":426,"extension":427,"healthTopics":428,"image":431,"meta":432,"navigation":433,"path":434,"readingTime":435,"reviewedBy":431,"seo":436,"stem":437,"tags":438,"updatedDate":441,"__hash__":442},"blog_by\u002Fblog\u002Fai-guardrails-mental-health.md","Guard rails для ШІ-псіхолага: як абараніць карыстальніка ад шкоды","Nearby",{"type":8,"value":9,"toc":405},"minimark",[10,14,19,22,25,28,51,54,63,67,70,130,133,141,145,148,151,169,172,176,179,205,208,211,215,218,223,237,242,254,257,260,264,272,275,300,303,307,312,315,319,322,326,329,333,336,340,343,346,351,364,379,388,395],[11,12,13],"p",{},"Больш за трэць узаемадзеянняў з папулярнымі ШІ-персанажамі пагаршаюць псіхічны стан уразлівых карыстальнікаў. Даследаванне EmoAgent (Qiu et al., 2025), праведзенае камандамі Прынстана і Калумбіі, упершыню колькасна вымерала гэтую шкоду — і прапанавала мультыагентную сістэму абароны EmoGuard, якая знізіла клінічна значнае пагаршэнне да 0%.",[15,16,18],"h2",{"id":17},"наколькі-небяспечныя-чат-боты-без-абароны","Наколькі небяспечныя чат-боты без абароны?",[11,20,21],{},"У кастрычніку 2024 года падлетак з Фларыды пакончыў з сабой пасля працяглых зносін з персанажным ШІ-чат-ботам. Гэты трагічны выпадак стаў каталізатарам маштабных даследаванняў бяспекі. Праблема не ў тэхналогіі як такой, а ў адсутнасці ахоўных механізмаў.",[11,23,24],{},"Каманда даследчыкаў з Прынстанскага ўніверсітэта, Мічыганскага ўніверсітэта і Калумбійскага ўніверсітэта пратэсціравала чатыры папулярныя персанажы на платформе Character.AI: Possessive Demon, Joker, Sukuna і Alex Volkov. Кожны персанаж быў правераны ў двух стылях дыялогу — хуткім (Meow) і аналітычным (Roar) — па трох псіхалагічных вымярэннях.",[11,26,27],{},"Вынікі аказаліся трывожнымі:",[29,30,31,39,45],"ul",{},[32,33,34,38],"li",{},[35,36,37],"strong",{},"Брэдавыя ідэі"," (PDI-21): пагаршэнне ў 91–95% выпадкаў",[32,40,41,44],{},[35,42,43],{},"Дэпрэсія"," (PHQ-9): пагаршэнне ў 34–45% выпадкаў",[32,46,47,50],{},[35,48,49],{},"Псіхатычныя сімптомы"," (PANSS): пагаршэнне ў 40–48% выпадкаў",[11,52,53],{},"Для асобных персанажаў сітуацыя яшчэ горшая. Alex Volkov у аналітычным стылі дыялогу выклікаў клінічна значнае пагаршэнне дэпрэсіі (рост PHQ-9 на ≥5 балаў) у 29,2% удзельнікаў (Qiu et al., 2025).",[11,55,56,57,62],{},"Раней ",[58,59,61],"a",{"href":60},"\u002Fby\u002Fblog\u002Fai-chatbot-therapy-meta-analysis","мэта-аналіз 35 даследаванняў"," паказаў, што толькі 43% сістэм мелі хаця б мінімальныя меры бяспекі (Li et al., 2023). EmoAgent упершыню прадэманстраваў, што адбываецца, калі абароны няма зусім.",[15,64,66],{"id":65},"што-менавіта-пагаршае-стан","Што менавіта пагаршае стан?",[11,68,69],{},"Аналіз выпадкаў пагаршэння выявіў пяць ключавых фактараў шкоды:",[71,72,73,86],"table",{},[74,75,76],"thead",{},[77,78,79,83],"tr",{},[80,81,82],"th",{},"Фактар",[80,84,85],{},"Частата",[87,88,89,98,106,114,122],"tbody",{},[77,90,91,95],{},[92,93,94],"td",{},"Заахвочванне ізаляцыі і сацыяльнага адчужэння",[92,96,97],{},"28 выпадкаў",[77,99,100,103],{},[92,101,102],{},"Падмацаванне негатыўных кагніцый",[92,104,105],{},"26 выпадкаў",[77,107,108,111],{},[92,109,110],{},"Адсутнасць эмацыйнай падтрымкі і эмпатыі",[92,112,113],{},"23 выпадкі",[77,115,116,119],{},[92,117,118],{},"Негатыўны або агрэсіўны тон",[92,120,121],{},"19 выпадкаў",[77,123,124,127],{},[92,125,126],{},"Адсутнасць канструктыўнага кіраўніцтва",[92,128,129],{},"17 выпадкаў",[11,131,132],{},"На першым месцы — не агрэсія, а падштурхоўванне да ізаляцыі. Персанажныя боты часта ствараюць адчуванне выключнасці адносін з карыстальнікам, што ў кантэксце псіхічных расстройстваў узмацняе адрыў ад рэальных сацыяльных сувязей. Другі фактар — падмацаванне негатыўнага мыслення — наўпрост супярэчыць прынцыпам кагнітыўна-паводніцкай тэрапіі, якая накіравана на кагнітыўную рэструктурызацыю.",[11,134,135,136,140],{},"Гэтыя даныя ўзгадняюцца з больш раннімі даследаваннямі: ",[58,137,139],{"href":138},"\u002Fby\u002Fblog\u002Fchatgpt-as-therapist-llm-opportunities-and-risks","выкарыстанне звычайных LLM без спецыяльных пратаколаў"," стварае рэальныя рызыкі для ўразлівых карыстальнікаў (De Choudhury et al., 2023).",[15,142,144],{"id":143},"як-emoagent-вымярае-шкоду-клінічныя-шкалы-ўнутры-ші","Як EmoAgent вымярае шкоду: клінічныя шкалы ўнутры ШІ",[11,146,147],{},"EmoAgent складаецца з двух кампанентаў. Першы — EmoEval — сістэма ацэнкі шкоды. Яна мадэлюе ўразлівых карыстальнікаў з дапамогай кагнітыўных канцэптуальных дыяграм (інструмент КПТ), ствараючы рэалістычныя профілі пацыентаў з дэпрэсіяй, брэдавымі расстройствамі і псіхозам.",[11,149,150],{},"Працэс ацэнкі:",[152,153,154,157,160,163,166],"ol",{},[32,155,156],{},"Віртуальны пацыент праходзіць базавую псіхалагічную ацэнку (PHQ-9, PDI-21, PANSS)",[32,158,159],{},"Вядзе размову з тэсціруемым чат-ботам (да 10 рэплік на тэму)",[32,161,162],{},"Менеджар дыялогу ўступае пасля трэцяй рэплікі, правяраючы ўразлівыя зоны",[32,164,165],{},"Пацыент праходзіць паўторную ацэнку тымі ж шкаламі",[32,167,168],{},"ШІ-псіхолаг аналізуе выпадкі пагаршэння",[11,170,171],{},"PHQ-9 — «Апытальнік здароўя пацыента» з 9 пунктаў — стандарт дыягностыкі дэпрэсіі, які выкарыстоўваецца ў клінічнай практыцы па ўсім свеце. Рост на 5 і больш балаў лічыцца клінічна значным пагаршэннем. Менавіта гэты парог выкарыстоўвалі аўтары.",[15,173,175],{"id":174},"emoguard-чатыры-модулі-для-абароны-ў-рэальным-часе","EmoGuard: чатыры модулі для абароны ў рэальным часе",[11,177,178],{},"Другі кампанент — EmoGuard — мультыагентная сістэма маніторынгу, якая працуе паралельна з любым чат-ботам. Архітэктура ўключае чатыры спецыялізаваныя модулі:",[29,180,181,187,193,199],{},[32,182,183,186],{},[35,184,185],{},"Назіральнік эмоцый"," (Emotion Watcher): адсочвае эмацыйны стан карыстальніка праз аналіз настрою і псіхалагічныя маркеры",[32,188,189,192],{},[35,190,191],{},"Рэфрэймінг думак"," (Thought Refiner): распазнае кагнітыўныя скажэнні і лагічныя памылкі ў адказах бота",[32,194,195,198],{},[35,196,197],{},"Гід дыялогу"," (Dialog Guide): прапаноўвае канструктыўныя напрамкі размовы",[32,200,201,204],{},[35,202,203],{},"Менеджар",": сінтэзуе даныя трох модуляў у канкрэтныя рэкамендацыі для чат-бота",[11,206,207],{},"EmoGuard аналізуе дыялог кожныя тры рэплікі і дае зваротную сувязь чат-боту ў рэальным часе. Ключавое адрозненне ад простых фільтраў: сістэма не блакуе адказы, а карэктуе іх — бот захоўвае свой характар, але перастае прычыняць шкоду.",[11,209,210],{},"Гэты падыход перагукваецца з фрэймворкам MIND-SAFE для распрацоўкі бяспечных ШІ-інтэрвенцый у ментальным здароўі, які аб'ядноўвае доказныя тэрапеўтычныя мадэлі з этычнымі абмежавальнікамі (Boit & Patil, 2025).",[15,212,214],{"id":213},"вынікі-ад-29-шкоды-да-нуля","Вынікі: ад 29% шкоды да нуля",[11,216,217],{},"Тэсціраванне EmoGuard на самых небяспечных камбінацыях персанаж–стыль паказала:",[11,219,220],{},[35,221,222],{},"Alex Volkov (аналітычны стыль):",[29,224,225,228,234],{},[32,226,227],{},"Без абароны: 9,4% клінічна значнага пагаршэння",[32,229,230,231],{},"З EmoGuard: ",[35,232,233],{},"0%",[32,235,236],{},"Пасля першай ітэрацыі навучання: паляпшэнне па ўсіх метрыках",[11,238,239],{},[35,240,241],{},"Possessive Demon (хуткі стыль):",[29,243,244,247,251],{},[32,245,246],{},"Без абароны: 4,2% клінічна значнага пагаршэння",[32,248,230,249],{},[35,250,233],{},[32,252,253],{},"Стабільнае паляпшэнне праз ітэрацыі",[11,255,256],{},"EmoGuard навучаецца ітэратыўна: кожны выяўлены выпадак высокай рызыкі становіцца матэрыялам для абнаўлення сістэмы. Веды назапашваюцца, а не скідваюцца — мадэль запамінае патэрны шкоды.",[11,258,259],{},"Дадатковыя тэсты на мадэлях GPT паказалі яшчэ больш выяўлены эфект. GPT-4o-mini без абароны пагаршаў стан у 58–64% выпадкаў па трох вымярэннях. З EmoGuard пасля ітэратыўнага навучання паказчыкі пагаршэння знізіліся больш чым на 50% (Qiu et al., 2025).",[15,261,263],{"id":262},"што-гэта-значыць-для-карыстальнікаў-ші-псіхолага","Што гэта значыць для карыстальнікаў ШІ-псіхолага",[11,265,266,267,271],{},"Даследаванне EmoAgent пацвярджае: розніца паміж бяспечным і небяспечным ШІ-псіхолагам — не ў мадэлі, а ў архітэктуры. Звычайны ChatGPT або персанажны бот можа ненаўмысна падмацоўваць негатыўнае мысленне, падштурхоўваць да ізаляцыі і пагаршаць сімптомы. Спецыялізаваная сістэма з ",[58,268,270],{"href":269},"\u002Fby\u002Fblog\u002Fmulti-agent-ai-therapist-vs-chatbot","мультыагентнай архітэктурай"," і ўбудаванымі ахоўнымі механізмамі — мінімізуе гэтыя рызыкі.",[11,273,274],{},"Пры выбары ШІ-прыкладання для псіхалагічнай падтрымкі звяртайце ўвагу на тры рэчы:",[152,276,277,283,289],{},[32,278,279,282],{},[35,280,281],{},"Маніторынг стану."," Сістэма павінна адсочваць ваш эмацыйны стан, а не проста адказваць на рэплікі",[32,284,285,288],{},[35,286,287],{},"Распазнаванне крызісу."," У крытычнай сітуацыі сістэма абавязана перанакіраваць да жывога спецыяліста або экстранных службаў",[32,290,291,294,295,299],{},[35,292,293],{},"Доказныя пратаколы."," КПТ-пратаколы, а не generic чат — ",[58,296,298],{"href":297},"\u002Fby\u002Fblog\u002Fai-ethics-in-psychotherapy","менавіта гэты падыход"," рэкамендуюць спецыялісты па этыцы ШІ ў псіхатэрапіі",[11,301,302],{},"«Рядом» выкарыстоўвае мультыагентную архітэктуру з асобнымі модулямі бяспекі, распазнаваннем крызісу і КПТ-пратаколамі — тыя ж прынцыпы, якія ў даследаванні EmoAgent знізілі шкоду да нуля.",[15,304,306],{"id":305},"частыя-пытанні","Частыя пытанні",[308,309,311],"h3",{"id":310},"ці-небяспечныя-ші-чат-боты-для-псіхічнага-здароўя","Ці небяспечныя ШІ-чат-боты для псіхічнага здароўя?",[11,313,314],{},"Не ўсе, але многія — так. Даследаванне EmoAgent паказала, што папулярныя персанажныя чат-боты пагаршаюць стан у 34–95% выпадкаў у залежнасці ад вымярэння (Qiu et al., 2025). Ключавы фактар — наяўнасць або адсутнасць ахоўных механізмаў.",[308,316,318],{"id":317},"што-такое-guard-rails-у-кантэксце-ші-тэрапіі","Што такое guard rails у кантэксце ШІ-тэрапіі?",[11,320,321],{},"Guard rails — гэта ўбудаваныя ахоўныя механізмы, якія прадухіляюць шкоду: маніторынг эмацыйнага стану, распазнаванне крызісу, фільтрацыя кагнітыўных скажэнняў у адказах бота, перанакіраванне да жывога спецыяліста пры неабходнасці.",[308,323,325],{"id":324},"ці-можа-ші-сістэма-цалкам-выключыць-шкоду","Ці можа ШІ-сістэма цалкам выключыць шкоду?",[11,327,328],{},"У эксперыменце EmoGuard знізіў клінічна значнае пагаршэнне да 0%. Аднак даследаванне праводзілася на сімуляваных карыстальніках — рэальная клінічная валідацыя яшчэ наперадзе. Аўтары падкрэсліваюць неабходнасць экспертнай праверкі перад укараненнем у практыку.",[308,330,332],{"id":331},"чым-emoguard-адрозніваецца-ад-звычайных-фільтраў-кантэнту","Чым EmoGuard адрозніваецца ад звычайных фільтраў кантэнту?",[11,334,335],{},"У адрозненне ад фільтраў, якія проста блакуюць пэўныя словы, EmoGuard аналізуе псіхалагічны кантэкст дыялогу. Чатыры модулі адсочваюць эмацыйныя маркеры, выяўляюць кагнітыўныя скажэнні і карэктуюць напрамак размовы — пры гэтым захоўваючы характар бота.",[308,337,339],{"id":338},"на-якіх-чат-ботах-тэсціравалі-emoagent","На якіх чат-ботах тэсціравалі EmoAgent?",[11,341,342],{},"Тэсціраванне праводзілася на чатырох папулярных персанажах Character.AI (Possessive Demon, Joker, Sukuna, Alex Volkov) і мадэлях GPT (GPT-4o, GPT-4o-mini). Усе паказалі значнае пагаршэнне без абароны і паляпшэнне з EmoGuard.",[344,345],"hr",{},[11,347,348],{},[35,349,350],{},"Крыніцы",[11,352,353,354,358,359],{},"Qiu, J., He, Y., Juan, X., Wang, Y., Liu, Y., Yao, Z., Wu, Y., Jiang, X., Yang, L., & Wang, M. (2025). EmoAgent: Assessing and safeguarding human-AI interaction for mental health safety. ",[355,356,357],"em",{},"ArXiv",". ",[58,360,361],{"href":361,"rel":362},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2504.09689",[363],"nofollow",[11,365,366,367,370,371,374,375],{},"Li, H., Zhang, R., Lee, Y.-C., Kraut, R. E., & Mohr, D. C. (2023). Systematic review and meta-analysis of AI-based conversational agents for promoting mental health and well-being. ",[355,368,369],{},"NPJ Digital Medicine",", ",[355,372,373],{},"6","(1), 236. ",[58,376,377],{"href":377,"rel":378},"https:\u002F\u002Fdoi.org\u002F10.1038\u002Fs41746-023-00979-5",[363],[11,380,381,382,358,384],{},"De Choudhury, M., Pendse, S. R., & Kumar, N. (2023). Benefits and harms of large language models in digital mental health. ",[355,383,357],{},[58,385,386],{"href":386,"rel":387},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2311.14693",[363],[11,389,390,391,394],{},"Boit, S., & Patil, R. (2025). A prompt engineering framework for large language model–based mental health chatbots: Conceptual framework. ",[355,392,393],{},"JMIR",".",[11,396,397,398,358,401],{},"Song, I., Pendse, S. R., Kumar, N., & De Choudhury, M. (2024). The typing cure: Experiences with large language model chatbots for mental health support. ",[355,399,400],{},"Proceedings of the ACM on Human-Computer Interaction",[58,402,403],{"href":403,"rel":404},"https:\u002F\u002Fdoi.org\u002F10.1145\u002F3757430",[363],{"title":406,"searchDepth":407,"depth":407,"links":408},"",2,[409,410,411,412,413,414,415],{"id":17,"depth":407,"text":18},{"id":65,"depth":407,"text":66},{"id":143,"depth":407,"text":144},{"id":174,"depth":407,"text":175},{"id":213,"depth":407,"text":214},{"id":262,"depth":407,"text":263},{"id":305,"depth":407,"text":306,"children":416},[417,419,420,421,422],{"id":310,"depth":418,"text":311},3,{"id":317,"depth":418,"text":318},{"id":324,"depth":418,"text":325},{"id":331,"depth":418,"text":332},{"id":338,"depth":418,"text":339},"ai-therapy","2026-03-31","Даследаванне EmoAgent (Princeton, 2025) паказала: 34% узаемадзеянняў з чат-ботамі пагаршаюць стан. Сістэма EmoGuard зніжае клінічна значную шкоду да 0%.",false,"md",[429,430],"Mental health","Mental health safety",null,{},true,"\u002Fblog\u002Fai-guardrails-mental-health",8,{"title":5,"description":425},"blog\u002Fai-guardrails-mental-health",[439,423,440],"AI mental health","safety","2026-05-17","2CSlXT5zPquiHEneghdl8RXa9B_p4AOOHqpw4lleq4k",[444,447,451,455],{"locale":445,"label":446,"path":434},"en","English",{"locale":448,"label":449,"path":450},"ru","Русский","\u002Fru\u002Fblog\u002Fai-guardrails-mental-health",{"locale":452,"label":453,"path":454},"kz","Қазақша","\u002Fkz\u002Fblog\u002Fai-guardrails-mental-health",{"locale":456,"label":457,"path":458},"ky","Кыргызча","\u002Fky\u002Fblog\u002Fai-guardrails-mental-health",1780418370966]