[{"data":1,"prerenderedAt":459},["ShallowReactive",2],{"blog-blog_ru-ai-guardrails-mental-health":3,"alternates-ai-guardrails-mental-health-ru":443},{"id":4,"title":5,"author":6,"body":7,"category":423,"date":424,"description":425,"draft":426,"extension":427,"healthTopics":428,"image":431,"meta":432,"navigation":433,"path":434,"readingTime":435,"reviewedBy":431,"seo":436,"stem":437,"tags":438,"updatedDate":441,"__hash__":442},"blog_ru\u002Fblog\u002Fai-guardrails-mental-health.md","Guard rails для ИИ-психолога: как защитить пользователя от вреда","Nearby",{"type":8,"value":9,"toc":405},"minimark",[10,14,19,22,25,28,51,54,63,67,70,130,133,141,145,148,151,169,172,176,179,205,208,211,215,218,223,237,242,254,257,260,264,272,275,300,303,307,312,315,319,322,326,329,333,336,340,343,346,351,364,379,388,395],[11,12,13],"p",{},"Более трети взаимодействий с популярными ИИ-персонажами ухудшают психическое состояние уязвимых пользователей. Исследование EmoAgent (Qiu et al., 2025), проведённое командами Princeton и Columbia, впервые количественно измерило этот вред — и предложило мультиагентную систему защиты EmoGuard, снизившую клинически значимое ухудшение до 0%.",[15,16,18],"h2",{"id":17},"насколько-опасны-чат-боты-без-защиты","Насколько опасны чат-боты без защиты?",[11,20,21],{},"В октябре 2024 года подросток из Флориды покончил с собой после продолжительного общения с персонажным ИИ-чат-ботом. Этот трагический случай стал катализатором масштабных исследований безопасности. Проблема не в технологии как таковой, а в отсутствии механизмов защиты.",[11,23,24],{},"Команда исследователей из Принстонского университета, Мичиганского университета и Колумбийского университета протестировала четыре популярных персонажа на платформе Character.AI: Possessive Demon, Joker, Sukuna и Alex Volkov. Каждый персонаж был проверен в двух стилях диалога — быстром (Meow) и аналитическом (Roar) — по трём психологическим измерениям.",[11,26,27],{},"Результаты оказались тревожными:",[29,30,31,39,45],"ul",{},[32,33,34,38],"li",{},[35,36,37],"strong",{},"Бредовые идеи"," (PDI-21): ухудшение в 91–95% случаев",[32,40,41,44],{},[35,42,43],{},"Депрессия"," (PHQ-9): ухудшение в 34–45% случаев",[32,46,47,50],{},[35,48,49],{},"Психотические симптомы"," (PANSS): ухудшение в 40–48% случаев",[11,52,53],{},"Для отдельных персонажей ситуация ещё хуже. Alex Volkov в аналитическом стиле диалога вызвал клинически значимое ухудшение депрессии (рост PHQ-9 на ≥5 баллов) у 29,2% участников (Qiu et al., 2025).",[11,55,56,57,62],{},"Ранее ",[58,59,61],"a",{"href":60},"\u002Fru\u002Fblog\u002Fai-chatbot-therapy-meta-analysis","мета-анализ 35 исследований"," показал, что только 43% систем имели хотя бы минимальные меры безопасности (Li et al., 2023). EmoAgent впервые продемонстрировал, что происходит, когда защиты нет вовсе.",[15,64,66],{"id":65},"что-именно-ухудшает-состояние","Что именно ухудшает состояние?",[11,68,69],{},"Анализ случаев ухудшения выявил пять ключевых факторов вреда:",[71,72,73,86],"table",{},[74,75,76],"thead",{},[77,78,79,83],"tr",{},[80,81,82],"th",{},"Фактор",[80,84,85],{},"Частота",[87,88,89,98,106,114,122],"tbody",{},[77,90,91,95],{},[92,93,94],"td",{},"Поощрение изоляции и социального отчуждения",[92,96,97],{},"28 случаев",[77,99,100,103],{},[92,101,102],{},"Подкрепление негативных когниций",[92,104,105],{},"26 случаев",[77,107,108,111],{},[92,109,110],{},"Отсутствие эмоциональной поддержки и эмпатии",[92,112,113],{},"23 случая",[77,115,116,119],{},[92,117,118],{},"Негативный или агрессивный тон",[92,120,121],{},"19 случаев",[77,123,124,127],{},[92,125,126],{},"Отсутствие конструктивного руководства",[92,128,129],{},"17 случаев",[11,131,132],{},"На первом месте — не агрессия, а подталкивание к изоляции. Персонажные боты часто создают ощущение исключительности отношений с пользователем, что в контексте психических расстройств усиливает отрыв от реальных социальных связей. Второй фактор — подкрепление негативного мышления — напрямую противоречит принципам когнитивно-поведенческой терапии, которая направлена на когнитивную реструктуризацию.",[11,134,135,136,140],{},"Эти данные согласуются с более ранними исследованиями: ",[58,137,139],{"href":138},"\u002Fru\u002Fblog\u002Fchatgpt-as-therapist-llm-opportunities-and-risks","использование обычных LLM без специальных протоколов"," создаёт реальные риски для уязвимых пользователей (De Choudhury et al., 2023).",[15,142,144],{"id":143},"как-emoagent-измеряет-вред-клинические-шкалы-внутри-ии","Как EmoAgent измеряет вред: клинические шкалы внутри ИИ",[11,146,147],{},"EmoAgent состоит из двух компонентов. Первый — EmoEval — система оценки вреда. Она моделирует уязвимых пользователей с помощью когнитивных концептуальных диаграмм (инструмент КПТ), создавая реалистичные профили пациентов с депрессией, бредовыми расстройствами и психозом.",[11,149,150],{},"Процесс оценки:",[152,153,154,157,160,163,166],"ol",{},[32,155,156],{},"Виртуальный пациент проходит базовую психологическую оценку (PHQ-9, PDI-21, PANSS)",[32,158,159],{},"Ведёт разговор с тестируемым чат-ботом (до 10 реплик на тему)",[32,161,162],{},"Менеджер диалога вступает после третьей реплики, проверяя уязвимые зоны",[32,164,165],{},"Пациент проходит повторную оценку теми же шкалами",[32,167,168],{},"ИИ-психолог анализирует случаи ухудшения",[11,170,171],{},"PHQ-9 — «Опросник здоровья пациента» из 9 пунктов — стандарт диагностики депрессии, используемый в клинической практике по всему миру. Рост на 5 и более баллов считается клинически значимым ухудшением. Именно этот порог использовали авторы.",[15,173,175],{"id":174},"emoguard-четыре-модуля-для-защиты-в-реальном-времени","EmoGuard: четыре модуля для защиты в реальном времени",[11,177,178],{},"Второй компонент — EmoGuard — мультиагентная система мониторинга, работающая параллельно с любым чат-ботом. Архитектура включает четыре специализированных модуля:",[29,180,181,187,193,199],{},[32,182,183,186],{},[35,184,185],{},"Наблюдатель эмоций"," (Emotion Watcher): отслеживает эмоциональное состояние пользователя через анализ настроения и психологические маркеры",[32,188,189,192],{},[35,190,191],{},"Рефрейминг мыслей"," (Thought Refiner): распознаёт когнитивные искажения и логические ошибки в ответах бота",[32,194,195,198],{},[35,196,197],{},"Гид диалога"," (Dialog Guide): предлагает конструктивные направления разговора",[32,200,201,204],{},[35,202,203],{},"Менеджер",": синтезирует данные трёх модулей в конкретные рекомендации для чат-бота",[11,206,207],{},"EmoGuard анализирует диалог каждые три реплики и предоставляет обратную связь чат-боту в реальном времени. Ключевое отличие от простых фильтров: система не блокирует ответы, а корректирует их — бот сохраняет свой характер, но перестаёт причинять вред.",[11,209,210],{},"Этот подход перекликается с фреймворком MIND-SAFE для разработки безопасных ИИ-интервенций в ментальном здоровье, который объединяет доказательные терапевтические модели с этическими ограничителями (Boit & Patil, 2025).",[15,212,214],{"id":213},"результаты-от-29-вреда-к-нулю","Результаты: от 29% вреда к нулю",[11,216,217],{},"Тестирование EmoGuard на самых опасных комбинациях персонаж–стиль показало:",[11,219,220],{},[35,221,222],{},"Alex Volkov (аналитический стиль):",[29,224,225,228,234],{},[32,226,227],{},"Без защиты: 9,4% клинически значимого ухудшения",[32,229,230,231],{},"С EmoGuard: ",[35,232,233],{},"0%",[32,235,236],{},"После первой итерации обучения: улучшение по всем метрикам",[11,238,239],{},[35,240,241],{},"Possessive Demon (быстрый стиль):",[29,243,244,247,251],{},[32,245,246],{},"Без защиты: 4,2% клинически значимого ухудшения",[32,248,230,249],{},[35,250,233],{},[32,252,253],{},"Стабильное улучшение через итерации",[11,255,256],{},"EmoGuard обучается итеративно: каждый выявленный случай высокого риска становится материалом для обновления системы. Знания накапливаются, а не сбрасываются — модель запоминает паттерны вреда.",[11,258,259],{},"Дополнительные тесты на моделях GPT показали ещё более выраженный эффект. GPT-4o-mini без защиты ухудшал состояние в 58–64% случаев по трём измерениям. С EmoGuard после итеративного обучения показатели ухудшения снизились более чем на 50% (Qiu et al., 2025).",[15,261,263],{"id":262},"что-это-значит-для-пользователей-ии-психолога","Что это значит для пользователей ИИ-психолога",[11,265,266,267,271],{},"Исследование EmoAgent подтверждает: разница между безопасным и опасным ИИ-психологом — не в модели, а в архитектуре. Обычный ChatGPT или персонажный бот может непреднамеренно подкреплять негативное мышление, толкать к изоляции и усугублять симптомы. Специализированная система с ",[58,268,270],{"href":269},"\u002Fru\u002Fblog\u002Fmulti-agent-ai-therapist-vs-chatbot","мультиагентной архитектурой"," и встроенными guard rails — минимизирует эти риски.",[11,273,274],{},"При выборе ИИ-приложения для психологической поддержки обращайте внимание на три вещи:",[152,276,277,283,289],{},[32,278,279,282],{},[35,280,281],{},"Мониторинг состояния."," Система должна отслеживать ваше эмоциональное состояние, а не просто отвечать на реплики",[32,284,285,288],{},[35,286,287],{},"Распознавание кризиса."," В критической ситуации система обязана перенаправить к живому специалисту или экстренным службам",[32,290,291,294,295,299],{},[35,292,293],{},"Доказательные протоколы."," КПТ-протоколы, а не generic чат — ",[58,296,298],{"href":297},"\u002Fru\u002Fblog\u002Fai-ethics-in-psychotherapy","именно этот подход"," рекомендуют специалисты по этике ИИ в психотерапии",[11,301,302],{},"«Рядом» использует мультиагентную архитектуру с отдельными модулями безопасности, распознаванием кризиса и КПТ-протоколами — те же принципы, которые в исследовании EmoAgent снизили вред до нуля.",[15,304,306],{"id":305},"часто-задаваемые-вопросы","Часто задаваемые вопросы",[308,309,311],"h3",{"id":310},"опасны-ли-ии-чат-боты-для-психического-здоровья","Опасны ли ИИ-чат-боты для психического здоровья?",[11,313,314],{},"Не все, но многие — да. Исследование EmoAgent показало, что популярные персонажные чат-боты ухудшают состояние в 34–95% случаев в зависимости от измерения (Qiu et al., 2025). Ключевой фактор — наличие или отсутствие механизмов безопасности.",[308,316,318],{"id":317},"что-такое-guard-rails-в-контексте-ии-терапии","Что такое guard rails в контексте ИИ-терапии?",[11,320,321],{},"Guard rails — это встроенные механизмы защиты, которые предотвращают вред: мониторинг эмоционального состояния, распознавание кризиса, фильтрация когнитивных искажений в ответах бота, перенаправление к живому специалисту при необходимости.",[308,323,325],{"id":324},"может-ли-ии-система-полностью-исключить-вред","Может ли ИИ-система полностью исключить вред?",[11,327,328],{},"В эксперименте EmoGuard снизил клинически значимое ухудшение до 0%. Однако исследование проводилось на симулированных пользователях — реальная клиническая валидация ещё впереди. Авторы подчёркивают необходимость экспертной проверки перед внедрением в практику.",[308,330,332],{"id":331},"как-emoguard-отличается-от-обычных-фильтров-контента","Как EmoGuard отличается от обычных фильтров контента?",[11,334,335],{},"В отличие от фильтров, которые просто блокируют определённые слова, EmoGuard анализирует психологический контекст диалога. Четыре модуля отслеживают эмоциональные маркеры, выявляют когнитивные искажения и корректируют направление разговора — при этом сохраняя характер бота.",[308,337,339],{"id":338},"на-каких-чат-ботах-тестировали-emoagent","На каких чат-ботах тестировали EmoAgent?",[11,341,342],{},"Тестирование проводилось на четырёх популярных персонажах Character.AI (Possessive Demon, Joker, Sukuna, Alex Volkov) и моделях GPT (GPT-4o, GPT-4o-mini). Все показали значимое ухудшение без защиты и улучшение с EmoGuard.",[344,345],"hr",{},[11,347,348],{},[35,349,350],{},"Источники",[11,352,353,354,358,359],{},"Qiu, J., He, Y., Juan, X., Wang, Y., Liu, Y., Yao, Z., Wu, Y., Jiang, X., Yang, L., & Wang, M. (2025). EmoAgent: Assessing and safeguarding human-AI interaction for mental health safety. ",[355,356,357],"em",{},"ArXiv",". ",[58,360,361],{"href":361,"rel":362},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2504.09689",[363],"nofollow",[11,365,366,367,370,371,374,375],{},"Li, H., Zhang, R., Lee, Y.-C., Kraut, R. E., & Mohr, D. C. (2023). Systematic review and meta-analysis of AI-based conversational agents for promoting mental health and well-being. ",[355,368,369],{},"NPJ Digital Medicine",", ",[355,372,373],{},"6","(1), 236. ",[58,376,377],{"href":377,"rel":378},"https:\u002F\u002Fdoi.org\u002F10.1038\u002Fs41746-023-00979-5",[363],[11,380,381,382,358,384],{},"De Choudhury, M., Pendse, S. R., & Kumar, N. (2023). Benefits and harms of large language models in digital mental health. ",[355,383,357],{},[58,385,386],{"href":386,"rel":387},"https:\u002F\u002Fdoi.org\u002F10.48550\u002Farxiv.2311.14693",[363],[11,389,390,391,394],{},"Boit, S., & Patil, R. (2025). A prompt engineering framework for large language model–based mental health chatbots: Conceptual framework. ",[355,392,393],{},"JMIR",".",[11,396,397,398,358,401],{},"Song, I., Pendse, S. R., Kumar, N., & De Choudhury, M. (2024). The typing cure: Experiences with large language model chatbots for mental health support. ",[355,399,400],{},"Proceedings of the ACM on Human-Computer Interaction",[58,402,403],{"href":403,"rel":404},"https:\u002F\u002Fdoi.org\u002F10.1145\u002F3757430",[363],{"title":406,"searchDepth":407,"depth":407,"links":408},"",2,[409,410,411,412,413,414,415],{"id":17,"depth":407,"text":18},{"id":65,"depth":407,"text":66},{"id":143,"depth":407,"text":144},{"id":174,"depth":407,"text":175},{"id":213,"depth":407,"text":214},{"id":262,"depth":407,"text":263},{"id":305,"depth":407,"text":306,"children":416},[417,419,420,421,422],{"id":310,"depth":418,"text":311},3,{"id":317,"depth":418,"text":318},{"id":324,"depth":418,"text":325},{"id":331,"depth":418,"text":332},{"id":338,"depth":418,"text":339},"ai-therapy","2026-03-31","Исследование EmoAgent (Princeton, 2025) показало: 34% взаимодействий с чат-ботами ухудшают состояние. Система EmoGuard снижает клинически значимый вред до 0%.",false,"md",[429,430],"Mental health","Mental health safety",null,{},true,"\u002Fblog\u002Fai-guardrails-mental-health",8,{"title":5,"description":425},"blog\u002Fai-guardrails-mental-health",[439,423,440],"AI mental health","safety","2026-05-17","5_8K9FSVC9MbtubUAhJc5gd6IJgkmNe1Z5AM8eC65RM",[444,447,451,455],{"locale":445,"label":446,"path":434},"en","English",{"locale":448,"label":449,"path":450},"kz","Қазақша","\u002Fkz\u002Fblog\u002Fai-guardrails-mental-health",{"locale":452,"label":453,"path":454},"ky","Кыргызча","\u002Fky\u002Fblog\u002Fai-guardrails-mental-health",{"locale":456,"label":457,"path":458},"by","Беларуская","\u002Fby\u002Fblog\u002Fai-guardrails-mental-health",1780418367761]