- Технический анализ показал, что при использовании автоматизированных аккаунтов, имитирующих аккаунты 13-летних пользователей из Кении, США и с Филиппин, почти половина видео в их ленте рекомендаций содержит контент, который потенциально опасен для психического здоровья
- Менее чем через час после открытия тестовых аккаунтов среди видео, полученных исследователями в ленте рекомендаций, появлялись материалы, романтизирующие, нормализующие или пропагандирующие суицид
- Бизнес-модель сервиса построена на злоупотреблении и стремлении как можно дольше удерживать пользователя на платформе с тем, чтобы бесконечно собирать всё новые данные о нём
Система рекомендованного контента TikTok и лежащая в её основе бизнес-модель представляют опасность для юных пользователей платформы, поскольку увеличивают количество контента, посвящённого депрессии и суициду и способного усугубить уже имеющиеся проблемы в ментальной сфере, сообщают авторы двух тематических докладов, представленных сегодня в рамках мероприятия, проводимого Amnesty International.
В двух этих докладах («Затянутые во тьму. Как TikTok пропагандирует идеи самоповреждения и суицида» и «Мне не скрыться. Пойманные в сеть сбора данных TikTok») — особо подчёркивается вредоносное воздействие, которому подвергаются дети и молодёжь из числа пользователей TikTok, а также рассказывается о том, каким образом система рекомендаций TikTok осуществляет это воздействие и какая бизнес-модель лежит в основе всего процесса.
Результаты были получены в ходе совместного технического анализа, проведённого при участии партнёров Amnesty International — Института отчётности алгоритмов (ATI), Национальной конференции по вопросам гражданства и организации AI Forensics.
«Результаты анализа позволили выявить манипулятивный и аддиктивный характер практик, используемых сервисом TikTok для того, чтобы как можно дольше удерживать внимание пользователя. Кроме того, результаты свидетельствуют о том, что алгоритмы рекомендательной системы, которым приписывают заслугу стремительного успеха платформы во всём мире, подвергают серьёзному риску детей и молодёжь с уже имеющимися проблемами в ментальной сфере», — заявила исследовательница Amnesty International Лиза Диттмер.
Результаты анализа позволили выявить манипулятивный и аддиктивный характер практик, используемых сервисом TikTok для того, чтобы как можно дольше удерживать внимание пользователя
Лиза Диттмер, исследовательница Amnesty International
Лента рекомендаций
Чтобы оценить воздействие системы рекомендаций TikTok на пользователей младшего возраста, в ходе технического анализа было создано более 30 автоматизированных аккаунтов, якобы принадлежащих подросткам 13 лет из Кении и США. Кроме того, были созданы три аккаунта на ручном управлении якобы из Кении, США и с Филиппин.
Авторы исследования «Затянутые во тьму. Как TikTok провоцирует мысли о самоповреждении и суициде» подробно рассказывают о том, как TikTok в безостановочной гонке за вниманием юных пользователей подвергает их риску развития таких психических расстройств как депрессия, тревожность и склонность к самоповреждению.
Лента рекомендаций TikTok — это высоко персонализированная страница с рекомендованным контентом, отобранным алгоритмами в соответствии с интересами пользователя, как их видит система. Прокручивать ленту рекомендаций можно бесконечно.
Технический анализ показал, что после пяти-шести часов нахождения пользователя на платформе TikTok почти каждое второе из предлагаемых видео содержало тематику, связанную с психическим здоровьем, и являлось потенциально вредоносным. Это примерно в десять раз больше, чем получали аккаунты, в число интересов которых не входило психическое здоровье.
В случае, когда исследователи, действующие под аккаунтом, якобы принадлежащим 13-летним пользователям из Кении, США и с Филиппин, повторно пересматривали предложенные их аккаунтам видео, посвящённые психическому здоровью, этот эффект наступал ещё быстрее.
Между третьей и 20-й минутами работы аккаунта в ручном режиме более половины материалов в ленте рекомендаций составляли видео, посвящённые проблемам в ментальной сфере. В результате за какой-нибудь час пользователь получал огромное количество рекомендованных видео, содержащих романтизацию, нормализацию или пропаганду суицида.
Зависимость, заложенная в дизайн
Результаты интервью, обсуждений в фокус-группах и работы с тестовыми аккаунтами детей из Кении, США и с Филиппин, а также имеющиеся данные из области изучения вредоносного воздействия социальных сетей и из сферы здравоохранения позволяют понять, каким образом устройство платформы TikTok подталкивает пользователей к нездоровому использованию приложения.
*Луис (21 год), студент выпускного курса из Манилы, обладатель диагностированного биполярного расстройства, рассказал Amnesty International о своём опыте использования ленты рекомендаций TikTok.
«Это как наркотик. Всё начинается с одного видео. Если оно привлекло ваше внимание, даже не обязательно понравилось, то в следующий раз, когда вы откроете TikTok, это видео снова выскочит, а поскольку вы его уже видели, вы снова его посмотрите, и тогда частота его появления в «Рекомендациях» начнёт возрастать по экспоненте», — пояснил Луис.
*Фрэнсис (18 лет), учащийся из провинции Батангас (Филиппины), сделал следующее наблюдение: «Стоит мне посмотреть какое-нибудь грустное видео, которое тронуло за душу, и в «Рекомендациях» тут же сплошной тлен, не TikTok, а какой-то ПлакПлак. Это влияет на моё настроение».
Стоит мне посмотреть какое-нибудь грустное видео, которое тронуло за душу, и в «Рекомендациях» тут же сплошной тлен, не TikTok, а какой-то ПлакПлак. Это влияет на моё настроение
*Фрэнсис (18 лет), учащийся из провинции Батангас (Филиппины)
Ещё один участник фокус-группы объяснил: «Из-за контента, который я вижу, например, таких видео, где человек болен или ставит себе диагноз, у меня [ещё] сильнее крутятся в голове навязчивые мысли. Это влияет на моё психическое состояние, мне кажется, что у меня проявляются те же симптомы, я становлюсь тревожнее. И ведь я даже не ищу их (такие видео), они сами появляются в ленте».
*Джойс (21 год), филиппинка, сказала: «Я на какое-то время удалила его [TikTok], потому что у меня буквально развилась зависимость… Я много часов провела в TikTok за скроллингом видео, потому что, когда прокручиваешь ленту, оторваться невозможно, всё время хочется узнать, что покажут дальше».
Опрошенные в Кении дети и молодёжь сообщили, что, по их мнению, TikTok мешал им учиться в школе и проводить время с друзьями. Опрошенные не высыпались, поскольку просматривали ленту до поздней ночи.
Эти свидетельства были подкреплены мнением ряда подростковых психологов, к которым Amnesty International обратилась за консультацией в процессе исследования.
Как и в случае с прочими социальными сетями, индивидуальная реакция и ситуативные факторы, влияющие на использование соцсетей, могут различаться для разных опрошенных, однако TikTok изначально выстроен таким образом, чтобы максимально увеличить время пребывания пользователя на этой платформе.
«Наши исследования показывают, что при сохранении текущей бизнес-модели TikTok может подвергать здоровье детей и молодёжи серьёзному риску. Владельцы платформы стремятся приковать внимание пользователя к экрану, пренебрегая при этом правом детей и молодёжи на здоровье», — заявила исследовательница Amnesty International Лиза Диттмер.
Наши исследования показывают, что при сохранении текущей бизнес-модели TikTok может подвергать здоровье детей и молодёжи серьёзному риску
Лиза Диттмер, исследовательница Amnesty International
Сеть сбора данных
В докладе «Мне не скрыться. Пойманные в сеть сбора данных TikTok» показано, каким образом неправомерный сбор данных платформой TikTok поддерживает вредоносные практики вовлечения пользователя и сам же на них опирается.
Исследования, проведённые Amnesty International, показывают, что сама бизнес-модель TikTok изначально построена на злоупотреблении и ориентирована на то, чтобы как можно дольше удерживать пользователя на платформе, бесконечно собирая всё новые данные о нем. Кроме того, часть детей и молодёжи подвергается эксплуататорским практикам сбора данных больше прочих, поскольку TikTok обеспечивает защиту данных лишь в некоторых частях света.
«В тех частях света, где права на защиту данных меньше охраняются местными законами и нормативными актами, TikTok подвергает пользователей, в том числе и детей, более агрессивным практикам сбора данных. Это значит, что право на защиту частной жизни детей в странах с несовершенным законодательством, в том числе в ряде стран “глобального большинства”, нарушается наиболее сильно», — говорит заместитель директора технической программы Amnesty International Лорен Армистед. — Платформа TikTok обязана уважать права всех пользователей младшего возраста, причём не только в Европе, в связи с чем должна запретить всю таргетированную рекламу, направленную на лиц младше 18 лет вне зависимости от их местонахождения».
Платформа TikTok обязана уважать права всех пользователей младшего возраста, причём не только в Европе, в связи с чем должна запретить всю таргетированную рекламу, направленную на лиц младше 18 лет вне зависимости от их местонахождения
Лорен Армистед, заместитель директора технической программы Amnesty International
Кроме того, платформа TikTok должна прекратить устанавливаемую по умолчанию чрезмерную персонализацию ленты рекомендаций, позволив пользователям самостоятельно выбирать интересующие их тематики контента. Для этого следует прибегнуть к форме информированного согласия, а также попросить пользователя прямо указать, хочет ли он использовать персонализированную ленту рекомендаций.
Amnesty International призывает платформу TikTok безотлагательно принять перечисленные меры и заложить в бизнес-модель уважение к правам человека, однако в то же самое время считает необходимым разработку законодательства для полноценной защиты и осуществления прав детей и молодёжи.
Наилучшим способом защиты детей от злоупотребления их персональными данными в Интернете будет законодательный запрет любой таргетированной рекламы, основанной на агрессивном сборе персональных данных.
Отвечая на предоставленные нами результаты исследований, представители TikTok указали на «Правила сообщества» платформы, где перечисляются запрещённые виды контента, которые удаляются с платформы в случае жалобы или обнаружения иным способом. В частности, запрещена «демонстрация, пропаганда или предоставление инструкций для самоубийства и членовредительства, а также связанные с ними челленджи, игры и сговоры», «розыгрыши, демонстрирующие или пропагандирующие самоубийства или членовредительство» и «рассказ о планах на самоубийство или членовредительство».
Платформа TikTok заявила, что находится в процессе разработки «обязательных для всей компании процессов обеспечения должной осмотрительности в вопросах прав человека, в том числе процессов периодической оценки последствий для прав человека». Компания не уточнила, какие именно риски в отношении прав детей и молодёжи были ею выявлены. Отсутствие у платформы TikTok действующего обязательного для всей компании процесса обеспечения должной осмотрительности в вопросах прав человека является очевидной недоработкой компании, которая обязана с уважением относиться к правам человека.
Краткая справка
Оба доклада вполне согласуются с данными докладов о предыдущих исследованиях Amnesty International. В докладе «Гиганты слежки» было показано, что бизнес-модели Facebook и Google в принципе несовместимы с правом на защиту частной жизни и представляют угрозу для ряда других прав, в том числе на свободу убеждений и выражения своего мнения, свободу мысли и право на равенство и отсутствие дискриминации.
В докладах Amnesty International под названием «Мьянма: Социальные зверства. Meta и право рохинджа на компенсации» и «Эфиопия: Ошибки Meta способствовали вспышкам насилия в Западном Тыграе во время конфликта на севере Эфиопии» рассказывается о том, как построенная на вовлечении бизнес-модель платформы Facebook может приводить к ужасающим последствиям. Эта модель увеличивает количество враждебного контента, стимулирующего насилие, вражду и дискриминацию, что в итоге способствует серьёзным нарушениям прав человека и всплескам насилия.
Все перечисленные доклады являются частью растущей доказательной базы Amnesty International в рамках глобальной борьбы за ответственность корпораций и устранение нарушений прав человека там, где эти нарушения связаны с бизнес-моделями Meta, Google, TikTok и других крупнейших ИТ-компаний, положивших в основу своей деятельности слежку за пользователями.