Возможности Amazon Comprehend

Функции тематического моделирования Amazon Comprehend, обнаружения событий и быстрой классификации безопасности больше не будут доступны новым клиентам с 30 апреля 2026 года. Если вы хотите использовать эти функции с новыми учетными записями, это необходимо сделать до указанной даты. Для учетных записей, в которых использовались эти функции в течение последних 12 месяцев, никаких действий не требуется – доступ к этим учетным записям сохранится. Узнайте об альтернативах увольнения и этапах миграции здесь. Примечание. Это не влияет на доступность других функций Amazon Comprehend.

Amazon Comprehend – это сервис обработки естественного языка (NLP), в котором применяются технологии машинного обучения для обнаружения в тексте аналитических данных. Amazon Comprehend предоставляет API для распознавания настраиваемых сущностей, настраиваемой классификации, извлечения ключевых фраз, анализа тональности и так далее. Это позволяет без труда встраивать в приложения механизмы обработки естественного языка. Для интеграции достаточно вызвать API сервиса Amazon Comprehend в приложении и передать информацию о местоположении исходного документа или текста. API выдаст сущности, ключевые фразы, эмоции и язык в формате JSON, и эту информацию можно использовать в приложении.

Распознавание пользовательских сущностей позволяет настроить Amazon Comprehend для выявления терминов, относящихся к вашему домену. Сервис Amazon Comprehend, используя AutoML, будет обучаться на небольших наборах примеров (таких как список номеров политик, номера заявок или SSN), а после тренировать частную пользовательскую модель распознавания терминов наподобие номеров заявок в любом другом блоке текста в PDF, простых текстовых файлах или документах Microsoft Word без необходимости машинного обучения. Подробнее см. на странице документации. 

Пример. В этом примере страховой компании нужно проанализировать текстовые документы на наличие актуальных для их деятельности сущностей и номеров политик.

 

Пример текста. Здравствуйте! Меня зовут Сэм Форд, и мне нужно подать заявление на страховое возмещение после ДТП. Номер моего полиса – 456-YQT.

API пользовательской классификации позволяет без труда создавать пользовательские модели классификации текста с помощью специфических для компании меток. При этом изучать технологии машинного обучения не требуется. Например, компания по поддержке клиентов может использовать для автоматического распределения входящих запросов по типу проблемы пользовательскую классификацию, которая основывается на описании проблемы клиентами.  С помощью пользовательской модели можно без труда модерировать комментарии на веб‑сайте, анализировать отзывы клиентов и систематизировать документы рабочей группы. Подробнее см. на странице документации.

Пример. Допустим, вы хотите упорядочить в авиакомпании обратную связь от клиентов службы поддержки. Все отзывы нужно распределить по разделам: вопросы по оплате, возврат стоимости билетов и претензии по авиарейсам. Чтобы обучить сервис, создайте файл в формате CSV, содержащий примеры текста по каждому разделу, и пометьте каждый пример одной из трех применимых меток. Сервис автоматически обучит пользовательскую модель от вашего имени. Чтобы использовать полученную модель для анализа всех обращений за следующий день, нужно отправить каждый текстовый файл в сервис и получить помеченные результаты с присвоенными им показателями степени уверенности.

API распознавания сущностей возвращает именованные сущности («Люди», «Места», «Местоположения» и т. д.), которые автоматически группируются по категориям на основании предоставленного текста. Подробнее см. на странице документации.

Пример. В этом примере мы видим описание компании. API выделяет такие сущности, как организация, дата, местоположение, и возвращает уровень уверенности.

Пример текста. Компания Amazon.com, Inc., основанная 5 июля 1994 г. Джеффом Безосом, расположена в г. Сиэтл, штат Вашингтон. Она обеспечивает клиентам возможность покупать любые товары, от книг до блендеров. Сиэтл расположен к северу от Портленда и к югу от Ванкувера, Британская Колумбия. В Сиэтле также расположены такие известные компании, как Starbucks и Boeing.

API анализа тональности текста возвращает общий эмоциональный тон текста (положительный, отрицательный, нейтральный или смешанный). Подробнее см. на странице документации. 

Пример. В этом примере клиент оставляет отзыв о паре ботинок. API определяет эмоции, выражаемые клиентом, и предоставляет уровень уверенности.

Пример текста. Я заказал размер S и ожидал, что обувь идеально подойдет к ноге. Но размер оказался скорее между M и L. Качество превосходное. Оттенок коричневого чуть светлее, чем на картинке, но довольно похожий. Модель была бы гораздо лучше, если бы внутри сделали хлопчатобумажную или шерстяную отделку.

Конфигурация Targeted Sentiment позволяет получить более подробную информацию об эмоциональном состоянии, определяя настроение (положительное, отрицательное, нейтральное или смешанное) по отношению к объектам в тексте. Подробнее см. на странице документации.

Пример. В этом примере сотрудники ресторана изучают отзыв клиента, чтобы понять, как можно улучшить свой бизнес.

Образец текста. Мне понравился бургер, но обслуживание было медленным.

С помощью возможностей машинного обучения Amazon Comprehend находите и редактируйте информацию, позволяющую установить личность (PII), в электронных письмах клиентов, обращениях в службу поддержки, отзывах на продукты, социальных сетях и других источниках. Опыт машинного обучения не требуется. Например, можно проанализировать обращения в службу поддержки и информационные статьи, обнаружить сущности персональной информации и отредактировать текст перед индексацией документов в поисковом решении. После этого документы, с которыми работают поисковые решения, свободны от персональной информации. Благодаря редактированию сущностей персональной информации можно обеспечить конфиденциальность и соблюдать требования местных законов и нормативных актов. Подробнее см. на странице документации.

Пример. В этом примере клиент хочет отредактировать личные и финансовые данные из банковской выписки. API редактирования PII находит и редактирует персональную информацию, обеспечивая соответствующий уровень уверенности.

Образец текста. Добрый день, Джон Смит! Минимальный платеж в размере 24,53 доллара США по кредитной карте AnyCompany Financial Services, LLC (номер карты 1111-0000-1111-0008) должен быть выплачен не позднее 31 июля. В соответствии с вашими настройками автоматической оплаты платеж спишется с банковского счета номер XXXXXX1111 с кодом банка XXXXX0000 в установленный срок.

Обнаружение токсичности в Comprehend представляет собой простое решение на основе обработки естественного языка (NLP) для обнаружения злобного содержимого в текстовых документах. Это встроенная возможность для модерации однорангового общения на онлайн-платформах, а также для генерирования входных и выходных данных искусственного интеллекта. Подробнее см. на странице документации.

Сервис Amazon Comprehend предоставляет предварительно обученный двоичный классификатор, который может классифицировать входной текстовый запрос как вредный или нет. Его интеграция позволит LLM реагировать только на безвредный контент. Подробнее см. на странице документации.

API для извлечения ключевых фраз возвращает ключевые фразы или основные тезисы, а также уровень уверенности для каждой ключевой фразы. Подробнее см. на странице документации.

Пример. В этом примере клиент сравнивает цифровой зеркальный фотоаппарат с фотоаппаратом моментальной печати. API извлекает ключевые фразы и возвращает уровень уверенности в результатах.

Пример текста. Я заядлый фотограф и обычно фотографирую зеркальным цифровым фотоаппаратом или фотоаппаратом моментальной печати, который ношу с собой и регулярно использую. Хотя качество и удобство цифрового фотоаппарата не вызывают сомнений, в фотоаппарате моментальной печати есть что-то волшебное. Возможно, дело в том, что вы снимаете на настоящую пленку. Или в том, что каждый снимок – это уникальный осязаемый предмет (особенное ощущение в современном мире Instagram и Facebook, где цифровые фотографии плодятся как грибы после дождя). Точно могу сказать: эта камера всегда вызывает неподдельную радость. Стоит достать ее на вечеринке – и у людей глаза загораются.

Конфигурация Comprehend Events позволяет извлекать структуру событий из документа. Страницы текста делятся на легко обрабатываемые данные, которые могут использовать ваши приложения искусственного интеллекта или инструменты графовой визуализации. Этот API помогает ответить на вопросы «кто,что, когда, где» для больших наборов документов в любом масштабе и без предварительного опыта работы с NLP. Используйте Comprehend Events, чтобы извлекать подробные сведения о реальных событиях и связанных с ними сущностях, изложенных в неструктурированном тексте. Подробнее см. на странице документации. 

API определения языка автоматически обнаруживает текст, написанный более чем на 100 языках, и возвращает основной язык и уровень уверенности в том, что этот язык является основным. Подробнее см. на странице документации.

Пример. В этом примере API анализирует текст и определяет, что основной язык текста – итальянский, а также возвращает уровень уверенности.

Пример текста. Amazon Elastic Compute Cloud (Amazon EC2) è un servizio Web che fornisce capacità di elaborazione sicura e scalabile nel cloud. È concepito per rendere più semplice il cloud computing su scala Web per gli sviluppatori.

Syntax API в Amazon Comprehend позволяет клиентам анализировать текст с использованием токенизации и частей речи (PoS), чтобы определять границы слов и метки, например имена существительные и прилагательные в тексте. Подробнее см. на странице документации.

Пример. В этом примере мы будем анализировать короткий документ, используя Syntax API сервиса Comprehend. Syntax API токенизирует текст (определяет границы слов) и помечает каждое слово в соответствии с частью речи, к которой оно относится, например как существительное или глагол. Кроме пометки начала и конца смещения (для понимания местоположения слова в тексте) мы также предоставляем оценку уверенности.

Пример текста. I love my fast, new Kindle Fire!

API моделирования тем обнаруживает актуальные термины или темы в массиве документов, хранящихся в Amazon S3. Этот API определяет наиболее распространенные темы в массиве и организовывает их по группам, после чего связывает каждый документ с соответствующей темой. Подробнее см. на странице документации.

Пример. Если документы (Doc1.txt, Doc2.txt, Doc3.txt и Doc4.txt) хранятся в Amazon S3 и вы передаете их местоположение в Amazon Comprehend, сервис Comprehend проанализирует документы и вернет два результата.

1. Группы ключевых слов, которые являются темами

Каждая группа ключевых слов связана с группой тем. Вес обозначает преобладание ключевого слова в группе. Ключевые слова с весом, близким к 1, лучше всего характеризуют контекст группы тем.

Каждая группа ключевых слов связана с группой тем. Вес обозначает преобладание ключевого слова в группе. Ключевые слова с весом, близким к 1, лучше всего характеризуют контекст группы тем.

Каждый документ связывается с группой тем на основании пропорции взвешенных ключевых слов из группы тем, присутствующих в документе.

Amazon Comprehend может анализировать текст на немецком, английском, испанском, итальянском, португальском, французском, японском, корейском, арабском, китайском (упрощенном) и китайском (традиционном) языках, а также на языке хинди. Чтобы создавать приложения на других языках, пользователи могут воспользоваться сервисом Amazon Translate для перевода текста на язык, поддерживаемый Amazon Comprehend, а затем применить Amazon Comprehend для анализа этого текста. Подробнее о поддерживаемых языках см. на странице документации.