Применение Google Cloud Vision API в приложении для Android

Искусственный интеллект и машинное обучение — это одни из самых популярных тем в бизнесе. Google, лидер в этой области, разработал набор инструментов для разработчиков, которые позволят создать новый пользовательский опыт с безграничными возможностями. Сегодня мы исследуем Google Cloud Vision API и его применение в приложениях Android.

Google Cloud Vision API

Это интересный API, который позволяет разработчикам анализировать изображения и контекстные данные, используя самообучающуюся и развивающуюся модель машинного обучения — все в простом REST API. Благодаря этому API, мы можем получать контекстную информацию об изображении и классифицировать изображения по категориям и подкатегориям, достигая глубокого уровня детализации информации.

Для примера возьмем это изображение:

Vision API удивителен – он может распознать основной субъект фото (животное), определить его вид (собака) и породу (бигль). Более того, вы можете получить дополнительные данные о траве и горах на фоне.

Давайте взглянем на все функции Google Cloud Vision API:

• Обнаружение меток: обнаружение категорий внутри изображения (пример выше).
• Обнаружение откровенного содержимого: обнаружение неприличного или жестокого содержимого в изображении.
• Обнаружение популярных логотипов.
• Обнаружение географических ориентиров: естественных и искусственных структур.
• Оптическое распознавание символов: обнаружение и извлечение текста внутри изображения, API даже распознает язык текста.
• Обнаружение лиц: обнаружение нескольких лиц внутри изображения, а также других атрибутов, таких как эмоциональное состояние или головные уборы.
• Атрибуты изображения: обнаружение общих атрибутов изображения, таких как доминирующие цвета.

В нашем примере мы используем две функции: обнаружение меток и оптическое распознавание символов. Давайте посмотрим, как интегрировать Vision API в приложение Android. Мы создадим пробный проект, который позволит пользователю выбирать изображение из галереи и получать о нем информацию.

Внедрение Google Cloud API

Чтобы использовать API, мы должны включить его в Google Cloud Developer Console. Вот как это сделать:

1. Создайте проект в Google Cloud Console или используйте существующий.
2. Включите в проекте Billing. Если это ваше первое использование Google Cloud Console, вы можете начать бесплатный пробный период использования. У вас могут попросить данные карты, но денег не спишут.
3. Включите Google Cloud Vision API, используя эту ссылку.
4. Откройте в боковом меню слева секцию Credentials.
5. Выберите в меню OAuth Client ID: установите тип приложения Android, введите название приложения и отпечаток SHA1 (если у вас его нет или вы не знаете, как его сгенерировать, введите эту команду в терминале keytool -exportcert -keystore path-of-your-keystore -list -v). Затем введите имя пакета вашего приложения: оно должно совпадать с именем, указанным в файле build.gradle вашего приложения, в ключе applicationId. В моем случае —  com.lpirro.cloudvision.

Мы готовы начать, давайте приступим к кодингу.

Cloud Vision API в действии

Создайте новый проект в Android Studio и помните, что имя пакета должно совпадать с названием в проекте в Google Cloud Developer Console. Затем откройте build.gradle и добавьте зависимости Vision API.

Теперь откройте AndroidManifest.xml и добавьте необходимые разрешения для сетевых вызовов и получения информации об учетной записи, необходимой для запроса OAuth.

Сейчас мы можем создать Activity, которая позволит нам выбрать изображение из галереи и вызвать сервисы Cloud Vision, чтобы получить информацию о нем.

Файл макета нашей активности очень прост: у нас есть один ImageView, используемый для отображения выбранного изображения из галереи, два TextView для отображения результатов и одна Button, используемая для выбора изображения из галереи.

Вот файл с макетом нашей активности:

Теперь остановимся на самой Activity. В этом примере мы используем библиотеку Google API Client для Java, и так как мы используем OAuth запрос, нам нужно получить от Google токен аутентификации. Давайте определим класс, который позволит нам получить этот токен.

Примечание: для простоты мы будем использовать AsyncTask для сетевых операций, но если вы будете использовать этот API в реальном проекте, используйте библиотеку, например, Retrofit, возможно, вместе с RxJava.

Теперь у нас есть вся необходима информация, чтобы вызвать Cloud Vision API и получить результаты.

При помощи метода setType() мы определим тип функции, которую хотим использовать: в нашем случае это LABEL_DETECTION и TEXT_DETECTION. Формат изображения, переданного API, находится в Base64. Как только результаты будут получены, они передаются методу getDetectedText (), который будет форматировать строку и фильтровать информацию, после чего мы можем окончательно отобразить их в интерфейсе.

Искусственный интеллект и машинное обучение быстро стали основой цифровых преобразований. С внедрением Cloud Vision API Google предлагает первоклассный инструмент для интеграции этих технологий в повседневный рабочий процесс как пользователей, так и разработчиков. Прямо сейчас та же технология, что мы видели выше, уже является частью основных продуктов Google, таких как «Фотографии», используется в качестве помощи для организации и классификации нашей коллекции воспоминаний. Благодаря общей доступности этих инструментов тысячи продуктов смогут интегрировать эту удивительную технологию.