Руководство по дополненной реальности

Время на прочтение
9 мин

Количество просмотров 63K

В этом гайде вы узнаете, как добавить 3D-модели в реальный мир. Библиотека ARCore от Google позволяет добавлять на 2D-изображение (картинка или видео) полноценные 3D-модели.

Вам необходимо предоставить системе некое опорное изображение, которое ARCore будет искать в реальном мире, чтобы на его основе добавить на изображение 3D-модель. Дополненная реальность уже широко используются, например, в книгах, газетах, журналах и т.д.

Прежде чем погрузиться в этот туториал, вам стоит ознакомиться с предыдущими двумя статьями на эту тему, которые познакомят вас с основными AR-терминами:

• Что такое ARCore? Всё, что вам нужно знать
• Создание вашего первого ARCore-приложения

Что такое изображения дополненной реальности?

Согласно документации для разработчиков, изображения дополненной реальности в ARCore позволяют создавать приложения дополненной реальности, которые могут «оживлять» 2D-изображения, например, плакаты или упаковки продуктов.

Вы загружаете в ARCore какие-то опорные изображения, а он вам затем сообщает об их обнаружении во время AR-сессии, например во время съёмки видео. И эта информация используется для расположения 3D-модели на 2D-изображении.

Ограничения использования изображений дополненной реальности

Вот некоторые ограничения, с которыми вы можете столкнуться при использовании изображений дополненной реальности:

• ARCore может обрабатывать только до 20 опорных изображений одновременно.
• Физическая плоскость в реальном мире должна быть плоской, а её площадь должна быть больше, чем 15 см х 15 см.
• ARCore не может отслеживать движущиеся изображения и объекты.

Выбор подходящего опорного изображения

Вот несколько советов для выбора хорошего опорного изображения для ARCore:

• Изображения дополненной реальности поддерживают форматы PNG, JPEG и JPG.
• Неважно, цветное будет изображение или чёрно-белое, главное, чтобы оно было высокой контрастности.
• Разрешение изображения должно быть не менее 300 х 300 пикселей.
• Использование изображений с высоким разрешением не означает улучшение производительности.
• Следует избегать изображений с повторяющимися паттернами (например, узорами или горошком).
• Используйте инструмент arcoreimg, чтобы оценить, насколько подходит ваше изображение для работы. Рекомендуется оценка не менее 75 баллов.

Как использовать инструмент arcoreimg:

• Загрузите ARCore SDK для Android по этой ссылке.
• Распакуйте zip-содержимое файла в любое место.
• В извлеченной папке перейдите по пути tools > arcoreimg > windows (даже если у вас Linux или macOS).
• Откройте командную строку в этой директории.
• И введите эту команду:

arcoreimg.exe eval-img --input_image_path=dog.png

Замените dog.png на полный путь к вашему изображению.

Начало работы с приложением дополненной реальности

Теперь, когда вы ознакомились с ARCore и выбрали хорошее изображение с оценкой 75+, пришло время приступить к написанию кода приложения.

Создание фрагмента

Мы создадим фрагмент и добавим его в нашу Activity. Создаём класс с именем CustomArFragment и наследуем его от ArFragment. Вот код для CustomArFragment:

package com.ayusch.augmentedimages;

import android.util.Log;

import com.google.ar.core.Config;
import com.google.ar.core.Session;
import com.google.ar.sceneform.ux.ArFragment;

public class CustomArFragment extends ArFragment {

    @Override
    protected Config getSessionConfiguration(Session session) {
        getPlaneDiscoveryController().setInstructionView(null);
        Config config = new Config(session);
        config.setUpdateMode(Config.UpdateMode.LATEST_CAMERA_IMAGE);
        session.configure(config);
        getArSceneView().setupSession(session);

        return config;
    }
}

Прежде всего, мы отключаем обнаружение плоскости. Делая это, мы убираем с экрана значок руки, который появляется сразу после инициализации фрагмента и говорит пользователю о необходимости перемещения своего смартфона для поиска плоскости. Нам это больше не нужно, поскольку мы обнаруживаем не случайные плоскости, а конкретное изображение.

Затем мы устанавливаем режим обновления для сессии LATEST_CAMERA_IMAGE. Это гарантирует, что мы будем узнавать об обновлениях изображения всякий раз, когда обновится кадр камеры.

Настройка базы данных изображений

Добавьте выбранное опорное изображение (которое вы хотите обнаружить в физическом мире) в папку assets (создайте её, если её ещё нет). Теперь мы можем добавлять изображения в нашу базу данных.

Мы создадим эту базу данных, как только будет создан фрагмент. В логи мы выведем результат этой операции:

if ((((MainActivity) getActivity()).setupAugmentedImagesDb(config, session))) {
    Log.d("SetupAugImgDb", "Success");
} else {
    Log.e("SetupAugImgDb","Faliure setting up db");
}

Вот как будет выглядеть CustomArFragment:

package com.ayusch.augmentedimages;

import android.util.Log;

import com.google.ar.core.Config;
import com.google.ar.core.Session;
import com.google.ar.sceneform.ux.ArFragment;

public class CustomArFragment extends ArFragment {

    @Override
    protected Config getSessionConfiguration(Session session) {
        getPlaneDiscoveryController().setInstructionView(null);
        Config config = new Config(session);
        config.setUpdateMode(Config.UpdateMode.LATEST_CAMERA_IMAGE);
        session.configure(config);
        getArSceneView().setupSession(session);

        if ((((MainActivity) getActivity()).setupAugmentedImagesDb(config, session))) {
            Log.d("SetupAugImgDb", "Success");
        } else {
            Log.e("SetupAugImgDb","Faliure setting up db");
        }

        return config;
    }
}

Вскоре мы добавим метод setupAugmentedImagesDb в MainActivity. Теперь давайте добавим CustomArFragment в наш activity_main.xml:

<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <fragment
        android:id="@+id/sceneform_fragment"
        android:name="com.ayusch.augmentedimages.CustomArFragment"
        android:layout_width="match_parent"
        android:layout_height="match_parent" />

</android.support.constraint.ConstraintLayout>

Добавление изображения в базу данных

Сейчас мы настроим нашу базу данных изображений, обнаружим опорное изображение в реальном мире и добавим 3D-модель на изображение.

Давайте начнём с настройки нашей базы данных. Создайте публичный метод setupAugmentedImagesDb в классе MainActivity:

public boolean setupAugmentedImagesDb(Config config, Session session) {
    AugmentedImageDatabase augmentedImageDatabase;
    Bitmap bitmap = loadAugmentedImage();
    if (bitmap == null) {
        return false;
    }

    augmentedImageDatabase = new AugmentedImageDatabase(session);
    augmentedImageDatabase.addImage("tiger", bitmap);
    config.setAugmentedImageDatabase(augmentedImageDatabase);
    return true;
}

private Bitmap loadAugmentedImage() {

    try (InputStream is = getAssets().open("blanket.jpeg")) {
        return BitmapFactory.decodeStream(is);
    } catch (IOException e) {
        Log.e("ImageLoad", "IO Exception", e);
    }

    return null;
}

Мы также создали метод loadAugmentedImage, который загружает изображение из папки ресурсов и возвращает растровое изображение.

В setupAugmentedImagesDb мы сначала инициализируем нашу базу данных для текущей сессии, а затем добавляем изображение в эту базу данных. Мы назвали наше изображение tiger. Затем мы устанавливаем эту базу данных в конфиг и возвращаем true, сообщая о том, что изображение успешно добавлено.

Обнаружение опорных изображений в реальном мире

Теперь мы начнем обнаруживать наши опорные изображения в реальном мире. Для этого мы создадим слушателя, который будет вызываться каждый раз при обновлении видеокадра, и этот кадр будет проанализирован на предмет наличия там опорного изображения.

Добавьте эту строку в метод onCreate() в MainActivity:

arFragment.getArSceneView().getScene().addOnUpdateListener(this::onUpdateFrame);

Теперь добавьте метод onUpdateFrame в MainActivity:

@RequiresApi(api = Build.VERSION_CODES.N)
private void onUpdateFrame(FrameTime frameTime) {
    Frame frame = arFragment.getArSceneView().getArFrame();

    Collection<AugmentedImage> augmentedImages = frame.getUpdatedTrackables(AugmentedImage.class);
    for (AugmentedImage augmentedImage : augmentedImages) {
        if (augmentedImage.getTrackingState() == TrackingState.TRACKING) {
            if (augmentedImage.getName().equals("tiger") && shouldAddModel) {
                placeObject(arFragment, augmentedImage.createAnchor(augmentedImage.getCenterPose()), Uri.parse("Mesh_BengalTiger.sfb"));
                shouldAddModel = false;
            }
        }
    }
}

В первой строке мы получаем сам кадр. Кадр можно представить, как обычный скриншот из видео. Если вы знакомы с тем, как работает видео, вы знаете, что это просто набор изображений, которые очень быстро сменяют друг друга, создавая впечатление чего-то движущегося. Мы просто берём одну из этих картинок.

После того, как мы получили кадр, мы анализируем его на предмет наличия на нём нашего опорного изображения. Мы берём список всех элементов, отслеженных ARCore, используя frame.getUpdatedTrackables. Затем мы перебираем её и проверяем, присутствует ли в кадре наше изображение tiger.

Если совпадение найдено, то мы просто берём и размещаем 3D-модель поверх обнаруженного изображения.

Примечание. Флаг shouldAddModel используется для того, чтобы мы добавляли 3D-модель только один раз.

Размещение 3D-модели над опорным изображением

Теперь, когда мы нашли наше опорное изображение в реальном мире, мы можем добавлять 3D-модель поверх него. Добавим методы placeObject и addNodeToScene:

• placeObject: этот метод используется для построения отрендеренного объекта по заданному Uri. Как только рендеринг завершён, объект передаётся в метод addNodeToScene, где объект прикрепляется к узлу, и этот узел помещается на сцену.
• addNodeToScene: этот метод создаёт узел из полученного якоря, создаёт другой узел, к которому присоединяется визуализируемый объект, затем добавляет этот узел в якорный узел и помещает его на сцену.

Вот так теперь выглядит MainActivity:

package com.ayusch.augmentedimages;

import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.net.Uri;
import android.os.Build;
import android.support.annotation.RequiresApi;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.widget.Toast;

import com.google.ar.core.Anchor;
import com.google.ar.core.AugmentedImage;
import com.google.ar.core.AugmentedImageDatabase;
import com.google.ar.core.Config;
import com.google.ar.core.Frame;
import com.google.ar.core.Session;
import com.google.ar.core.TrackingState;
import com.google.ar.sceneform.AnchorNode;
import com.google.ar.sceneform.FrameTime;
import com.google.ar.sceneform.rendering.ModelRenderable;
import com.google.ar.sceneform.rendering.Renderable;
import com.google.ar.sceneform.ux.ArFragment;
import com.google.ar.sceneform.ux.TransformableNode;

import java.io.IOException;
import java.io.InputStream;
import java.util.Collection;

public class MainActivity extends AppCompatActivity {
    ArFragment arFragment;
    boolean shouldAddModel = true;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        arFragment = (CustomArFragment) getSupportFragmentManager().findFragmentById(R.id.sceneform_fragment);
        arFragment.getPlaneDiscoveryController().hide();

        arFragment.getArSceneView().getScene().addOnUpdateListener(this::onUpdateFrame);
    }

    @RequiresApi(api = Build.VERSION_CODES.N)
    private void placeObject(ArFragment arFragment, Anchor anchor, Uri uri) {
        ModelRenderable.builder()
                .setSource(arFragment.getContext(), uri)
                .build()
                .thenAccept(modelRenderable -> addNodeToScene(arFragment, anchor, modelRenderable))
                .exceptionally(throwable -> {
                            Toast.makeText(arFragment.getContext(), "Error:" + throwable.getMessage(), Toast.LENGTH_LONG).show();
                            return null;
                        }
                );
    }

    @RequiresApi(api = Build.VERSION_CODES.N)
    private void onUpdateFrame(FrameTime frameTime) {
        Frame frame = arFragment.getArSceneView().getArFrame();

        Collection<AugmentedImage> augmentedImages = frame.getUpdatedTrackables(AugmentedImage.class);
        for (AugmentedImage augmentedImage : augmentedImages) {
            if (augmentedImage.getTrackingState() == TrackingState.TRACKING) {
                if (augmentedImage.getName().equals("tiger") && shouldAddModel) {
                    placeObject(arFragment, augmentedImage.createAnchor(augmentedImage.getCenterPose()), Uri.parse("Mesh_BengalTiger.sfb"));
                    shouldAddModel = false;
                }
            }
        }
    }

    public boolean setupAugmentedImagesDb(Config config, Session session) {
        AugmentedImageDatabase augmentedImageDatabase;
        Bitmap bitmap = loadAugmentedImage();
        if (bitmap == null) {
            return false;
        }

        augmentedImageDatabase = new AugmentedImageDatabase(session);
        augmentedImageDatabase.addImage("tiger", bitmap);
        config.setAugmentedImageDatabase(augmentedImageDatabase);
        return true;
    }

    private Bitmap loadAugmentedImage() {
        try (InputStream is = getAssets().open("blanket.jpeg")) {
            return BitmapFactory.decodeStream(is);
        } catch (IOException e) {
            Log.e("ImageLoad", "IO Exception", e);
        }

        return null;
    }

    private void addNodeToScene(ArFragment arFragment, Anchor anchor, Renderable renderable) {
        AnchorNode anchorNode = new AnchorNode(anchor);
        TransformableNode node = new TransformableNode(arFragment.getTransformationSystem());
        node.setRenderable(renderable);
        node.setParent(anchorNode);
        arFragment.getArSceneView().getScene().addChild(anchorNode);
        node.select();
    }
}

Теперь запустите ваше приложение. Вы должны увидеть экран, как показано ниже. Подвигайте телефон немного над опорным объектом. И как только ARCore обнаружит опорное изображение в реальном мире, добавит на него вашу 3D-модель.

Читайте также: Создание вашего первого ARCore-приложения

AR И СТРАТЕГИЯ

AR постепенно трансформирует конкуренцию. УПУ меняют структуру отраслей, раздвигая их границы, и заставляют компании принимать новые стратегические решения — от управления правами на данные и их безопасностью до расширения ассортимента и запуска смарт-систем.

Растущая экспансия AR и ее потенциал как интерфейса «человек — УПУ» ставят новые стратегические задачи. Решение зависит от условий, но задуматься о роли AR в стратегии важно каждой организации.

Вот вопросы, на которые стоит ответить компании.

1. Каковы возможности применения AR в отрасли и в какой последовательности их внедрять?Нужно оценить потенциальное влияние AR на клиентов, функции продуктов и цепочку создания стоимости.

2. Как AR усилит дифференциацию продуктов? AR открывает несколько путей к дифференциации. С ее помощью можно расширить функции продуктов, дать клиенту больше информации и повысить лояльность. Серьезными факторами дифференциации могут быть интерфейсы AR, повышающие функциональность или упрощающие использование, а также улучшающие поддержку и обслуживание, продлевающие срок эксплуатации. AR также помогает получать обратную связь.

Путь к дифференциации зависит от стратегии, конкурентов и развития технологий.

3. Где AR поможет максимально ­сэкономить? Как отмечалось, AR может существенно снизить расходы на обучение, обслуживание, сборку, дизайн и другие элементы цепочки создания стоимости. Можно снизить производственные затраты, сократив потребность в физическом интерфейсе.

При использовании AR для экономии важно расставить приоритеты в соответствии со стратегическим позиционированием. Компаниям со сложной продукцией стоит задуматься об удобном и недорогом интерфейсе AR, а производители потребительских товаров могут оптимизировать процессы по всей цепочке создания стоимости. В легкой промышленности и розничной торговле лучше начать с маркетинговой визуализации. На производстве будут полезны инструкции AR, сокращающие число ошибок у инженеров, рабочих и техников. Интерактивные возможности AR найдут применение во всех сферах с индивидуализацией товаров и сложными функциями контроля.

4. Надо ли компании самой заниматься дизайном и развертыванием AR — или же достаточно аутсорсинга либо партнерства? Многие стремятся нанять специалистов по разработке AR, но их пока не так много. Особенно велик спрос на профессионалов в сфере проектирования пользовательского интерфейса. Трехмерную цифровую информацию важно подать так, чтобы ее было легко понять и применить. Стоит избегать эффектной, но неэффективной AR. При создании AR важно выбрать нужные данные, поэтому в цене люди, умеющие создавать такой контент и управлять им. Еще одно ключевое умение — цифровое моделирование применительно к AR.

Со временем, вероятно, компании начнут создавать целые отделы по работе с AR (как в 1990—2000-х появлялись отделы по поддержке веб-сайтов). Они будут выстраивать ­инфраструктуру, которая поможет новой технологии развиваться и поддерживать контент. Сегодня многие начали накапливать опыт в сфере AR — но пока мало кто преуспел.

Где найти таких сотрудников или партнеров с нужным ПО и услугами? Некоторые компании уже относятся к талантам в сфере AR как к стратегическому активу и инвестируют в их привлечение и развитие. Но если AR не имеет решающего значения для конкурентоспособности организации, можно пойти по пути партнерства с нужными компаниями и привлекать таланты и технологии со стороны.

Чтобы создать полный набор описанных выше технологий AR, требуется много сил, времени и средств, поэтому в каждом направлении обязательно появятся специалисты. На ранних этапах внедрения AR поставщиков технологий и услуг было немного, и ­компании предпочитали делать все сами. Но уже сегодня есть провайдеры AR с готовыми решениями, и внутренним продуктам сложно тягаться с ними.

5. Как AR изменит взаимодействие со стейкхолдерами? AR дополняет, а порой и заменяет печатные и двухмерные цифровые коммуникации. Но AR — не просто канал связи. Это совершенно новый способ взаимодействия. Только представьте, как эта технология упрощает понимание и использование информации.

Интернет, который когда-то задумывался как средство обмена техническими документами, в итоге трансформировал бизнес, образование и общественные отношения. Вероятно, AR сделает с коммуникацией что-то подобное: изменит ее так, как мы и представить не можем. Компаниям стоит творчески подойти к использованию этого зарождающегося канала.

РАЗВЕРТЫВАНИЕ AR

Приложения AR уже внедряются в продукты и цепочку создания стоимости. Их число и возможности применения будут только расти.

Каждая компания должна спланировать, как именно она будет пользоваться преимуществами AR и расширять сферу ее применения. Определяя последовательность и темпы внедрения AR, важно учитывать как технические задачи, так и необходимые организационные навыки (которые могут постоянно меняться). Вот пять вопросов, на которые хорошо бы найти ответы.

1. Какие навыки нужны разработчикам? AR может иметь разную сложность. Визуализировать продукты в разных конфигурациях или условиях, как это делают IKEA, Wayfair и AZEK, относительно просто. Потребителям нужно лишь скачать и ­запустить ­приложение AR на мобильном устройстве.

Визуализация инструкций, как в Boeing и GE, более сложна: нужно создать и поддерживать динамический трехмерный цифровой контент, а зачастую и головные дисплеи.

Интерактивные приложения особенно сложны в разработке. Здесь нужны технологии, которые пока развиты слабо (такие, как распознавание голоса и жестов), и требуется интеграция с ПО УПУ. Можно начать со статических визуализаций трехмерных моделей, но в то же время наращивать возможности, чтобы впоследствии быстро перей­ти к стратегически более выгодным динамическим инструкциям.

2. Как создавать цифровой контент? Любая AR требует контента. Иногда удается адаптировать к ней существующие цифровые материалы, такие как дизайн продукта. Но рано или поздно придется создавать с нуля более сложные, динамические ситуативные образы AR, что потребует от разработчиков специального опыта.

Простые случаи применения AR — например, в каталоге мебели — требуют лишь репрезентации продукта. В более сложных случаях, скажем при ремонте машин, нужны точные и проработанные цифровые образы. Их можно создать на основе моделей САПР или путем оцифровки (3D-сканирования). Самые сложные среды AR будут интегрировать потоковые данные реального времени из информационных систем, УПУ и других источников. Чтобы расширить применение AR, компаниям придется инвентаризировать трехмерные цифровые активы и инвестировать в цифровое моделирование.

3. Как приложения AR будут распознавать физическое окружение? Чтобы точно проецировать цифровую информацию на реальный мир, технологии AR должны «видеть» его. Проще всего определить местоположение устройства AR (например, с помощью GPS) и показать данные для этой точки без привязки к какому-либо объекту. Это так называемая «незарегистрированная» среда AR. Так работает, например, проекционная автомобильная навигация.

В более совершенных «зарегистрированных» средах информация привязана к конкретным объектам: устройства AR считывают маркеры, нанесенные на объект (штрихкоды или логотипы). При более продвинутом подходе объекты определяются по их очертаниям на основании сравнения с трехмерными моделями из каталога. Это позволяет, например, технику сразу определить тип оборудования и правильно провести ремонт. Технологии распознавания форм развиваются очень быстро, и компании должны научиться применять их, чтобы получить от AR максимальную отдачу.

4. Какое понадобится аппаратное обеспечение? Среды AR, рассчитанные на широкую аудиторию, обычно создаются для смартфонов, они просты и доступны. Для более сложных задач удобнее планшеты: у них больше диагональ экрана, выше мощность и лучше графика. Многие компании выдают их сотрудникам. В отдельных случаях производители встраивают в технику (самолеты и автомобили) проецируемые дисплеи. Такой подход связан с высокими затратами.

Однако чаще всего применение AR для обслуживания, производства и взаимодействия требует головных устройств, освобождающих руки. Сейчас они дороги и несовершенны, но уже скоро могут войти в обиход и реализовать потенциал AR. Microsoft, Google и Apple уже предлагают технологии AR, оптимизированные для таких устройств. Впрочем, большинству организаций следовало бы применить кросс-платформенный подход, чтобы их среды AR можно было использовать с помощью смартфонов и планшетов разных брендов — и смарт-очков, когда те станут совершеннее (см. статью «Битва смарт-очков»).

5. На чем сосредоточиться: на разработке ПО или на размещении контента? Большинство ранних разработок AR — приложения, которые загружаются на устройство вместе с цифровым контентом. При таком подходе формируется надежная высокочувствительная среда, в которой приложения могут работать офлайн. Однако любое изменение в среде AR требует переписывать приложение, а это затратно и неудобно.

Есть альтернативный вариант: коммерческое ПО для создания контента AR и размещения его в облаке (публикация контента). В этом случае среду AR можно загрузить по запросу с помощью универсального приложения на устройстве AR. Контент AR можно обновлять или расширять, не меняя само ПО. Это особенно важно, если необходимо постоянно обновлять данные. Такая модель будет набирать популярность по мере распространения машин и продуктов с поддержкой взаимодействия в реальном времени через AR. Чтобы получать от AR больше пользы, компаниям стоит задуматься о публикации контента.

ВЗГЛЯД В БУДУЩЕЕ

Цифровая революция, породившая УПУ и взрывной рост объемов данных, повышает продуктивность и открывает возможности для всей экономики. Сегодня человека ограничивает не нехватка информации, а сложность ее осмысления и применения — иными словами, нужен новый тип интерфейса. Самым перспективным решением выглядит AR.

Стремительное развитие машинного обучения и автоматизации у многих вызывает опасения: хватит ли в будущем рабочих мест, особенно высококвалифицированным кадрам? Не станет ли человек лишним в мире роботов и искусственного интеллекта?

Однако техника уже много веков постепенно заменяет человеческий труд — но безработица в мире падает, а не растет. Технологии повышают нашу продуктивность и качество жизни, создавая при этом новые рабочие места. Многие из них связаны с продуктами и услугами, которых век назад еще не было. Цифровая революция принесет новые профессии, о которых мы пока не догадываемся.

Роль человека в будущем часто понимают неверно. У нас есть уникальные способности, которые не скоро обретут машины. Наша моторика намного тоньше, чем у роботов, поэтому мы лучше заменяем детали машин или прокладываем проводку. Даже такие простые операции, как забор крови или прополка грядок, требуют человеческой ловкости и не выполняются автоматикой. Мы легко адаптируемся к меняющимся условиям: начинаем по-новому воспринимать информацию и решать проблемы. Нам свойственны гибкость, воображение, интуиция и творческий подход, которые пока недоступны машинам.

Да, прогресс ИИ и робототехники впечатляет, но будущее не за машинами и не за людьми, а за сочетанием сильных сторон тех и других. Для этого нужен мощный интерфейс «человек — машина», устраняющий разрыв между цифровым и физическим миром. Таким интерфейсом может стать AR. Она расширяет наши возможности, предоставляя все преимущества цифровых знаний и машинных методов. Она изменит процесс обучения и позволит людям осуществлять сложнейшие операции без долгого инструктажа. AR поможет нам взять максимум от цифровой революции.

Что следует учитывать при создании AR

Вопрос, который задают нам клиенты чаще всего — «Что входит в создание приложения дополненной реальности?» Это очень важный вопрос, который требует некоторого обучения со стороны заказчика. Это необходимо для того, чтобы вы, как клиент смогли понять сколько денег и времени потребуется, как строится работа, с чего начать и как в результате получить максимальную выгоду от продукта. Накопленный нами опыт за 5 с лишним лет работы на рынке разработки интерактивных технологий позволяет создать нам краткое руководство к действию.

Сейчас поговорим о том, что стоит учитывать при работе над созданием мобильного AR-приложения: о чем нужно подумать перед составлением ТЗ и на какие параметры стоит обратить больше внимания, а какие бывают SDK, их стоимость и основные характеристики — про них мы расскажем в следующей части 3.

В последующей серии частей мы подробнее обсудим во сколько может обойтись стоимость 3d-моделирования, анимации, кода и др., далее обсудим особенности работы с маркет-плейсами и что в итоге должно быть отражено в ТЗ.

Вот несколько вещей, которые следует учитывать при создании AR.

Что дальше? Мы познакомим вас со значительной частью самых современных инструментов для работы с дополненной реальностью, которая обеспечивает весь процесс разработки AR, включая рендеринг контента и наложение виртуальных объектов на реальный мир, поэтому важно сразу выбрать платформу разработки AR на основе желаемого результата будущего приложения (коммерция, игры, демонстрация и т. д.), а также списка функций приложения.

Как правильно выбрать SDK дополненной реальности

Чтобы проанализировать реальный мир и построить виртуальный объект, задав его координаты относительно плоскости или 2d изображения нам понадобятся специальные средства для разработки дополненной реальности, такие — как SDK.

Основными критериями выбора обычно становятся — тип лицензии, язык программирования и поддерживаемые платформы, последнее особо важно, ведь тут надо понимать — на что нацелено ваше приложение: на умные очки, такие как HoloLens, либо Android, или iOS? Платформа разработки должна это отражать.

Все представители SDK упрощают разработку за счет повышения уровня абстракции и предоставления понятного API. При этом каждый такой фреймворк предназначен для определенной отрасли, например, игровой. У этого подхода есть преимущество — баланс между скоростью разработки и действительно высокой гибкостью.

Мы решили помочь, рассказав вам, какие SDK доступны на рынке и на какие критерии следует обращать внимание при выборе программного обеспечения для создания приложений дополненной реальности. Они имеют свои сильные стороны, как и слабые, а иногда и вовсе приходится работать сразу с несколькими, чтобы достичь определенных результатов.

Начните с типа приложения дополненной реальности

Выбирая лучшее программное обеспечение для создания приложений дополненной реальности, вы должны принять во внимание, какой тип дополненной реальности потребуется вашему приложению, подробнее с примерами о типах мы говорили тут.

Тип лицензии

Деньги. Это то, что в первую очередь должен учитывать любой предприниматель. Поэтому вам следует проверить, какие виды лицензий предлагает каждый SDK дополненной реальности. Обычно бывают бесплатные и коммерческие лицензии. Излишне говорить, что бесплатные функции обычно довольно ограничены, поэтому для создания многофункционального мобильного AR — приложения требуется коммерческая лицензия.

Существует также программное обеспечение дополненной реальности с открытым исходным кодом, в которое разработчики могут вносить свой вклад и добавлять дополнительные функции.

Поддерживаемые платформы

Выбирая SDK дополненной реальности, вы должны проверить, с какими платформами он работает. Конечно, почти любой SDK поддерживает как Android, так и iOS (две наиболее широко используемые мобильные операционные системы).

Но что, если вы решите разработать приложение для Windows Mobile? Некоторые пакеты AR SDK совместимы с универсальной платформой Windows (UWP), которая поможет вам создавать приложения AR для смартфонов и компьютеров под управлением Windows. Существуют также платформы дополненной реальности, которые позволяют разрабатывать приложения AR для macOS. Даже если вам не нужны эти функции сейчас, они могут понадобиться когда-нибудь в будущем.

Поддержка умных очков

Сегодня большинство приложений AR работают через смартфоны, что означает, что пользователи могут видеть виртуальные объекты на экранах своих гаджетов. Однако, есть другой способ наложить объекты AR прямо на реальный мир — умные очки. В отличие от смартфонов, умные очки позволяют использовать дополненную реальность без помощи рук. Поскольку умные очки становятся все более популярными (вспомните Microsoft HoloLens, Vuzix Blade 3000, Epson Moverio BT — 300 и многие другие), возможность создавать мобильные приложения AR, совместимые с этими гаджетами, безусловно, является преимуществом.

Распознавание облака

Если вы хотите создать мобильное приложение AR, способное распознавать множество разных маркеров, вам следует проверить, поддерживает ли комплект разработчика дополненной реальности распознавание облака. Благодаря этой функции маркеры хранятся в облаке, а приложение не требует много места на мобильном устройстве.

Другой важный аспект — количество распознаваемых маркеров. Некоторые комплекты для разработки дополненной реальности поддерживают 100 маркеров, но другие могут распознавать тысячи из них. Излишне говорить, что чем больше маркеров программа разработки AR сможет распознать, тем более продвинутые возможности AR вы сможете создать.

Поддержка Unity

Unity — один из самых продвинутых игровых движков в мире. Обычно он используется для создания игр, компьютеров и консолей, но Unity также поддерживает приложения с дополненной реальностью. Благодаря Unity можно создавать действительно потрясающую графику, поэтому проверьте, совместим ли SDK с Unity.

Обратной стороной использования Unity является его ресурсоемкость, поэтому многие компании предпочитают разрабатывать нативные приложения для iOS и Android.

3D отслеживание

Некоторые из фреймворков дополненной реальности, такие, например, как Vuforia, EasyAR, MaxST поддерживают отслеживание трехмерных изображений, что означает, что они могут распознавать трехмерные объекты, такие как чашки, цилиндры, коробки, игрушки и многое другое. Это значительно расширяет возможности дополненной реальности в мобильных приложениях. Например, отслеживание 3D-объектов можно использовать для создания мобильных игр и приложений AR для электронной коммерции.

Геолокация

Геолокация необходима для создания приложений AR на основе определения местоположения. Например, если вы хотите добавить в свое приложение виртуальные достопримечательности (которые будут показывать, скажем, ближайшие кафе и рестораны), вам понадобится платформа дополненной реальности с поддержкой геолокации. Геолокация также полезна в некоторых мобильных играх с дополненной реальностью (например, Pokemon Go).

Сейчас также наблюдается тенденция разработки приложений для демонстрации арт-объектов или памятников архитектуры. Интересной идеей является реконструкция, пострадавшего от времени, культурного, архитектурного наследия — исходную красоту которого, невозможно оценить без использования AR-технологий.

SLAM

SLAM означает метод одновременной локализации и построения карты. Суть этой технологии довольно проста: SLAM позволяет приложениям отображать среду и отслеживать свои собственные движения в ней. Например, приложение AR может запоминать положение различных предметов в комнате и, таким образом, удерживать виртуальный объект в определенном месте, пока пользователь перемещается по комнате.

Кроме того, эта технология может выходить далеко за рамки добавления объектов AR в комнату. Благодаря SLAM можно создавать карты для внутренней навигации. Имейте в виду, что GPS не работает в помещении, но SLAM работает, поэтому эта технология имеет огромный потенциал.

Если вам интересно узнать какие SDK наиболее востребованы на рынке, узнать их стоимость и основные характеристики, то продолжение этой статьи читайте в следующем выпуске по ссылке

Технология дополненной реальности способна на многое: показать, куда идти, помочь определить объект перед вами и даже поймать Пикачу. В статье расскажем о том, что такое AR, и с чего начать разработку собственного приложения.

Григорий Дядиченко

Технический продюсер, занимаюсь подбором команд и разработкой проектов под заказ

Рафаиль Галиев

СРО МТС Live

1. Виды дополненной реальности: маски, объекты, эффекты
2. Технологии, которые вписывают AR в пространство вокруг вас
3. Как телефон «видит»
4. Ограничения мобильной дополненной реальности
5. Приложения, которые позволяют создавать примитивные AR-сцены на смартфоне
6. Интерактивная и анимированная дополненная реальность своими руками
7. Где брать модели для своих AR-проектов: бесплатно и красиво
8. Приложения для разработки масок
9. Когда в AR-проекте нужен код?

Виды дополненной реальности: маски, объекты, эффекты

Вся дополненная реальность базируется на технологиях трекинга — отслеживания позиций объектов в реальном пространстве. Это позволяет привязывать графику к реальным объектам.

Виды AR разделяются на виды трекинга — какая технология используется, чтобы разместить виртуальный объект в реальном пространстве:

1. Если точкой отсчёта является лицо — это AR-маска. Интересно, что технология берёт начало в задачах компьютерной безопасности. Когда-то многие компании вложили деньги в то, чтобы сделать автоматическую систему пропусков, распознавания лиц для поиска преступников и мошенников. Заодно это привело к буму масок.
2. Если точкой отсчёта является реальное пространство — это AR-объект.
3. Всё остальное — это AR-эффект. Например, технологии примерки одежды или обуви. Некоторые из них работают по принципу отслеживания лица, головы, но бóльшая часть — по принципу карты глубины (о ней ниже), либо построения скелета тела.

Маркерная технология (marker-based). Позволяет привязываться к меткам, которыми чаще всего выступают картинки или 3D-объекты (работает сильно хуже). Для меток лучше всего подходят контрастные и малоградиентные изображения. Получаются эффекты вроде оживающих картин из «Гарри Поттера». Под капотом у неё решается задача Perspective-n-Point — восстановление точек в 3D-пространстве по их перспективной проекции на плоскость камеры устройства. Благодаря ей можно восстановить положение телефона относительно картинки с камеры.

Источник: «Pose Estimation for Augmented Reality: A Hands-On Survey» Eric Marchand, Hideaki Uchiyama, Fabien Spindler

Основной плюс маркерной технологии — широкое покрытие устройств и стабильность работы. Она отлично подходит для решений, рассчитанных на широкую аудиторию, так как не требует большой производительности.

Безмаркерная технология (marker-less). Появилась позже, она отслеживает положение устройства в пространстве, используется не только в мобильных телефонах, но и в шлемах виртуальной реальности. Базируется на методе, который называется SLAM. Благодаря ему можно размещать графику в реальном пространстве, ходить вокруг, при этом нет необходимости, чтобы в кадре камеры присутствовала метка. Они, в принципе, не нужны, графика будет работать где угодно, пример — Pokemon GO.

Как телефон «видит»

Очевидный ответ — через камеру. Однако изображение уточняется набором датчиков.

• Магнитометр выступает как компас, определяет, где находится север.
• Гироскоп определяет угол наклона и положение устройства.
• Акселерометр определяет изменения скорости движения и вращения устройства.
• Датчик глубины вычисляет расстояние до объекта.

Уточнять данные, полученные смартфоном от датчиков, помогает искусственный интеллект. Алгоритмы компьютерного зрения помогают отличать объекты друг от друга, понимать, где заканчивается один объект и начинается другой. Например, Google Depth API — библиотека, которая позволяет при помощи компьютерного зрения составлять 3D-карту пространства.

Такие библиотеки также помогают реализовать окклюзию — это когда реальный физический объект перекрывает виртуальный и наоборот.

Ограничения мобильной дополненной реальности

Обсчёт AR сильно расходует заряд батареи, поэтому в AR-опытах, как правило, не делают скидок на качество графики — то, что можно увидеть, должно быть красиво, хотя и недолго. На этом построен принцип использования технологий дополненной реальности.

Телефон быстрее нагревается, из-за чего процессор начинает тормозить. Это называется троттлинг — снижение частоты процессора.

Есть проблемы с реалистичностью. Ощущение реальности в 3D-графике связано с отражениями, бликами и тенями на материалах объектов. В играх — окружение виртуальное, там можно строить карты отражений, чтобы всё правильно отражалось. А в AR окружение реальное, причём вся известная о ней информация поступает с камеры.

Положение источников света во всей комнате или на улице по кадру определить невозможно, поэтому в дополненной реальности свет и тень имитируют, чтобы картинка была похожа на реальную. К физическим процессам это отношения не имеет.

Приложения, которые позволяют создавать примитивные AR-сцены на смартфоне

Есть приложения, которые поставляются с готовым набором встроенных моделей. К сожалению, импортировать свои объекты в них не получится.Такие приложения ограничены в функциональности и не позволяют подгружать свои модели и делать более проработанные сцены. Все эти приложения, кроме Assmblr, работают без маркеров:

— Around позволяет размещать 3D-объекты из готовой библиотеки, а также смотреть проекты других пользователей в определённом радиусе.

— Scenecam позволяет располагать сразу несколько объектов из библиотеки приложения на плоскости, добавлять к ним различные эффекты — например, огонь.

Источник: appadvice.com

— Assemblr позволяет создать сцены с видео, объектами из встроенной галереи, изображениями и гифками. Также есть возможность распечатать маркер и воспроизводить сцену в любом месте, где он расположен. Можно снимать видео или фото со сценой.

Источник: assemblrworld.com

— Holo включает в себя библиотеку платных и бесплатных анимированных моделей, которые можно располагать в реальном пространстве.

Источник: Mashable.com

Чтобы работать с дополненной реальностью более прицельно необходимо освоить редакторы дополненной реальности, движок Unity и прилагающиеся к нему SDK по работе с AR — например, AR Foundation или Vuforia.

Что посмотреть для знакомства с предметом:

AR for everyone — full course

Курс по AR Foundation

Интерактивная и анимированная дополненная реальность своими руками

Один из инструментов — Reality Composer — чтобы пользоваться им не требуется никаких навыков кодинга. Это редактор дополненной реальности для iOS, iPadOS и Mac, он работает только с форматом .usdz. Размещать, двигать и поворачивать объекты дополненной реальности можно обычным перетаскиванием. Можно задавать триггеры, чтобы, например, по нажатию пальца у ваших объектов запускалась анимация.

Вот ссылка на уроки по инструменту.

Рабочее пространство Reality Composer. Источник — Lyndsey Stuttard / youtube.com

Другой полезный конструктор — Adobe Aero. Уроки по инструменту здесь.

Рабочее пространство Adobe Aero. Источник — J. Stephen Lee / youtube.com

Он способен работать с .fbx и .gltf моделями, принимать сцены из компьютерного 3D-редактора Adobe Dimension. Это открывает большие возможности для моделирования и анимации. Недостаток — приложения доступны только для платформ iOS, iPadOS и Mac.

Где брать модели для своих AR-проектов: бесплатно и красиво

Готовые модели лучше всего скачивать из следующих источников:

• Free3d.com
• Sketchfab
• Asset Store в Unity
• Turbosquid

Форматов много, но самые распространённые — .fbx, .obj, .c4d. Для ПО от Apple — главный формат это .usdz. Процесс импорта модели не идеален, разные приложения поддерживают разные форматы. Можно столкнуться с проблемами неподцепившихся текстур или пропавших анимаций.

Не все 3D-форматы содержат информацию о текстурах, анимации и так далее. Формат .obj, например, несёт только данные о геометрии, обычно вместе с ним идёт .mtl файл, который содержит цвет и текстуры.

Приложения для разработки масок

Одно из самых крупных принадлежит Snapchat — это Lens Studio. Это инструмент визуального программирования, разобраться с которым можно без знания программирования. В нём можно проектировать как маски, так и эффекты. Он не ограничивается созданием визуальных эффектов для лица. В приложении можно переключиться на основную камеру девайса и разрабатывать AR-сцену для любой плоскости.

Оно доступно как для WIndows, так и для MacOS. Предлагает большой инструментарий: работа с текстурами, со светом, анимирование и подключение звука к цифровым объектам.

Когда в AR-проекте нужен код?

Для минимального AR-приложения достаточно Unity и AR Foundation. Чтобы поставить кубик в трёхмерном пространстве, не нужно написать и строчки кода. Код потребуется для описания логики поведения объектов. Если хочется, чтобы объект, например, по нажатию подпрыгивал, этого не сделать без скрипта.

Представим базовый кейс: вы прошлись с телефоном по квартире, просканировали пространство, поставили кубик. Теперь вы хотите, чтобы он отлетал от стен по нажатию. С некоторой точностью это можно сделать на ARKit, ARCore и AR Foundation. Они позволяют сканировать пол и стены и делать базовые физические взаимодействия. Но для того чтобы их сделать, нужно будет написать скрипт — обработчик того, что нажатие применяет импульс к объекту.

Примечание Технологии виртуальной и дополненной реальностей широко распространены в строительстве. Рекомендуем взять приведённые инструменты на заметку.

Во всём остальном SDK Unity реализовано так, что без сложной логики всё делается без кода. В большом проекте без кода не получится — там начинаются сложности, связанные с бизнес-логикой системы и тонкими настройками технологий ARCore или ARKit. В небольшом проекте можно сделать полный no-code, за исключением физических взаимодействий, описанных выше.

В последнее время очень часто появлялась дополненная реальность, особенно AR на основе Flash. Я расскажу вам, как создать несколько простых, но изящных эффектов, которые вы можете разместить на своем веб-сайте.

---

Введение: дополненная реальность

Дополненная реальность была оценена как одна из самых горячих тенденций 2010 года. Идея, лежащая в основе этого, довольно проста: над физическим миром лежит классная графика, которая, кажется, занимает то же пространство, что и вы.

Многие компании использовали его как отличный рекламный инструмент. Adidas недавно надели их на свои ботинки и сделали очень классную игру.

Lego использует его как способ визуализировать, как будут выглядеть их продукты, когда вы закончите их создавать.

Некоторые фрилансеры используют его как очень классную визитку и рекламный инструмент . AR позволяет вам создать более впечатляющую визитную карточку совершенно бесплатно, и вы можете разместить на ней больше информации.

В январе этого года я выполнил проект для университета, где создал переносную систему дополненной реальности. Здесь была виртуальная галерея, которая, как вы гуляли, рассказала очень трагическую историю.

Проверьте видео на Youtube .

Я подошел к созданию AR с точки зрения дизайна, очень мало зная о кодировании в AS3. Я здесь, чтобы поделиться с вами тем, что я узнал, потому что начинающим было очень трудно узнать что-либо об этом предмете. Это был просто вопрос начинать все с нуля.

Теперь я уверен, что у вас полно идей для создания вещей, давайте создадим ваш первый проект дополненной реальности: добавление глубины к плоскому листу бумаги.

---

Введение: flARToolkit

flARToolkit – это флеш-версия библиотеки дополненной реальности на C-коде, известной просто как ARToolkit. Он был преобразован очень очень опытным японским кодером, известным как saqoosha . Он делает все сумасшедшие вещи с дополненной реальностью, и если вы можете читать по-японски или готовы пробираться через множество постов, которые едва ли имеют смысл при переводе, то вы можете многому научиться у него. Он создал печально известный эффект «дыры в стене», который продемонстрирован в проекте празднования Нового года, который он создал, чтобы приветствовать в 2009 году.

Совсем недавно он продемонстрировал, что вы можете связать вместе разные маркеры и другие замечательные эффекты, о которых я только мечтал создать.

---

Шаг 1: Как добраться до источника

Squidder.com изменил существующую библиотеку flARToolkit, класс flARManager, чтобы иметь возможность обрабатывать события и несколько объектов. Интересно, что они публикуют свой исходный код и так называемое «как», но на самом деле никогда не объясняют свой код. Мне потребовалось некоторое время, чтобы понять, как получить несколько объектов, которые могут быть разными. Теперь я должен отметить, что сначала я дизайнер, а программирование – это желание создавать сумасшедшие вещи. Я подошел к этому, желая, чтобы конечный результат работал, а не заботился о лучших способах кодирования вещей.

Давайте загрузим код из их исходного поста на эту тему и рассмотрим его.

Изменить: Squidder.com в настоящее время не работает; используйте эту ссылку вместо: http://kablamo.co.uk/flarsquidderkit.zip

Загрузите файл с именем «flarsquidderkit.zip», распакуйте файл .zip и откройте основную папку. Обратите внимание, что если вы не распакуете папку .zip, вы не сможете правильно открыть .swf или отредактировать нужные вам файлы. Поэтому, как только вы это сделаете, вы увидите 3 ключевые папки: deploy, fla и src. Вы также увидите файл с именем “flardrums.pdf”.

---

Шаг 2: Время воспроизведения

У нас есть наши маркеры, распечатайте их, чтобы мы могли проверить их и посмотреть, как работает источник.

Откройте папку развертывания и откройте MultiFLARExample.swf. Примите веб-камеру и начните играть с маркерами.

В видео-демонстрации, которую они создали, вы проводите рукой по каждому маркеру отдельно и видите, как они издают звуки, когда они исчезают. Это было написано в Squidder. Они добавили два события, MARKER_ADDED и MARKER_REMOVED. Мы рассмотрим, как использовать эти события позже.

Теперь вы знаете, как это выглядит в настоящее время, давайте приступим к модификации их исходного кода, чтобы сделать некоторые интересные вещи для нас.

---

Шаг 3: Есть кодирование, чтобы сделать

В этом уроке я предполагаю, что у вас есть базовые знания AS3 и таблиц классов.

Откройте папку fla и дважды щелкните «multiFLARExample.fla». На панели свойств вы должны увидеть поле класса, заполненное MultiFLARExample. Вам нужно щелкнуть значок карандаша рядом с полем класса, чтобы мы могли начать смотреть на код.

---

Шаг 4: MultiFLARExample

Сразу же вы увидите обычный код импорта сверху и снизу с некоторыми основными переменными для источников света.

Далее интересная часть, код, который загружается в маркеры. Как видите, маркеры загружаются в массив, чтобы их можно было легко вызвать позже. Обратите внимание на порядок, в который они загружены здесь. Первый маркер в массиве получает идентификатор 0, следующий – 1 и так далее. Мы будем использовать эти идентификаторы позже.

Также обратите внимание на частные функции _addCube и _getFlatMaterial как это два других раздела, на которых мы сосредоточимся на редактировании сегодня. Они довольно понятны в том, что они делают, но они странным образом настроены. Они были закодированы для простоты получения одного и того же объекта в нескольких цветах, а не во множестве разных объектов, поэтому мы должны внести несколько изменений.

---

Шаг 5: Ch-Ch-Changes

Хорошо, давайте изменим некоторый код. Давайте изменим его на более пригодное для использования состояние, но пока мы сохраним внешний вид. Когда я выяснял все это, было странным облегчением узнать, что все сводится к утверждениям в конце. If заявления просто волшебны и полезны, когда дело доходит до кодирования вещей.

В функции _addCube замените этот код:

со следующим кодом:

Шаг 6: протестируйте фильм

Теперь это может показаться запутанным способом работы с кубами, но это позволяет нам иметь дело с каждым отдельным кубом. Например, в приведенном выше коде я изменил ось z кубов, чтобы продемонстрировать вам, что код теперь обрабатывает каждый куб как отдельный объект. Давайте попробуем фильм, у вас должно быть что-то на этот счет:

Шаг 7: Пояснения

Прежде чем мы продолжим, позвольте мне объяснить код, который вы только что ввели. Это довольно просто, и если вы использовали papervision3D, прежде чем сможете пропустить эту часть.

Здесь мы создаем новую переменную, cube . Эта переменная содержит всю информацию, необходимую для визуализации куба и определения его внешнего вида. Часть MaterialsList относится к материалу, используемому для внешней части куба. Поскольку мы хотим, чтобы на каждой стороне был один и тот же материал, и этот материал содержится в переменной, созданной ранее в коде, мы используем {all: fmat} . Я расскажу больше о переменной fmat позже. Наконец, три 40-х годов – это размеры куба, ширина, высота и глубина. Конечно, они не обязательно должны быть одинаковыми, хотя это куб. Вы можете использовать метод куба для создания прямоугольных кубовидных фигур, если хотите.

Это устанавливает значение z куба. Вот как высоко куб сидит над маркером. 0 – это центральная линия куба, поэтому установка его на половине высоты фигуры означает, что он находится точно над маркером.

dispObj относится к экранному объекту, который был создан ранее в коде. Экранный объект отобразит ваш объект на экране. Внутри одного экранного объекта вы можете загрузить столько фигур, сколько захотите, поэтому сейчас мы загрузим в него все наши фигуры.

Отлично, теперь, когда вы знаете, как это работает, давайте продолжим редактировать код. Вам действительно не нужна функция _getFlatShadeMaterial поэтому давайте отредактируем все это вместе, не так ли? Делая это таким образом, мы также можем дать разные материалы каждому объекту.

---

Шаг 8: Собираем это вместе

Вы хотите найти эту строку в своем коде:

Теперь мы собираемся отредактировать переменную fmat чтобы вместо вызова функции она вызывала новый flatShadeMaterial, в котором мы определяем цвета. Позже я буду иметь дело с другими материалами, включая растровые материалы.

Заменить _getFlatMaterial(id); с:

Три параметра устанавливают источник света для flatShadeMaterial, плоский цвет, а также цвет тени. Это даст нашему объекту более реалистичный эффект, когда мы поворачиваем и вращаем его в физическом пространстве.

Теперь под этой строкой мы хотим добавить:

Теперь, когда мы создали переменную для каждого из наших объектов, мы хотим изменить код куба, который я дал вам ранее. Вместо того, чтобы просто использовать fmat в качестве материала для всех наших кубов, вы должны изменить его на fmat, fmat2, fmat3 и fmat4 чтобы наши кубы выглядели по-другому.

После того как вы это сделали, теперь вы можете наконец удалить функцию _getFlatMaterial .

Удалите следующие строки кода:

Шаг 9: снова протестируй фильм

А теперь давайте проверим снова. Если все сделано правильно, оно должно выглядеть точно так же. Какое достижение, а?

Это может показаться немного, но мы только что создали основу для создания множества различных объектов.

Шаг 10: Материалы

Хорошо, давайте перейдем к чему-то более полезному. Растровый материал. Большинство людей хотели бы поместить свои собственные изображения в AR как отличный способ представить свою работу; Это достигается использованием изображения в качестве материала.

Это фантастически просто. Я создал следующее изображение для вас, так как я покажу вам, как использовать растровые материалы через веб-ссылку.

Во-первых, вам нужно импортировать класс BitmapFileMaterial . В верхней части таблицы кода, куда импортируются все остальные классы, добавьте следующую строку:

и измените свой материал fmat следующим образом:

Теперь давайте проверим это, оно должно выглядеть так:

Насколько просто это было?

Шаг 11: сделать это отверстие

Теперь, когда я показал вам, как создать куб, который находится над маркером, давайте создадим куб, который расположен ниже маркера, чтобы создать дыру в эффекте стены .

Этот эффект был первоначально представлен и объяснен Сакушей. К сожалению, он объяснил это по-японски и для papervision3d, а не для использования с flARToolkit, поэтому были внесены некоторые изменения.

Вам нужно импортировать эти два класса:

Добавьте эту строку под _lightpoint с другими частными переменными:

и затем под var dispObj : DisplayObject3D = new DisplayObject3D(); добавить следующее:

По сути, здесь происходит то, что у вас будет два куба, один из которых зеленый, а другой образует внутренний вид. Они будут сидеть один внутри другого. Фильтр области просмотра замаскирует все, что имеет тот конкретный зеленый цвет, к которому мы установили внешний куб, давая эффект, что в маркере есть отверстие.

Теперь мы создадим два куба.

Удалите существующий код куба и замените его следующим:

Обратите внимание, что для материалов мы импортируем два файла .jpg из папки активов. Эта папка находится внутри главной папки развертывания, где находится файл MultiFLARExample.swf. Вы можете скачать следующие изображения, которые я создал, или сделать свои собственные.

Шаг 12: Проверьте отверстие

Пройдите тест, и у вас должно получиться что-то вроде этого:

Шаг 13: Создание маркеров.

К настоящему времени вы, вероятно, устали от того, что держите в руках потрепанный лист бумаги с четырьмя маркерами. Вы хотите иметь свой собственный маркер, так что давайте сделаем это. С помощью нескольких онлайн-инструментов и Photoshop вы можете создать свой собственный маркер за считанные минуты.

Во-первых, давайте сделаем ваш маркер. Вам не нужно использовать дизайн, подобный штрих-коду, как на маркерах, которые вы используете в настоящее время, но, если вы используете много маркеров, тогда штрих-код – это лучший способ. Если вы используете один или два, тогда сходите с ума от дизайна. Для моего дизайна маркера я использовал K из логотипа моего сайта.

Если вы делаете это для визитной карточки или какого-либо рекламного материала, подумайте о том, как выглядит маркер, так как вы можете сделать несколько очень приятных на вид маркеров, которые вписываются в дизайн больше.

Вам нужно настроить документ Photoshop, готовый для создания маркера. Для базового маркера создайте файл размером 800×800 пикселей с границей в 150 пикселей. Или загрузите это изображение ниже:

Шаг 14: Генератор онлайн-маркеров

Белый квадрат в середине – это место, где вы можете разместить свой маркер. Распечатайте маркер, а затем посетите онлайн-генератор маркеров.

У них есть онлайн-создатель маркеров, который берет ваш маркер и создает файл .pat, который работает с вашим кодом. Это довольно странно, у них есть опция загрузки, но я никогда не заставлял ее работать (распечатка работает просто отлично). Существует также приложение AIR, которое выполняет ту же работу, но пока это нормально.

Установите сегменты маркера на 16×16 и размер маркера на 50%, покажите свой маркер своей веб-камере, и когда красный маркер окружает ваш маркер, нажмите на шаблон получения, если вы довольны тем, как он выглядит в окне предварительного просмотра, нажмите Сохранить.

Если ваш маркер выглядит действительно странно в предварительном просмотре или красный квадрат не появляется, вам может понадобиться изменить дизайн вашего маркера. Вы также должны убедиться, что вокруг маркера есть пробел, иначе Flash его не узнает.

Когда появится диалоговое окно, не просто загрузите его куда-либо, вам нужно поместить файл .pat в определенную папку. Перейдите в папку flARToolkit> deploy> assets> flar, и вы найдете там четыре других файла .pat. Сохраните свой шаблон и запомните, как вы его назвали. Я назвал мой “kmarker.pat”

Шаг 15: измени код

Вернувшись во флэш, найдите эту строку:

И измените crash.pat на то, что вы назвали маркером.

Если вы протестируете свой Flash-файл, то обнаружите, что ваш новый маркер отлично все подхватывает.

Вывод

Спасибо за чтение этого введения в дополненной реальности. Надеюсь, вам понравилось, и это заставило вас задуматься о создании собственных проектов AR. В следующей части этого урока я расскажу о том, как анимировать объекты с помощью TweenMax, сделать маркеры немного более приятными для воспроизведения, импортировать 3D-модели и сделать все красивее.

Дополненная реальность – одна из многих технологий взаимодействия человека и компьютера.
Ее
специфика
заключается в том, что она программным образом визуально совмещает два изначально независимых
пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере.

Новая
виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх
видеосигнала с камеры, и становится интерактивной путем использования специальных маркеров.

Дополненная реальность уже много лет используется в медицине, в рекламной отрасли, в военных
технологиях, в играх, для мониторинга объектов и в мобильных устройствах.

Основа технологии дополненной реальности – это система оптического трекинга. Это значит, что
«глазами» системы становится камера, а «руками» — маркеры. Камера распознает маркеры в
реальном мире, «переносит» их в виртуальную среду, накладывает один слой реальности на другой и
таким образом создает мир дополненной реальности.

Существуют три основных направления в развитии этой технологии:

Стараясь исключить технологические риски и обойти проблемные моменты, при разработке прототипа
программного комплекса, мы остановили свой выбор на надежной и проверенной маркерной технологии
дополненной реальности.

Так же, использование маркерной технологии имеет дополнительные преимущества в плане внедрения в
методическую часть наглядных печатных материалов, используемых в общеобразовательных учреждениях при
изучении конкретной темы и проведении практических работ по ней.

Примеры приложений с AR технологиями

Технология дополненной реальности это, в основе своей, программное обеспечение. То есть это
специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую
интерактивную систему.

Основная задача системы – определить трехмерное положение реальной метки по ее снимку, полученному с
помощью камеры. Процесс распознавания происходит поэтапно. Сначала снимается изображение с камеры.
Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона – рамки метки.
Поскольку видео передается в формате 2D, то и найденная на кадре рамка метки определяется как 2D
контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача –
определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы –
построить виртуальную 3D модель в двухмерной системе координат изображения камеры. И привязать ее к
метке.

После этого, как бы мы ни передвигали метку в реальном пространстве, виртуальная 3D модель на ней
будет точно следовать за движением метки.

К сожалению, маркерная технология, как и  любая другая технология, имеет ряд возможных проблем в
работе с метками. Бывает, что при движении метки объект может «соскочить» с нее или вовсе исчезнуть
с экрана. Это означает, что камера просто перестала «видеть» метку. Есть пять основных причин для
этого.

Первое, в чем может заключаться проблема, это освещение. Затемненная зона, слишком яркое направленное
освещение, лампа дневного света, светочувствительность камеры, — все эти параметры напрямую влияют
на уровень распознавания метки.

Вторая проблема – это расположение реальной метки в пространстве по отношению к камере. Поскольку
камера должна четко и целиком видеть рамку метки, она не сможет распознать ее, если метка будет под
наклоном или если область рамки будет закрыта, например, рукой. Еще одна причина – слишком
быстрое перемещение метки из стороны в сторону. Большинство любительских камер просто не успевает
отследить ее перемещения по частоте кадров в секунду и «теряет» метку вместе с моделью.

Если первые две сложности легко устранить, просто следуя инструкции по применению, то есть и третья,
более серьезная проблема. Она связана с калибровкой камеры. Калибровка нужна, чтобы построить модель
реальной камеры в компьютерном пространстве.

Для того чтобы добавить перспективу и глубину в 2D картинку, которая отображается с камеры на экран,
нужно определить параметры перспективной проекции для камеры. Это можно сделать в домашних условиях,
используя «шахматную доску» и специальное программное обеспечение.

Еще одна проблема, которая часто относится к web-камерам, — это низкое разрешение камеры.
Любительская оптика, тем более встроенные камеры на ноутбуках, как правило, не обладают хорошими
объективами с высоким разрешением. Поэтому они дают больше нелинейных искажений и проблем в работе с
метками дополненной реальности. Например, если метка будет находиться слишком далеко от камеры или
на границе ее видимости, то последняя ее просто «не увидит». Этот вопрос решается покупкой камеры с
более высоким разрешением и ее последующей калибровкой.

И последняя проблема – это программное обеспечение. Некоторые алгоритмы распознавания могут иметь
ошибки и давать погрешности во время распознавания рамки и «чтения» картинки метки. В этом случае
модели могут отображаться некорректно (например, на метке с совой может появиться совсем другой
объект) или вовсе исчезать с экрана.

Аппаратная часть, для реализации базовых функций технологии дополненной реальности должна решать 3
основных задачи: получать видеопоток хорошего качества, иметь возможность обработать данный
видеопоток и дополнить слоем с виртуальными объектами и, конечно же, вывести обработанные данные на
устройства вывода для восприятия конечным пользователем.