Проект подразумевает платформу, которая в последствии может заменить архитектурное бюро. Пользователь задает описание города, который нужно построить. Платформа рисует небольшой концепт города (например набережная либо футуристический город), на основе которого производится презентация заказчику.
Cократить расходы на работу дизайнеров и архитекторов в компании.
Вызовы
- Развертывание инфраструктуры: Создание и настройка вычислительного сервера для инференса моделей и обучения моделей.
-
Настройка программного окружения: Подготовка и настройка программного окружения для инференса и обучения моделей.
-
Подготовка данных: Формирование тренировочных наборов данных для общих планов города (Aerial View) и близких планов зданий, подготовка данных для предпочитаемых стилей.
-
Обучение и тестирование моделей: Реализация подхода LoRA для обучения вспомогательных нейронных сетей, обучение тестовых LoRA-модулей на подготовленных данных и тестирование работы модулей для различных базовых моделей.
-
Интеграция с Automatic WebUI: Интеграция моделей с ПО Automatic WebUI для обеспечения удобного интерфейса работы с моделями и реализации дополнительных функций.
Решения
-
Развертывание инфраструктуры: Для инференса моделей использовался вычислительный сервер на базе Linux с видеоадаптером Nvidia Tesla. Для обучения моделей использовался видеоадаптер Nvidia Tesla.
- Настройка программного окружения: Для инференса использовалось окружение на базе Python 3.11, Pytorch 2.0.0, библиотеки bitsandbytes и xformers. Для реализации обучения по методу LoRA использовано ПО kohya-ss. Метод LoRA (Low-Rank Adaptation) позволил эффективно обучать небольшие вспомогательные нейронные сети, которые затем подключаются к основной модели Stable Diffusion и направляют процесс генерации. Это дало возможность гибко переключать такие модули под конкретные задачи, не обучая заново всю модель. В качестве интерфейса для работы с моделями использовано ПО Automatic WebUI. Это ПО имеет открытое API, что позволило глубоко интегрировать его и реализовывать дополнительные функции.
- Подготовка данных: Были сформированы тренировочные наборы данных для общих планов города (Aerial View) и близких планов зданий. Данные подготовлены для предпочитаемых стилей.
- Обучение и тестирование моделей: Реализован подход LoRA для обучения вспомогательных нейронных сетей. Обучены тестовые LoRA-модули для подготовленных данных. Проведено тестирование работы модулей применительно к различным базовым моделям.
Что у нас есть
- Был успешно настроен вычислительный сервер на базе Linux с видеоадаптером Nvidia Tesla T4 или A4000 для инференса моделей.
- Было успешно подготовлено программное окружение на базе Python 3.11, Pytorch 2.0.0, библиотек bitsandbytes и xformers.
- Были сформированы тренировочные наборы данных для общих планов города (Aerial View) и близких планов зданий.
- Тестовые LoRA-модули были обучены на подготовленных данных.
- Была реализована интеграция и использование открытого API Automatic WebUI для обеспечения удобного интерфейса работы с моделями и реализации дополнительных функций.