Vizuara AI Labs - Dr. Rajat Dandekar → Master LLM Inference (Phase 1: Foundations & Optimization)

• Понимать архитектуру современных систем инференса LLM и ключевые этапы обработки запроса.
• Оптимизировать производительность больших языковых моделей по задержке, пропускной способности и использованию GPU.
• Работать с памятью GPU, KV cache, механизмами внимания и ограничениями аппаратных платформ.
• Применять квантизацию моделей для ускорения инференса и снижения потребления ресурсов.
• Использовать популярные фреймворки и инструменты: vLLM, SGLang, FlashAttention, TensorRT-LLM, Ray Serve и Megatron-LM.
• Развертывать LLM на локальном компьютере, сервере, Raspberry Pi 4, Android-устройстве и NVIDIA Jetson Orin Nano.
• Проектировать production-ready AI-сервисы с масштабируемой архитектурой.
• Готовиться к техническим собеседованиям, где проверяют понимание системного дизайна LLM-инференса.

• Основы инференса LLM и жизненный цикл запроса.
• Prefill, decode, batching и continuous batching.
• KV cache и оптимизация использования памяти.
• Механизмы внимания и FlashAttention.
• Квантизация моделей и компромиссы между скоростью, качеством и потреблением памяти.
• Профилирование производительности и поиск bottleneck-компонентов.
• Практическая работа с vLLM, SGLang, TensorRT-LLM и другими инструментами.

• Промышленное развертывание LLM-сервисов.
• Распределенные вычисления и масштабирование инференса.
• Ray Serve и подходы к обслуживанию большого числа запросов.
• Edge-инференс на компактных устройствах.
• Запуск моделей на Raspberry Pi 4, Android и NVIDIA Jetson Orin Nano.
• Сравнение аппаратных платформ и анализ производительности.
• Построение надежных production-ready AI-приложений.

• Локальный компьютер для базового запуска и тестирования моделей.
• Google Colab для лабораторных работ и экспериментов.
• Raspberry Pi 4 для изучения ограничений edge-инференса.
• Android-устройство для запуска LLM на мобильной платформе.
• NVIDIA Jetson Orin Nano для практики с компактным GPU-ускорителем.

• Загрузка и подготовка модели.
• Настройка сервера инференса.
• Оптимизация latency и throughput.
• Анализ производительности каждого компонента.
• Подготовка сервиса к production-сценариям.

• Интеграция LLM с чат-интерфейсом.
• Разработка логики AI-ассистента.
• Использование диалогов для улучшения качества ответов.
• Применение подходов reinforcement learning в прикладном сценарии.

• vLLM — высокопроизводительный inference engine для обслуживания LLM.
• SGLang — фреймворк для эффективного выполнения LLM-приложений.
• FlashAttention — оптимизированные механизмы внимания для ускорения работы трансформеров.
• TensorRT-LLM — инструменты NVIDIA для оптимизации инференса больших моделей.
• Ray Serve — решение для масштабируемого serving-а AI-моделей.
• Megatron-LM — фреймворк для работы с крупными языковыми моделями и распределенными вычислениями.
• Google Colab — среда для лабораторных работ и экспериментов.

• ML-инженерам, которые хотят глубже разобраться в оптимизации и развертывании LLM.
• Backend- и infrastructure-инженерам, работающим с AI-сервисами и высоконагруженными системами.
• Data scientists, которые хотят перейти от экспериментов с моделями к production-разработке.
• AI-разработчикам, создающим чат-ботов, ассистентов и LLM-приложения.
• Техническим специалистам, готовящимся к собеседованиям в AI-компании.
• Основателям и техническим лидерам, которым нужно понимать стоимость, ограничения и архитектуру LLM-инференса.

• Понимание внутренних механизмов работы LLM во время инференса.
• Навык оптимизации моделей под разные аппаратные платформы.
• Опыт работы с industry-standard инструментами для LLM serving.
• Умение проводить профилирование и принимать инженерные решения на основе метрик.
• Два практических проекта для портфолио.
• Более уверенная подготовка к техническим интервью по LLM-инфраструктуре.

Версия курса с водяными знаками

Вы находитесь на странице товара «Vizuara AI Labs - Dr. Rajat Dandekar → Master LLM Inference (Phase 1: Foundations & Optimization)». Это более доступная версия материала, в которой присутствуют водяные знаки. Такой вариант подходит тем, кому важна минимальная цена и кто готов пользоваться материалом с отметками на видео, скриншотах или других файлах курса.

Материал относится к периоду/дате выхода: 2026. Доступ предоставляется через: Облако Mail.

Главное отличие этой версии — наличие водяных знаков, за счёт чего цена ниже.

Обучающий курс находится в рубрике «Программирование». Также на сайте можно найти другие материалы автора «Vizuara AI Labs». Стоимость этой версии на MANY-COURSES.NET составляет 179 рублей.