Тижин Артём Романович

NLP / LLM / Deep Learning
Студент 4 курса. Ищу стажировку в области NLP и LLM. Имею практический опыт разработки и оценки LLM-пайплайнов: работал с трансформерными моделями, строил retrieval-системы (RAG), решал задачи NER и занимался автоматической оценкой качества моделей. Есть опыт дообучения моделей с использованием PEFT-подходов (LoRA, Prefix-Tuning), а также работы с инференсом и оптимизацией моделей. В рамках Зимней школы факультета ИИ МГУ работал с VLA-подходами. Активно участвую в хакатонах и интересуюсь современными подходами в области LLM.

Проекты

LLM Hallucination Benchmark with LLM-as-a-Judge (RU)
Бенчмарк для оценки правдивости LLM и склонности к галлюцинациям
  • Перевёл и адаптировал датасет TruthfulQA на русский язык.
  • Реализовал pipeline оценки с использованием LLM-as-a-judge: генерация ответов, автоматическая оценка и расчёт агрегированных метрик.
  • Использовал метрики truthfulness, hallucination rate и overall score.
  • Сравнил модели LLaMA, Qwen и GPT-oss, выполнил анализ качества и визуализацию результатов.
RAG QA System with Re-ranking
Система question answering на базе retrieval-augmented generation
  • Построил pipeline на LangChain и Qdrant: чанкинг документов, генерация эмбеддингов и retrieval по cosine similarity.
  • Использовал датасет rus_xquadqa.
  • Интегрировал cross-encoder reranker для повышения качества retrieval.
  • Провёл сравнение качества по EM и F1 с reranker и без него, показал улучшение точности ответов.
Исследование PEFT для Mamba на Long Range Arena
Студкемп «Математика ИИ»
  • Проводил эксперименты на архитектуре Mamba в задачах Long Range Arena.
  • Сравнивал методы PEFT: Periodic-Tuning, Prefix-Tuning и LoRA.
  • Periodic-Tuning (~84.1%) превзошёл Prefix-Tuning (~82.8%), но уступил LoRA (~85.3%) и Full Fine-Tuning (~85.9%).
  • Сделал вывод о хорошем балансе качества и числа обучаемых параметров у Periodic-Tuning.
NER для поисковых запросов
Хакатон X5 Retail Group
  • Разработал модель извлечения сущностей TYPE, BRAND, VOLUME и PERCENT (BIO-разметка).
  • Применял weighted focal loss, data augmentation и post-processing (regex).
  • Основная метрика — macro-F1; решение разрабатывалось с учётом ограничения по времени ответа.
Сервис защиты данных в LLM
Альфа-Банк Hackathon
  • Разработал сервис-обёртку над LLM для маскирования и демаскирования конфиденциальных данных в запросах и ответах модели.