Рекомендательные системы и поиск закономерностей в данных — различия между версиями

Материал из Wiki - Факультет компьютерных наук
Перейти к: навигация, поиск
(→‎Журнал занятий)
(→‎Журнал занятий)
 
(не показаны 22 промежуточные версии этого же участника)
Строка 1: Строка 1:
 
==Темы==
 
==Темы==
  
−
*  Введение в рекомендательные системы (РС). Обзор курса.
+
* Введение в рекомендательные системы (РС). Обзор курса.
 
* Коллаборативная фильтрация на основе сходства по пользователям и предметам (user-based  и item-based подходы).  
 
* Коллаборативная фильтрация на основе сходства по пользователям и предметам (user-based  и item-based подходы).  
 
* Case-study 1. Оценка качества РС на основе бимодальной кроссвалидации.
 
* Case-study 1. Оценка качества РС на основе бимодальной кроссвалидации.
Строка 59: Строка 59:
 
19:30 Доклад Евгения Фролова  (PhD, Skoltech & Sbebank AI) по мотивам диссертационного исследования (https://www.skoltech.ru/obrazovanie/zashhity-phd/2018-2/evgenij-frolov/)
 
19:30 Доклад Евгения Фролова  (PhD, Skoltech & Sbebank AI) по мотивам диссертационного исследования (https://www.skoltech.ru/obrazovanie/zashhity-phd/2018-2/evgenij-frolov/)
  
−
Название: Малоранговые модели для рекомендательных систем с ограниченными данными о предпочтениях (Low-rank models  for  recommender  systems  with  limited  preference  information)
+
'''Название: Малоранговые модели для рекомендательных систем с ограниченными данными о предпочтениях (Low-rank models  for  recommender  systems  with  limited  preference  information)'''
  
 
Аннотация доклада. В силу ряда вычислительных преимуществ, одним из наиболее популярных методов, часто использующихся на практике, является PureSVD. Метод основан на сингулярном разложении и в определенных сценариях позволяет добиться наиболее релевантных рекомендаций. Однако, качество моделей на основе данного метода заметно снижается при сильном уменьшении количества известной информации о пользовательских предпочтениях. Главной целью данной работы является устранение этого недостатка, позволяющее сохранить основные преимущества PureSVD. Для этого предложены несколько новых подходов на основе матричных и тензорных методов аппроксимации.  Подходы строятся на принципах многомерного представления пользовательского отклика, а также  с использованием специальной схемы «гибридизации», позволяющей учесть дополнительную признаковую информацию о пользователях и предметах.
 
Аннотация доклада. В силу ряда вычислительных преимуществ, одним из наиболее популярных методов, часто использующихся на практике, является PureSVD. Метод основан на сингулярном разложении и в определенных сценариях позволяет добиться наиболее релевантных рекомендаций. Однако, качество моделей на основе данного метода заметно снижается при сильном уменьшении количества известной информации о пользовательских предпочтениях. Главной целью данной работы является устранение этого недостатка, позволяющее сохранить основные преимущества PureSVD. Для этого предложены несколько новых подходов на основе матричных и тензорных методов аппроксимации.  Подходы строятся на принципах многомерного представления пользовательского отклика, а также  с использованием специальной схемы «гибридизации», позволяющей учесть дополнительную признаковую информацию о пользователях и предметах.
Строка 65: Строка 65:
 
[https://www.dropbox.com/s/3lz4by3g4ruwue6/HSE_Seminar_2018.pdf?dl=0 Слайды]
 
[https://www.dropbox.com/s/3lz4by3g4ruwue6/HSE_Seminar_2018.pdf?dl=0 Слайды]
  
 +
===Занятие от 28.11.2018===
  
−
===Занятие от 28.11.2018==
+
 
 +
'''Гибридные рекомендательные системы. Case-study 5. Рекомендация радиостанций.'''
 +
 
 +
* Dmitry I. Ignatov, Andrey V. Konstantinov, Sergey I. Nikolenko, Jonas Poelmans, Vasily Zaharchuk: Online Recommender System for Radio Station Hosting. BIR 2012: 1-12
 +
 
 +
* Dmitry I. Ignatov, Sergey I. Nikolenko, Taimuraz Abaev, Jonas Poelmans: Online recommender system for radio station hosting based on information fusion and adaptive tag-aware profiling. Expert Syst. Appl. 55: 546-558 (2016) [https://www.dropbox.com/s/sud4wntstr1qhpm/1-s2.0-S0957417416300513-main.pdf?dl=0 статья]
 +
 
 +
* Dmitry I. Ignatov, Sergey I. Nikolenko, Taimuraz Abaev, Natalia Konstantinova: Online Recommender System for Radio Station Hosting: Experimental Results Revisited. WI-IAT (2) 2014: 229-236  [https://www.dropbox.com/s/4f8b5o9f0mleiit/Case%203%20Warsaw_FMhostTalk.pdf?dl=0 слайды]
 +
 
 +
 
 +
 
 +
===Занятие от 05.12.2018===
 +
 
 +
'''Стандартные (Precision, Recall, F_1-мера, MAE, RMSE) и дополнительные меры оценки качества рекомендательных систем (HitRate, Mean Reciprocal Rank, nDCG, diversity, serendipity). А/B тестирование.'''
 +
 
 +
* [https://www.dropbox.com/s/pj9vgr5u0x9sf3j/%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8%20%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B0%20%D1%80%D0%B5%D0%BA%D0%BE%D0%BC%D0%B5%D0%BD%D0%B4%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D1%85%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC.pdf?dl=0 Слайды] (подготовлены ассистентом прошлых лет, Е. Неновой)
 +
 
 +
* Case-study. Метрика рекомендательной системы imhonet.ru [https://www.dropbox.com/s/bbvxlgs4d8iklr0/metricAUC.pdf?dl=0 Слайды]
 +
 
 +
* Vladimir Bobrikov, Elena Nenova, Dmitry I. Ignatov: What is a Fair Value of Your Recommendation List? EEML@CLA 2016: 1-12 [http://ceur-ws.org/Vol-1627/inv1.pdf Статья]
 +
 
 +
 
 +
 
 +
===Занятие от 12.12.2018===
 +
 
 +
'''Бикластеризация. Фолксономии. Трикластеризация и мультимодальная кластеризация n-арных отношений и тензоров. Коллаборативная фильтрация на основе бикластеризации.''' [https://www.dropbox.com/s/yszu83mxcn354nl/Biclustering.pdf?dl=0 Слайды]
 +
 
 +
*  Dmitry I. Ignatov, Dmitry V. Gnatyshak, Sergei O. Kuznetsov, Boris G. Mirkin: Triadic Formal Concept Analysis and triclustering: searching for optimal patterns. Machine Learning 101(1-3): 271-302 (2015) [https://link.springer.com/article/10.1007%2Fs10994-015-5487-y статья]
 +
 
 +
*Faris Alqadah, Chandan K. Reddy, Junling Hu, Hatim F. Alqadah: Biclustering neighborhood-based collaborative filtering method for top-n recommender systems. Knowl. Inf. Syst. 44(2): 475-491 (2015) [https://link.springer.com/article/10.1007%2Fs10115-014-0771-x статья]
 +
 
 +
*Ignatov, D. I., Kuznetsov, S. O., Poelmans, J., & Zhukov, L. E. (2013). Can triconcepts become triclusters? International Journal of General Systems, 42(6), 572–593. [https://www.tandfonline.com/doi/abs/10.1080/03081079.2013.798899 статья]
 +
 
 +
*Ignatov, D. I., Kuznetsov, S. O., & Poelmans, J. (2012). Concept-based biclustering for internet advertisement. In: IEEE computer society ICDM workshops, pp. 123–130. [https://ieeexplore.ieee.org/abstract/document/6406432 статья]
 +
 
 +
*Nanopoulos, A., Rafailidis, D., Symeonidis, P., & Manolopoulos, Y. (2010). Musicbox: Personalized music recommendation based on cubic analysis of social tags. IEEE Transactions on Audio, Speech & Language Processing, 18(2), 407–412. [https://link.springer.com/article/10.1007%2Fs10791-007-9038-4 статья]
 +
 
 +
*Cerf, L., Besson, J., Robardet, C., & Boulicaut, J. F. (2009). Closed patterns meet n-ary relations. ACM Transactions on Knowledge Discovery from Data, 3, 3:1–3:36. [https://dl.acm.org/citation.cfm?doid=1497577.1497580 статья]
 +
 
 +
* Symeonidis, P., Nanopoulos, A., Papadopoulos, A. N., & Manolopoulos, Y. (2008). Nearest-biclusters collaborative filtering based on constant and coherent values. Information Retrieval, 11(1), 51–75. [https://ieeexplore.ieee.org/document/5280358/ статья]
 +
 
 +
*du Boucher-Ryan, P., & Bridge, D. G. (2006). Collaborative recommending using formal concept analysis. Knowledge-Based Systems, 19(5), 309–315. [https://www.sciencedirect.com/science/article/abs/pii/S0950705106000074?via%3Dihub статья]
 +
 
 +
 
 +
===Занятие от 12.12.2018 ===
 +
 
 +
'''Контекстные рекомендательные системы. Встраивание дополнительной информации в модели. Глубинное обучение для рекомендательных систем.'''
 +
 
 +
''Context-Aware RecSys'':
 +
 
 +
*Marat Akhmatnurov, Dmitry I. Ignatov: Context-Aware Recommender System Based on Boolean Matrix Factorisation. CLA 2015: 99-110 [https://www.dropbox.com/s/lp0dec21su6gq5z/example-beamer-HSE.pdf?dl=0 слайды] [http://ceur-ws.org/Vol-1466/paper08.pdf статья]
 +
*Gediminas Adomavicius, Bamshad Mobasher, Francesco Ricci, Alexander Tuzhilin: Context-Aware Recommender Systems. AI Magazine, Vol 32, No 3, 2011 [https://doi.org/10.1609/aimag.v32i3.2364 статья]
 +
 
 +
''Deep Learning for RecSys'':
 +
*Elena Andreeva, Dmitry I. Ignatov, Artem Grachev, Andrey Savchenko: Extraction of Visual Features for Recommendation of Products via Deep Learning. AIST 2018 [https://www.dropbox.com/s/g37ltif30grq5qp/visual_features.pdf?dl=0 статья] [https://www.dropbox.com/s/0a0x49xz9jmrzkt/presentation_translated_fixed.pdf?dl=0 слайды]
 +
*[https://arxiv.org/pdf/1707.07435.pdf Deep Learning for RecSys survey]

Текущая версия на 22:17, 25 декабря 2018

Темы

  • Введение в рекомендательные системы (РС). Обзор курса.
  • Коллаборативная фильтрация на основе сходства по пользователям и предметам (user-based  и item-based подходы).
  • Case-study 1. Оценка качества РС на основе бимодальной кроссвалидации.
  • Частые множества и ассоциативные правила. Элементы Анализа формальных понятий. Импликации. Основные алгоритмы  (Apriori, FP-growth). Меры интересности (support, confidence, lift, stability). Компактное представление частых множеств и ассоциатвных правил (замкнутые множества, понятие базиса).
  • Case-study 2. Анализ посещаемости сайтов. Рекомендация контекстной рекламы.
  • Case-study 3. Булева матричная факторизация, неотрицательная матричная факторизация (NMF) и разложение по сингулярным числам (SVD).
  • Методы на основе матричной факторизации для рекомендательных систем. PureSVD, SVD++, timeSVD. Схемы решения: стохастический градиентный спуск (SGD) и чередующиеся наименьшие квадраты (ALS). Случай неявного отклика. Факторизационные машины.
  • Спектральная кластеризация. Поиск минимального разреза. Контекстная реклама. Рекомендация музыкальных композиций.
  • Поиск частых последовательностей. Case-study 4. Анализ демографических последовательностей.
  • Гибридные рекомендательные системы. Case-study 5. Рекомендация радиостанций.
  • Бикластеризация. Фолксономии. Трикластеризация и мультимодальная кластеризация n-арных отношений и тензоров.
  • Стандартные (Precision, Recall, F_1-мера, MAE, RMSE) и дополнительные меры оценки качества рекомендательных систем (HitRate, Mean Reciprocal Rank, nDCG, diversity, serendipity). А/B тестирование.
  • Контекстные рекомендательные системы. Встраивание дополнительной информации в модели.
  • Ансамбли рекомендальных алгоритмов.
  • Глубинное обучение для рекомендательных систем.

Формула итоговой оценки

Упрощенная формула: 0.4 * h/w + 0.4 * project + 0.2 * defense

Результирующая оценка по дисциплине рассчитывается по формуле: O_итог=0.8 * O_ накопл + 0.2 * O_экз/защита

Накопленная и итоговая оценки, участвующие в этой формуле, округляются арифметически.

Накопленная оценка рассчитывается по формуле: O_накопл=0.5 * O_дз + 0.5 * O_проект

Оценка за домашние задания рассчитывается как среднее значение оценок за все выданные домашние задания.

Домашняя работа

Домашнее задание 1

Коллаборативная фильтрация на основе сходства по пользователям (user-based) и продуктам (item-based)

Домашнее задание 2

  1. Частые множества и ассоциативные правила
  2. Спектральная кластеризация
  3. Матричная факторизация
  4. Анализ последовательностей

Проект

Требования к оформлению

В этом файле содержатся требования к отчету, они на английском, но писать текст можно и на русском. Даны источники данных, указаны типы задач для решения, приведен релевантный софт. Указаны сроки выбора задачи и сдачи отчета. Предполагается экзамен в виде защиты проекта.


Журнал занятий

Занятие от 21.11.2018

19:30 Доклад Евгения Фролова (PhD, Skoltech & Sbebank AI) по мотивам диссертационного исследования (https://www.skoltech.ru/obrazovanie/zashhity-phd/2018-2/evgenij-frolov/)

Название: Малоранговые модели для рекомендательных систем с ограниченными данными о предпочтениях (Low-rank models for recommender systems with limited preference information)

Аннотация доклада. В силу ряда вычислительных преимуществ, одним из наиболее популярных методов, часто использующихся на практике, является PureSVD. Метод основан на сингулярном разложении и в определенных сценариях позволяет добиться наиболее релевантных рекомендаций. Однако, качество моделей на основе данного метода заметно снижается при сильном уменьшении количества известной информации о пользовательских предпочтениях. Главной целью данной работы является устранение этого недостатка, позволяющее сохранить основные преимущества PureSVD. Для этого предложены несколько новых подходов на основе матричных и тензорных методов аппроксимации. Подходы строятся на принципах многомерного представления пользовательского отклика, а также с использованием специальной схемы «гибридизации», позволяющей учесть дополнительную признаковую информацию о пользователях и предметах.

Слайды

Занятие от 28.11.2018

Гибридные рекомендательные системы. Case-study 5. Рекомендация радиостанций.

  • Dmitry I. Ignatov, Andrey V. Konstantinov, Sergey I. Nikolenko, Jonas Poelmans, Vasily Zaharchuk: Online Recommender System for Radio Station Hosting. BIR 2012: 1-12
  • Dmitry I. Ignatov, Sergey I. Nikolenko, Taimuraz Abaev, Jonas Poelmans: Online recommender system for radio station hosting based on information fusion and adaptive tag-aware profiling. Expert Syst. Appl. 55: 546-558 (2016) статья
  • Dmitry I. Ignatov, Sergey I. Nikolenko, Taimuraz Abaev, Natalia Konstantinova: Online Recommender System for Radio Station Hosting: Experimental Results Revisited. WI-IAT (2) 2014: 229-236 слайды


Занятие от 05.12.2018

Стандартные (Precision, Recall, F_1-мера, MAE, RMSE) и дополнительные меры оценки качества рекомендательных систем (HitRate, Mean Reciprocal Rank, nDCG, diversity, serendipity). А/B тестирование.

  • Слайды (подготовлены ассистентом прошлых лет, Е. Неновой)
  • Case-study. Метрика рекомендательной системы imhonet.ru Слайды
  • Vladimir Bobrikov, Elena Nenova, Dmitry I. Ignatov: What is a Fair Value of Your Recommendation List? EEML@CLA 2016: 1-12 Статья


Занятие от 12.12.2018

Бикластеризация. Фолксономии. Трикластеризация и мультимодальная кластеризация n-арных отношений и тензоров. Коллаборативная фильтрация на основе бикластеризации. Слайды

  • Dmitry I. Ignatov, Dmitry V. Gnatyshak, Sergei O. Kuznetsov, Boris G. Mirkin: Triadic Formal Concept Analysis and triclustering: searching for optimal patterns. Machine Learning 101(1-3): 271-302 (2015) статья
  • Faris Alqadah, Chandan K. Reddy, Junling Hu, Hatim F. Alqadah: Biclustering neighborhood-based collaborative filtering method for top-n recommender systems. Knowl. Inf. Syst. 44(2): 475-491 (2015) статья
  • Ignatov, D. I., Kuznetsov, S. O., Poelmans, J., & Zhukov, L. E. (2013). Can triconcepts become triclusters? International Journal of General Systems, 42(6), 572–593. статья
  • Ignatov, D. I., Kuznetsov, S. O., & Poelmans, J. (2012). Concept-based biclustering for internet advertisement. In: IEEE computer society ICDM workshops, pp. 123–130. статья
  • Nanopoulos, A., Rafailidis, D., Symeonidis, P., & Manolopoulos, Y. (2010). Musicbox: Personalized music recommendation based on cubic analysis of social tags. IEEE Transactions on Audio, Speech & Language Processing, 18(2), 407–412. статья
  • Cerf, L., Besson, J., Robardet, C., & Boulicaut, J. F. (2009). Closed patterns meet n-ary relations. ACM Transactions on Knowledge Discovery from Data, 3, 3:1–3:36. статья
  • Symeonidis, P., Nanopoulos, A., Papadopoulos, A. N., & Manolopoulos, Y. (2008). Nearest-biclusters collaborative filtering based on constant and coherent values. Information Retrieval, 11(1), 51–75. статья
  • du Boucher-Ryan, P., & Bridge, D. G. (2006). Collaborative recommending using formal concept analysis. Knowledge-Based Systems, 19(5), 309–315. статья


Занятие от 12.12.2018

Контекстные рекомендательные системы. Встраивание дополнительной информации в модели. Глубинное обучение для рекомендательных систем.

Context-Aware RecSys:

  • Marat Akhmatnurov, Dmitry I. Ignatov: Context-Aware Recommender System Based on Boolean Matrix Factorisation. CLA 2015: 99-110 слайды статья
  • Gediminas Adomavicius, Bamshad Mobasher, Francesco Ricci, Alexander Tuzhilin: Context-Aware Recommender Systems. AI Magazine, Vol 32, No 3, 2011 статья

Deep Learning for RecSys:

Источник — «http://wiki.cs.hse.ru/index.php?title=Рекомендательные_системы_и_поиск_закономерностей_в_данных&oldid=31470»