У Китаї розробили унікальну мовну модель

Автори дослідження побили рекорд компанії Google з представленою в поточному році моделлю Switch Transformer, що має 1,6 трлн параметрів.

“Ці складні моделі, навчені на величезних наборах даних, вимагають лише невеликої кількості нової інформації для запуску певної функції. Вони можуть передавати знання в нові завдання, як і люди”, – зазначив дослідник штучного інтелекту Ян Блейк.

Для імітації розмовної мови, написання текстів і розуміння зображень модель використовує 1,75 трлн параметрів. Вона функціонує з китайською та англійською мовами за допомогою вивчення 4,9 терабайт різної інформації.

Також автори WuDao 2.0 заявляють, що таким чином вони побили рекорд компанії Google з представленою в поточному році моделлю Switch Transformer, яка володіє 1,6 трлн параметрів.

На сьогодні дослідники вже обговорили умови співпраці з 22 партнерами. Зокрема, з виробником смартфонів Xiaomi, службою доставки Meituan і платформою для обміну короткими відео Kuaishou.