Microsoft додала дистильовані моделі DeepSeek R1 на Copilot+ PC

Microsoft додала дистильовані моделі DeepSeek R1 на Copilot+ PC


Ши Діесік швидко завоював світ мобільних пристроїв і зараз розширюється у Windows – за допомогою повної підтримки Microsoft, що дивно. Гігант на додану модель Deepek R1 до свого виробництва Foundry Azure AI, щоб дозволити розробникам тестувати та створювати з ним хмарні програми та послуги. В даний час Microsoft оголосила, що дистильовані версії R1 на комп’ютерах Copilot+ PC.

Дистильована модель в AI – це спрощена версія більшої нейронної мережі, яка частково підтримує її продуктивність, але працює швидше та ефективніше. Процес дистиляції дозволяє передавати знання з великої потужної моделі до меншої. У цьому випадку повний Deesek R1 має 671 мільярд параметрів, а менші моделі матимуть від 1,5 до 14 мільярдів параметрів. Це не ідеальний процес, і дистильована модель менш потужна, ніж повна версія, але її менший розмір дозволяє йому працювати безпосередньо на споживчому обладнанні (замість спеціалізованого обладнання для AI, яке коштує десятки тисяч доларів).

По -перше, дистильовані моделі Deeceek R1 для пристроїв Snapdragon X та процесори Intel Core Ultra 200V, а потім на AMD Ryzen AI 9 ПК будуть доступні.

Першою моделлю буде DEESEKE-R1-DISTILL-QWEN-1.5B (тобто модель з 1,5 мільярда параметрів), а найближчим часом з’явиться більша і потужна моделі 7B та 14B. Вони будуть доступні для завантаження з інструментарію Microsoft AI.

Microsoft додала дистильованих моделей DeepSeeek R1 на Popilot+ PC

Microsoft довелося налаштувати ці моделі, щоб оптимізувати їх для роботи на пристроях NPU. Операції, які сильно залежать від доступу до пам’яті, проводяться на центральному процесорі, тоді як NPU виконує інтенсивність обчислень, наприклад, блок трансформатора. Завдяки оптимізації Microsoft, можна швидко досягти першого маркера (130 мс) та потужністю 16 жетонів в секунду для коротких порад (менше 64 жетонів). Зверніть увагу, що “маркер” схожий на гучний лист (важливо, щоб один жетон зазвичай мав довжину більше одного символу).

Спеціальні мікрофони Hyperx Quadcast 2 та Quadcast 2S: чистий звук у складних умовах, інноваційне освітлення та його використання є перевагами ноутбука з двома екранами і чи легко з ним працювати? Ми розуміємо приклад дуету asus Zenbook

Microsoft є сильним прихильником AI та інвестує в OpenAI (CATGPT та GPT-4O), але, схоже, він підлягає диверсифікації. На своєму майданчику Azure знаходиться GPT (OpenAI), Llama (Meta), Mistral (штучний інтелект), а тепер ісек.

Today in Ukraine
Додати коментар

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: