Meta Platforms розробляє нову систему штучного інтелекту, яка має бути такою ж потужною, як і найдосконаліша модель ChatGPT від OpenAI. Про це пише Wall Street Journal з посиланням на людей, знайомих із цим питанням.
Forbes Ukraine випустив новий номер журналу. Придбати його з безкоштовною доставкою можна за цим посиланням. У журналі: перший список найкращих роботодавців для ветеранів, список перспективних молодих українців «30 до 30», 40 компаній, які вийшли на іноземні ринки під час війни, історії Марії Берлінської, Всеволода Кожемяки та загалом майже два десятки текстів.
Ключові факти
- Материнська компанія Facebook та Instagram планує запустити нову модель наступного року, зазначає видання і додає, що вона буде в кілька разів потужнішою за комерційну версію Llama 2.
- Нова ШІ-модель, над якою працює Meta, покликана допомогти компаніям створювати складний текст, аналіз і виконувати інші завдання, пише WSJ.
- Розробкою займається група, створена головою компанії Марком Цукербергом для прискорення розробки генеративних інструментів штучного інтелекту. Meta планує почати навчання нової моделі ШІ, відомої як велика мовна модель, на початку 2024 року.
- Як зазначає видання, зараз компанія будує необхідні центри обробки даних і купує найсучасніші мікросхеми Nvidia H100 для навчання ШІ.
- Хоча Meta і обʼєдналася з Microsoft, щоб зробити Llama 2 доступною на платформі хмарних обчислень Microsoft Azure, вона планує навчити нову модель на власній інфраструктурі, кажуть співрозмовники WSJ.
- Цукерберг наголошує, що нова модель, як і попередні пропозиції Meta щодо штучного інтелекту, буде з відкритим кодом, тобто безплатною.
- Плани щодо нової моделі, про які раніше не повідомлялося, є частиною зусиль Цукерберга позиціювати Meta як головну силу у світі ШІ після відставання від конкурентів, зазначило видання.
Контекст
У лютому Meta представила мовну модель LLaMA (Large Language Model Meta AI), розроблену, щоб допомогти дослідникам працювати в галузі ШІ. Мовна модель була доступна за некомерційною ліцензією для дослідників і організацій, повʼязаних із урядом, громадянським суспільством і науковими колами.
LLaMA працювала, приймаючи послідовність слів як вхідні дані та прогнозуючи наступне слово для рекурсивного генерування тексту. Щоб навчити модель, розробники використовували контент на 20 найпоширеніших мовах, зосередившись на мовах із латиницею та кирилицею.
У березні Цукерберг заявив, що «розвиток ШІ й додавання його у кожен наш продукт» – найбільша інвестиція компанії. Він сподівається розширити технологію й у метавсесвіт.
Наприкінці серпня Meta представила ШІ-генератор програмного коду Code Llama, який побудований на базі великої мовної моделі Llama 2. Інструментом можна користуватися безплатно у комерційних і дослідницьких цілях.
У блозі компанії розповіли, що Code Llama є спеціальною версією Llama 2, яку додатково навчили на специфічному для програмування наборі даних. Вона підтримує популярні мови програмування, включаючи Python, C++, Java, PHP, JavaScript, TypeScript, C# і Bash.
Також Meta представила спеціалізовані моделі Code Llama-Python та Code Llama-Instruct. Модель Python навчили на додатковому наборі даних. Code Llama-Instruct – модель, адаптована для кращого розуміння природної мови. Компанія зазначила, що Code Llama працює швидше й краще за інші загальнодоступні моделі.
