Що таке Llama 3
Llama, це сімейство ШІ-моделей, створених компанією Meta, тією самою, що стоїть за Facebook та Instagram. Як і ChatGPT чи Claude, ви пишете запитання, а вона відповідає. Цікаве тут не те, що вона робить, а те, як її поширюють.
Більшість ШІ-моделей замкнені всередині продукту свого творця. Ви користуєтеся ChatGPT через OpenAI, і сама модель ніколи не залишає їхніх серверів. Meta ж публікує ваги Llama, тобто числа, з яких складається натренована модель, щоб будь-хто міг завантажити їх і запустити.
Корисна аналогія: більшість ШІ, це ресторан, де ви замовляєте, а готують за вас. Llama ближча до опублікованого рецепта. Ви й далі можете поїсти в ресторані, а можете приготувати самі, змінити страву під себе або відкрити власну кухню.
Одне уточнення, про яке багато сперечаються в мережі. Llama зазвичай називають відкритим кодом, хоча строго кажучи це «відкриті ваги» з ліцензією, що містить певні умови, зокрема обмеження на дуже масштабне комерційне використання. Для окремої людини практичної різниці немає. Для компанії, яка будує на ній продукт, ліцензію варто прочитати.
Чому це важливо, навіть якщо ви нічого не завантажуєте
Три наслідки доходять до звичайних користувачів.
Вона дешева, тому вона всюди. Оскільки розміщувати її може будь-хто, конкуренція збиває ціну. Моделі Llama живлять чималу частину ШІ, з яким ви стикаєтеся в інших продуктах, без жодних позначок, і зазвичай саме їх сервіси мають на увазі під швидким чи економним рівнем.
Вона може працювати без інтернету. Модель на вашому власному комп'ютері працює в літаку, у захищеному середовищі або будь-де, звідки дані не мають виходити назовні. Жоден хмарний сервіс такого не запропонує.
Вона тримає ринок чесним. Спроможний безкоштовний варіант ставить стелю тому, скільки можуть просити закриті моделі, і це вигідно вам незалежно від того, чим ви користуєтеся.
У чому вона справді сильна
Чесність тут корисніша за захоплення. Llama існує в кількох розмірах, і компроміс завжди однаковий: менші моделі надзвичайно швидкі й дешеві, більші здатніші, але вже недешеві в роботі.
| Завдання | Llama | Краще в іншому |
|---|---|---|
| Швидкі фактичні запитання | Швидко і достатньо | Ні |
| Короткі списки, ідеї, прості переписування | Дуже добре, миттєво | Ні |
| Однотипна робота з багатьма елементами | Ідеально, бо важлива ціна за одиницю | Ні |
| Робота офлайн або приватно | Єдиний реальний варіант | Ні |
| Текст, який людина прочитає повністю | Прийнятно | Claude, помітно |
| Складні багатокрокові міркування | Слабше за передові моделі | GPT або Claude |
| Дуже довгі документи | Обмежено | Gemini |
| Події останніх тижнів | Вона не знає | Модель із доступом до вебу |
Закономірність така: чудово для обсягу і швидкості, конкурентно для щоденних запитань і позаду передових моделей у складних міркуваннях та відшліфованому письмі. Для чогось безкоштовного це справедливий обмін, і саме тому питання «що краще» поставлене неправильно. Використовуйте її там, де важливі швидкість і ціна, і перемикайтеся, коли завдання ускладнюється.
Три способи нею користуватися
1. Через робочий простір, без жодних налаштувань. Найпростіший варіант. Llama входить у Whizi поруч із GPT, Claude і Gemini, тож швидкі запитання можна надсилати їй, а коли завдання ускладниться, перемкнутися на потужнішу модель у тій самій розмові. Встановлювати нічого не потрібно.
2. На власному комп'ютері. Такі інструменти, як Ollama і LM Studio, завантажують модель і запускають її локально. Реалістичні очікування: потрібен доволі сучасний комп'ютер із великим обсягом пам'яті, комфортно працюють саме менші моделі, а відповіді будуть повільнішими, ніж у хмарному сервісі, якщо у вас немає доброї відеокарти. Натомість ніщо з написаного вами не залишає вашого комп'ютера, і все працює з вимкненим інтернетом. Це справді варте зусиль, якщо вимога, це приватність або робота офлайн, і зайве в усіх інших випадках.
3. Через API. Якщо ви розробляєте програмне забезпечення, провайдери розміщують Llama за дуже низькою ціною за токен, і часто саме це є причиною обрати її замість передової моделі для завдань великого обсягу.
Як отримувати від неї добрі відповіді
Менші моделі винагороджують інший стиль промптів, ніж передові. Три звички дають велику різницю.
Будьте прямими й конкретними. Дай 10 варіантів назви для кав'ярні, по одному в рядку, без пояснень працює краще, ніж розмовне прохання. Менші моделі добре виконують прості явні інструкції і губляться в складних.
Одне завдання за раз. Передові моделі тримають шість умов в одному промпті. Менші краще працюють із послідовністю окремих прохань.
Називайте формат. Відповідай одним реченням або поверни лише нумерований список знімає ту воду, яку менші моделі додають, коли не впевнені.
І знайте, коли час перемкнутися. Якщо відповідь розмита, суперечить сама собі або пропускає щось очевидне, це сигнал перенести те саме запитання на потужнішу модель, а не переформульовувати його далі. У робочому просторі, де їх кілька, це один клік, і розмова переходить разом із вами.
На що варто зважати
Вона не знає, що сталося нещодавно. Її знання зупиняються на даті навчання, і якщо вона не підключена до пошуку, то відповідатиме на запитання про минулий місяць із загальних знань, до того ж упевнено.
Вона вигадує, як і кожна модель. Менші роблять це дещо частіше. Перевіряйте будь-який конкретний факт, дату чи цифру.
Безкоштовно не означає приватно, якщо це хмара. Запуск Llama на власному комп'ютері приватний. Використання через чийсь сервіс означає, що діє їхня політика щодо даних, так само, як із будь-якою іншою моделлю.
Плутанина з версіями. Llama 3, це одне покоління, і відтоді вийшли новіші версії. Запитайте, якою версією ви користуєтеся, якщо це має значення, бо різниця у можливостях між поколіннями велика.
- Беріть її для швидких запитань, коротких списків і однотипних завдань, де важлива швидкість
- Перемикайтеся на потужнішу модель, коли завдання потребує вдумливих міркувань або відшліфованого тексту
- Пишіть прямі промпти, по одному проханню за раз, і називайте потрібний формат відповіді
- Запускайте її локально лише тоді, коли вам справді потрібна робота офлайн або приватність
- Перевіряйте будь-який конкретний факт, дату чи цифру, як і з будь-якою моделлю
- Запитуйте, якою версією ви користуєтеся, бо покоління сильно різняться
Поширені запитання
Чи потрібно щось завантажувати, щоб користуватися Llama 3?
Ні. Завантажити й запустити її локально, це один із варіантів, і він правильний, якщо вам потрібна робота офлайн або цілком приватна. Але він вимагає доволі потужного комп'ютера і дає повільніші відповіді, ніж хмарний сервіс. Більшість людей користуються нею через платформу в браузері, де вона стоїть поруч з іншими моделями і не потребує жодних налаштувань.
Чи швидша Llama 3 за ChatGPT?
Менші моделі Llama помітно швидші, і саме це робить їх чудовими для коротких запитань, швидких списків і всього однотипного. Компроміс, це можливості: у складних міркуваннях і відшліфованому письмі передові моделі виразно кращі. Розумний підхід, це брати Llama заради швидкості та перемикатися, коли запитання виявляється складнішим, ніж здавалося.
Чи справді Llama безкоштовна?
Ваги моделі можна завантажити безкоштовно, і ліцензія дозволяє більшість сценаріїв, з кількома умовами, що стосуються насамперед дуже масштабних комерційних впроваджень. На практиці запуск безкоштовним не буває: він коштує або вашого власного обладнання й електрики, або плати за токен хмарному провайдеру, яка просто набагато нижча за розцінки передових моделей.
Чи це приватно, якщо я запускаю її на власному комп'ютері?
Так, і це найвагоміша причина запускати її локально. Ніщо з написаного вами не залишає вашого комп'ютера, усе працює з вимкненим інтернетом, і жодна політика провайдера не діє, бо провайдера тут просто немає. Ціна такого рішення, це час на налаштування, комп'ютер із достатнім обсягом пам'яті, повільніші відповіді без доброї відеокарти та обмеження меншими моделями, які працюють комфортно.
Чи варто користуватися Llama замість ChatGPT або Claude?
Замість, рідко. Поруч, часто. Це правильний вибір для швидких простих запитань, для однотипної роботи великого обсягу і для всього, що має працювати приватно чи офлайн. Для тексту, який хтось уважно читатиме, для складних багатокрокових міркувань і для дуже довгих документів передові моделі відчутно кращі. Коли доступні обидва варіанти, вибір робиться під завдання, а не стає зобов'язанням.