AMD Lemonade 11.0 pievieno balss sintēzi un 3D — un sāk strādāt arī uz NVIDIA

AMD 15. jūlijā izlaida Lemonade 11.0 — atvērtā koda serveri, kas lielos valodas modeļus un attēlu ģenerēšanu palaiž uz datora paša aparatūras, bez mākoņa. Jaunajā versijā parādās runas sintēze ar balss klonēšanu un attēla pārvēršana 3D modelī. Vēl viena maiņa: rīks, kas nes AMD vārdu, tagad strādā arī uz NVIDIA un Apple grafiskajām kartēm.

Serveris atdarina OpenAI API, tāpēc jebkura lietotne, kas prot runāt ar ChatGPT, var sūtīt pieprasījumus uz vietējo mašīnu. Adrese ir http://localhost:13305/v1. Modelis strādā uz tavas videokartes vai NPU, dati nekur neaiziet.

Kas ir Lemonade

Lemonade ir vietējais AI serveris. Tas ielādē modeli no Hugging Face, palaiž to uz procesora, grafiskās kartes vai neironu procesora un atver galapunktu, uz kuru citas programmas sūta tekstu, attēlus vai balsi. Licence ir Apache 2.0.

Aparatūras saraksts versijā 11.0 ir plašs. Modeli var palaist uz AMD Ryzen procesora, Radeon RDNA3 un RDNA4 kartēm, kā arī Ryzen AI NPU ar XDNA2 arhitektūru. Pēc tam, kad projekts pievienoja NVIDIA atbalstu (no Turing līdz Blackwell) un Apple Silicon, Lemonade pārstāj būt tikai AMD īpašnieku rīks. XDA testā tas ļāva pārnest vienu un to pašu konfigurāciju starp AMD un NVIDIA mašīnām, nemainot lietotnes kodu.

Zem pārsega Lemonade neizgudro dzinēju no jauna, bet saliek kopā jau zināmus atvērtā koda projektus. Tekstu ģenerē llama.cpp, modeļus optimizē ONNX Runtime GenAI, NPU paātrina FastFlowLM, runu atpazīst whisper.cpp, attēlus zīmē stable-diffusion.cpp. Uz Ryzen AI aparatūras modeli var palaist hibrīda režīmā, kur slodze sadalās starp NPU un grafisko kodolu, vai tīri uz NPU.

Iemesls, kāpēc kāds vispār gribētu modeli uz sava datora, ir trīs. Dati par serveri neaiziet, tāpēc darbam ar iekšējiem dokumentiem vai kodu nav jāsūta tas mākonim. Nav abonēšanas maksas par tokeniem. Un modelis strādā arī bez interneta. Cena par to ir aparatūra un iestatīšana — tieši to pēdējo Lemonade cenšas noņemt.

Projekta mērķis ir dot tās pašas iespējas, ko cloud API, tikai bez maksas un privāti — modelis strādā uz tavas aparatūras, nevis uz kāda cita servera.

Runas sintēze un 3D versijā 11.0

Lielākais jaunums 11.0 ir runas sintēze. Lemonade tagad ietver OpenMOSS aizmugursistēmu, kas prot balss klonēšanu un balss dizainu — no īsa parauga var uzģenerēt balsi un pēc tam ar to nolasīt jebkuru tekstu. Funkcija ir iebūvēta servera saskarnē, atsevišķa rīka nevajag.

Otrs jaunums ir 3D ģenerēšana. Versija pievieno Trellis.2 attēls-uz-3D plūsmu un modeļu skatītāju pašā lietotnē, tāpēc rezultātu var apskatīt bez ārējas programmas. Galapunkts saucas POST /v1/3d/generations — tā pati OpenAI stila loģika, tikai izejā ir 3D modelis, ne teksts.

Šie divi papildinājumi Lemonade padara par vairāku modalitāšu serveri: viens process apkalpo tekstu, attēlus, runu un 3D. Agrāk katram no tiem vajadzēja atsevišķu rīku un atsevišķu iestatīšanu.

NPU uz Linux beidzot iestatās pats

Ryzen AI NPU atbalsts uz Linux ilgi prasīja roku darbu — vajadzēja manuāli uzstādīt sistēmas pakotni, pirms modeli varēja palaist uz neironu procesora. Versijā 11.0 FastFlowLM aizmugursistēma uz Linux iestatās automātiski. Kam ir savi iemesli lietot sistēmas versiju, tam ir jaunais prefer_system karodziņš.

Tā ir konkrēta atšķirība tiem, kam ir jauns Ryzen AI klēpjdators. NPU tērē mazāk enerģijas nekā grafiskā karte, un līdz šim uz Linux tas gulēja neizmantots vairuma lietotāju dēļ, kuriem manuālā uzstādīšana bija par sarežģītu.

ModelScope un maršrutētājs

Modeļu avotu tagad ir divi. Blakus Hugging Face Lemonade pievieno ModelScope, un avotu var izvēlēties gan komandrindā, gan API, gan darbvirsmas lietotnē. ModelScope ir Alibaba uzturēts modeļu reģistrs, kur bieži agrāk parādās ķīniešu izcelsmes modeļi, piemēram, Qwen saime.

Vēl viens papildinājums ir maršrutētājs. Ja pieprasījumā nosauc collection.router modeli, serveris palaiž maršrutēšanas dzinēju un pats izvēlas piemērotāko modeli konkrētajam uzdevumam. Izvēlēto ceļu tas paziņo atpakaļ laukā x_lemonade_route un tāda paša nosaukuma galvenē, tāpēc lietotne redz, kurš modelis faktiski atbildēja. Praksē tas ļauj vieglus jautājumus novirzīt uz mazu ātru modeli un smagos — uz lielo, netaisot šo loģiku katrā lietotnē atsevišķi.

Ar ko to savieno

Tā kā serveris runā OpenAI valodā, tam pieslēdzas jau esošās lietotnes. Sarakstā ir Open WebUI, Continue kodēšanas paplašinājums VS Code redaktoram, GitHub Copilot, Dify, n8n automatizācijas platforma un AnythingLLM. Katrā no tām vietā, kur ieraksta OpenAI atslēgu un adresi, ievada Lemonade lokālo adresi, un pieprasījumi paliek uz sava datora.

Kā atzīmē Phoronix, versiju var lejupielādēt no GitHub ar 11.0.0 laidiena tagu. Windows un Linux atbalsts ir no kastes; darbvirsmas lietotne un komandrinda dala vienu un to pašu API.

Avoti

• Phoronix — AMD Releases Lemonade 11.0 Local AI Server With Text-To-Speech, Other New Features
• GitHub — lemonade-sdk/lemonade
• XDA Developers — I switched my local AI setup to AMD’s Lemonade after Nvidia support landed
• AMD — Unlocking a Wave of LLM Apps on Ryzen AI Through Lemonade Server
• Hacker News — Lemonade by AMD: a fast and open source local LLM server