LocalAI on avoimen lähdekoodin paketti, joka kokoaa paikallisen tekoälyn yhden OpenAI-yhteensopivan rajapinnan taakse: tekstimallit, kuvamallit ja puheen samaan palvelimeen, MIT-lisenssillä. Viikon kaksi versiota, 4.8.1 keskiviikkona ja 4.8.2 torstaina, toivat sinne kaksi asiaa, jotka koskettavat puheen paikallista ajoa.

Isompi on uusi taustaosa: NeMo-Speech.cpp. NeMo on NVIDIA:n puheteknologiaperhe, jonka tunnetuin jäsen on Parakeet-puheentunnistusmalli — avoimen painon malli, joka on pitänyt englannin puheentunnistuksen kärkisijaa avoimissa vertailuissa. Cpp-pääte tarkoittaa samaa kuin llama.cpp:ssä ja whisper.cpp:ssä: toteutus, joka ajaa mallia ilman Python-pinoa, kevyesti ja helposti paketoitavasti. Tähän asti NeMo-mallien ajo on käytännössä vaatinut NVIDIA:n oman Python-työkaluketjun — saman, jonka pilkkomisesta kolmeen osaan tämä lehti kirjoitti viime viikolla. Nyt LocalAI-palvelimeen voi kytkeä NeMo-puhemallin samalla tavalla kuin GGUF-tekstimallin.

Julkaisumuistio on taustaosan osalta niukka — yksi rivi, joka kertoo lisäyksestä — joten suorituskyvystä, tuetuista malleista tai muistivaatimuksista ei tässä vaiheessa kannata väittää enempää. Mallien lisenssit kannattaa tarkistaa erikseen: NeMo-perheen mallit ovat pääosin avoimia, mutta lisenssit vaihtelevat malleittain.

Toinen muutos on arkisempi ja koskee kaikkia LocalAI:n käyttäjiä: mallikirjasto eli galleria sai varajärjestelmän. Ensisijaiseksi lähteeksi vaihtui projektin oma index.localai.io, GitHub jää peiliksi, ja jos ensisijainen lähde ei vastaa, galleria putoaa peileihin ja paikalliseen välimuistiin. Se on sama oppitunti, jonka Unsloth kävi läpi latausprotokollansa kanssa: paikallinen tekoäly on juuri niin paikallista kuin sen heikoin verkkoriippuvuus, ja hyvä työkalu toimii myös silloin, kun jokin sen lähteistä on nurin.

Samassa versioparissa korjattiin myös virheellisesti muodostetun GGUF-metadatan käsittely, joka saattoi kaataa muistilaskennan, ja vllm-cpp-taustaosan ABI-yhteensopivuus. Pieniä asioita — mutta LocalAI:n arvo on juuri siinä, että se paketoi monta liikkuvaa osaa yhdeksi palvelimeksi, ja sellaisen paketin laatu mitataan reunatapauksissa.