Perjantaina, vuorokausi ison 1.4.0-julkaisun jälkeen, exllamav3 julkaisi version 1.4.1. Muutoslista on neljä riviä, ja jokainen niistä on käyttäjälle merkityksellinen — mikä ei ole pisteversiolta itsestäänselvää.

Ensimmäinen rivi lisää tuen Mistralin uusimmalle malliperheelle. Tekninen yksityiskohta kertoo kiinnostavan asian: tuki toteutettiin arkkitehtuuriluokan Mistral3ForConditionalGeneration alle, eli Mistralin uudet mallit käyttävät samaa arkkitehtuurirunkoa kuin edellinen sukupolvi. Ranskalaisen talon avoimen painon mallit — tuoreimpana kesän Mistral Small 4 ja Medium 3.5 — ajautuvat nyt myös EXL3-kvantisoituina, mikä on merkityksellistä nimenomaan näytönohjaimen muistiin ahtaessa: EXL3 on muoto, joka rakennettiin VRAM-budjetin ehdoilla.

Toinen iso asia on jäsennellyn generoinnin moottorinvaihto. Kun mallilta vaaditaan tiettyä muotoa — JSON-skeemaa, kielioppia, säännöllistä lauseketta — jokin komponentti suodattaa jokaisella askeleella pois tokenit, jotka rikkoisivat muodon. Tähän asti exllamav3 käytti Formatron-kirjastoa; nyt oletukseksi vaihtui LLGuidance, ja Formatron jää valinnaiseksi riippuvuudeksi. LLGuidance on sama moottori, jota muun muassa llama.cpp:n kielioppipolku käyttää, joten paikallisten ajomoottorien jäsennelty generointi yhdenmukaistuu saman toteutuksen ympärille. Samalla kieliopin voi nyt yhdistää kiellettyjen merkkijonojen listaan — aiemmin nämä olivat toisensa poissulkevia.

Kolmas lisäys on logit bias: mahdollisuus painottaa tai rangaista yksittäisiä tokeneita suoraan, ennen kuin malli valitsee seuraavan. Se on työkalu, jolla esimerkiksi pakotetaan malli välttämään tiettyä sanaa tai suosimaan tiettyä avainsanaa ilman kehotteen muokkaamista — OpenAI-yhteensopivista rajapinnoista tuttu säädin, joka nyt on myös EXL3-ajossa.

exllamav3 on edelleen näytönohjaimen ehdoilla rakennettu ajomoottori, ei kaikkien koneiden yleistyökalu: se vaatii CUDA-kortin eikä aja suorittimella. Mutta jos sellainen kortti on, tämän viikon kaksi julkaisua — 1.4.0 ja 1.4.1 — tekivät siitä selvästi täydemmän paketin.