Molmo är en serie avancerade och öppna AI-modeller som kan hantera flera typer av data samtidigt. Dessa modeller presterar bättre än många större alternativ på marknaden.
Till skillnad från traditionella multimodala system kan Molmo interagera med både fysiska och virtuella miljöer. Detta är möjligt tack vare en unik datamängd som samlats in med hjälp av mänskliga experter.
Molmo prioriterar kvalitet framför kvantitet när det gäller data. Detta innebär att modellerna kan uppnå höga prestanda med färre datapunkter jämfört med konkurrenterna.
Det som särskiljer Allenai-modellerna – Olmo/OlMoE/Molmo – är att de är helt öppna, inte bara öppna vikter/fritt att använda. De dataset som används en avgörande ingrediens är också offentliggjorda och öppna.
Molmo modeller överträffar sin storlek och presterar över förväntan i akademiska och mänskliga utvärderingar.
Molmo-modellerna är öppna och fria, vilket skiljer dem från många andra avancerade multimodala modeller som är stängda.
Molmo använder en betydelsefull ny dataset insamlad genom talade beskrivningar för att träna sina modeller.
Genom att möjliggöra pekande interaktioner öppnar Molmo upp för nya applikationer i både digitala och fysiska miljöer.
PixMo, Molmos träningsdata, fokuserar på datakvalitet och ger högpresterande modeller även med färre än 1 miljon bild-text-par.
Eftersom Molmo samlar och använder data utan att förlita sig på existerande VLM:er, kan modellerna byggas upp från grunden.
Molmos arkitektur kombinerar en språkmodell med en bildencoder för att effektivt hantera multimodala uppgifter.
DEMO finner du här: https://molmo.allenai.org
