智东西6月28日报谈kaiyun，昨晚，在I/O Connect大会上放大招，发表其新一代最强开源模子——Gemma 2。
Gemma 2有90亿（9B）和270亿（27B）两种参数区域可用。27B模子侦察了13T tokens，9B是8T tokens，皆领有8192高低文窗口，可在Google AI Studio中利用。26亿参数（2.6B）模子将很快颁布，小到不错在手机土产货运行。
在盲测谎语音模子竞技场LMSYS Chatbot Arena中，270亿参数的Gemma 2示意微调模子打败了领有700亿参数的Llama 3，并朝上Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模子，在整个开源权重的模子中位列首先；9B模子则是刻下15B以下参数的模子中收货最好的。
谷歌在本年早些时间推出 轻巧量级领先开源模子Gemma，只能2B和7B参数版块，下载量朝上1000万次。Gemma 2涵盖从20亿到270亿参数，比首先代性能更高、 演绎着力更高，况兼权贵改良保险性。这是该系列模子迈出的一大步。
270亿参数的Gemma 2供应了与两倍以上参数的模子比赛的取代决意，供应了直至旧年12月才大致竣事的性能，而且不错在单个英伟达A100/H100 Tensor Core GPU或TPU主机上以全精度高效运行 演绎，大大裁汰了部署资本。
在Hugging Face的基准上，谷歌将Gemma 2 27B与拥有近似尺码的Qwen1.5 32B开展了比拟，还敷陈了Llama 3 70B的性能。Gemma 2 27B的尺码只能Llama 3 70B的40%，侦察文献少到Llama 3 70B的2/3。扫尾裸露，Gemma 2 27B优于Qwen1.5 32B，比Llama 3 70B低几个百分点。
一、再行联想架构，Gemma 2有三大特色
Gemma 2的工夫敷陈共15页，先容了其架构的多项工夫改良，包括轮流畅用片段-全局当心力机制和分组查询当心力，还利用常识蒸馏而不是下一个token瞻望来匡助侦察较小的2B和9B模子。
2.6B模子在一个TPUv5e集群的2x16x16设立上侦察，统共用了512张芯片。9B模子在TPUv4集群的8x16x32设立上侦察，统共4096张芯片。27B模子在TPUv5p集群的8x24x32设立上侦察，统共用了6144张芯片。
对准更高的性能和 演绎着力kaiyun，谷歌在再行联想的架构上构建了Gemma 2。该模子遴荐与Gemma 1.1相似的算法配方，但用了更多的teacher监督并执行了模子归并。在编程、算术、 演绎、保险等智商上，Gemma 2皆比1.1版块莳植权贵。
扫尾，Gemma 2模子在其区域上供应了最好性能，以致供应了与大2-3倍的模子比赛的取代决意。以下是其突起的特色：
（1）荒谬性能：Gemma 2 27B在其同类范围中供应了最好性能，以致供应了与两倍以上范围的模子比赛的取代决意。Gemma 2 9B模子也供应了开始的性能，朝上了Llama 3 8B和其余同类范围的开源模子。
谷歌在多样基准上比拟2.6B、9B及27B模子，敷陈了不错与Llama 3开展比拟的8个基准测验的匀称性能，以及整个基准测验的匀称性能。Llama 3 8B的文献来自HuggingFace leaderboard或其微博。
在MMLU上，9B模子得分为71.3，27B模子为75.2；在AGIEval上，9B模子得分52.8，27B模子得分55.1；在HumanEval上，9B模子得分40.2，27B模子得分51.8。
（2）无与伦比的着力和资本从简：Gemma 2 27B模子联想用于在单个谷歌云TPU主机、英伟达A100 80GB Tensor Core GPU或H100 Tensor Core GPU上高效运行全精度 演绎，在保抓高性能的同期权贵裁汰资本。这使得AI部署愈加易于造访和经济实惠。
（3）跨硬件的迅速 演绎：Gemma 2经过优化，不错在多样硬件上以令东谈主难以置信的速率运行，硬件从功能弘大的游戏条记本电子计算机和高端台式机到基于云的 开辟。在Google AI Studio中以全精度试用Gemma 2，在CPU上利用Gemma.cpp的量化版块解锁土产货性能，或在家用臆想机上经过Hugging Face Transformers在英伟达RTX或GeForce RTX上试用。
二、认可买卖化，兼容粗鄙框架，简略部署
Gemma 2为开辟者和研讨东谈主员构建，其联想更容易集成到责任经过中：
（1）灵通且可造访：与原始Gemma模子相同，Gemma 2亦然字据谷歌拥有买卖友善的Gemma许可颁布的，准许开辟东谈主员和研讨东谈主员共享和买卖化他们的改造。
（2）粗鄙的框架兼容性：Gemma 2兼容首要的AI框架，如Hugging Face Transformers，以及经过原生Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama的JAX、PyTorch和TensorFlow。还有，Gemma优化了英伟达TensorRT-LLM以在英伟达加快根本装置上运行或活动英伟达NIM 演绎微业绩运行。用户不错利用Keras和Hugging Face开展微调。谷歌正在进取尽力竣事更多参数高效的微调选项。
（3）纰漏部署：从下个月运转，谷歌云客户将能纰漏在Vertex AI上部署和惩办Gemma 2。
新的Gemma Cookbook是一个包括适用示例和指南的采集，示意用户构建我方的期骗身手并为特定任务微调Gemma 2模子。
三、供应负背负的AI开辟资源，严厉测验评价模子保险性在负背负的AI开辟方位，谷歌供应负背负地构建和部署AI所需的资源，包括负背负的生成式AI器具包。最近开源的LLM Comparator匡助开辟者和研讨东谈主员深化评价话语模子。
即日起，用户可利用配套的Python库与我方的模子和文献开展比拟评价，并在期骗身手中可视化扫尾。还有，谷歌正在进取致力于于于开源文本水印工夫SynthID，用于Gemma模子。
在侦察Gemma 2时，谷歌解任里面保险经过，过滤了侦察 前方的文献，并对准一套全面的方针开展了严厉的测验和评价，以识别和减弱潜在的成见和危机。谷歌在与保险性和代言性危机干系的多数天下基准上发表了其扫尾。
结语：大模子研发趋于适用念头
谷歌Gemma 2的研讨弘扬回应了刻下大模子研讨趋向，即研究用更 轻巧量级的、更适用的模子来竣事更强的性能，并担保易部署，以更好地宁静差别的用户需求。
谷歌为开辟者和研讨东谈主员供应了利用这些模子的多种方法。Gemma 2现可在Google AI Studio中利用，可在莫得硬件条件的周围下测验其270亿参数的一谈性能，也不错从Kaggle和Hugging Face Models下载Gemma 2的模子权重，Vertex AI Model Garden行将推出。
经过Gemma 2，谷歌诠释了蒸馏是侦察此类模子的有用要领，基于输出概率的侦察粗略比纯正的下一个token瞻望产生更多的后果。模子仍存留局限性，需要异日研讨来抓续优化事实性、抵挡性挫折的鲁棒性以及 演绎和契合性。
为认可研讨和开辟，Gemma 2还可经过Kaggle免费获得，或经过Colab条记本的免费层获得。初次利用谷歌云业绩的用户大致有体会获得300好意思元的积分。学识研讨东谈主员不错要求Gemma 2学识研讨缠绵，以获得谷歌云积分，加快对Gemma 2的研讨。要求法例日历为8月9日。
根源：谷歌DeepMind