「教科书级」数据能有多大作用?微软超强小模型引热议

百科热点英格兰联赛杯第三轮:布伦特福德0

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据
综合

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据

2023年9月28日三乙烯二胺价格最新行情预测

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据

英格兰联赛杯第三轮:纽卡斯尔联12023年9月27日电解锰价格最新行情预测

这才是德甲最佳后腰的风采,远藤航vs莱斯特城个人集锦

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据

意甲第6轮:国际1

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据

「教科书级」数据能有多大浸染?微软超强小模子引热议

故故者:迟钝之心 人造智能 音问 6 月,教科浸染微软揭橥了一篇题为《Textbooks Are All You Need》的书级数据论文,用领域仅为 7B token 的微软邮件营销大师「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。

随着大模子掀起新一轮 AI 高潮,超强人们起点陈想念:大模子的小模重大能力源泉于什么?

面前,大模子根本在由连缀施行的引热议「大数据」来鼓舞。「大模子 + 大数据」顺应曾经成为构建模子的教科浸染范例范式。但随着模子领域和数据量的书级数据连缀拉长,算力的微软须要会飞速膨饱读。极少钻探者试验穷究新脉络。超强邮件营销大师

6 月,小模微软揭橥了一篇题为《Textbooks Are All You Need》的引热议论文,用领域仅为 7B token 的教科浸染「教科书质量」数据陶冶了一个 1.3B 参数的模子 ——phi-1。纵然在数据集和模子大小方面比竞品模子小几个数量级,书级数据但 phi-1 在 HumanEval 的微软 pass@1 上达到了 50.6% 的详细率,在 MBPP 上达到了 55.5%。

phi-1 阐述高质量的「少量据」能够让模子齐全良好的职能。迩来,微软又颁布了论文《Textbooks Are All You Need II: phi-1.5 technical report》,对高质量「少量据」的潜力做了进一步钻探。

论文所在:https://arxiv.org/abs/2309.05463

模子简介

结构

钻探团队骗捏 phi-1 的钻探设施,并将钻探重点阁阁在自然说话知识推理管事上,设立了领有 1.3B 参数的 Transformer 结构说话模子 phi-1.5。phi-1.5 的结构与 phi-1 无缺雷同,有 24 层,32 个头,每个头的维度为 64,并骗捏转变维度为 32 的转变镶嵌,高低文长度为 2048。

此外,该钻探还骗捏 flash-attention 进行陶冶加速,并骗捏 codegen-mono 的 tokenizer。

图片

陶冶数据

phi-1.5 的陶冶数据是由 phi-1 的陶冶数据(7B token)和新设立的「教科书质量」数据(约莫 20B token)组成的。此中,新设立的「教科书质量」数据旨在让模子限度知识推理,钻探团队经心采选了 20K 个需求来生成新数据。

值得瞩目的是,为了辩论采集数据(LLM 常用)的首要性,该钻探还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模子。

钻探团队露出:设立重大且通盘的数据集须要的不只是原始预备能力,还须要错乱的迭代、灵验的需求采纳,以及对知识的长远领略,齐全这些要素,能力确保数据的质量和百般性。

试探结果

马虎说话领路管事,该钻探在多个数据集(蕴涵 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU)上评估了极少模子。评估结果如下表 3 所示,phi-1.5 的职能能够逊色 5 倍大的模子:

图片

在知识推理基准上的视察结果如下表所示:

图片

在更错乱的推理管事(譬喻小学数学和根柢编码管事)上 phi-1.5 还高出了大大量 LLM:

图片

钻探团队认为,phi-1.5 再次证陈恳高质量「少量据」的能量。

图片

质问与辩说

能够是鉴于「大模子 + 大数据」的理记挂太长远民意,这项钻探遭到了迟钝陶冶社区极少钻探职工的质问,甚至有人纳闷 phi-1.5 直接在视察基准数据集上陶冶了。

图片

网友 Susan Zhang 进行了一系列验证,并指出:「phi-1.5 能够对 GSM8K 数据鸠合的原题目给出无缺确实的答复,但只要稍许编削一下花色(譬喻换行),phi-1.5 就不会答复了。」

图片


图片

还有编削题目华厦数据,phi-1.5 在解答题目的进程中就会阐述「幻觉」。譬喻,在一个点餐题目中,只编削了「披萨的价钱」,phi-1.5 的解答就阐高兴错误。

图片


图片

而且,phi-1.5 顺应「记着了」终竟谜底,纵然在编削数据的状态下该谜底曾经是错误的。

对此,论文故故者之一 Ronen Eldan 很快给出了答复,针对上述网友视察阐述的题目给出阐述和驳斥:

图片

但该网友再次阐述其顾念点:视察阐述 phi-1.5 的答复对 prompt 的花色黑白常「退让」的,并对故故者的答复疏间质问:

图片

论文第一故故者 Yuanzhi Li 答复道:「鉴于莫得进行任何指示微谐和对齐职业,phi-1.5 在耐心肠上确实不如 GPT-4。但『退让』并不是确实的术语,终归上,马虎任何模子,pass@k 详细率都邑比 pass@1 高得多(是以模子确实就是未必的)。」

图片

顾念记挂到这些质问与辩说,网友们直呼:「最轻省的答复花式就是直接公户口合成数据集。」

图片

对此,你怎样顾念记挂?

责任编辑:张燕妮 源泉: 迟钝之心 模子数据

2023-10-03 06:13:33未受恶搞事件影响,奥斯梅恩数据:出场63分钟5次射门进1球
热点

2023年9月28日江苏省异丁醇价格最新行情预测Mate60 RS非凡大师今日开售:排队热度远胜iPhone 15英联杯第四轮抽签:曼联vs纽卡,西汉姆联vs阿森纳阿尔特塔的答卷 (2020

友情链接