门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
公社水吧
›
大话智能
›
9月人工智能论文和项目推荐
返回列表
9月人工智能论文和项目推荐
[复制链接]
扶劳沈vnc
2024-1-17 22:05:22
显示全部楼层
|
阅读模式
因为LLM的火爆,所以最近的论文都是和LLM相关的
论文
1、LongLoRA
LoRA是人工智能中有效扩展预训练语言模型(llm)上下文大小的一种方法。LongLoRA通过在训练期间利用稀疏的局部注意力和在推理期间利用密集的全局注意力,允许进行经济有效的微调并保持性能。LongLoRA在各种任务上展示了令人印象深刻的结果,并在llm中支持多达10万个令牌的上下文扩展。
2、Chain-of-Verification
Chain-of-Verification减少了大型语言模型中的幻觉。CoVe可以有效地减少基于语言模型的系统中的幻觉。通过生成、验证和传递响应的系统过程,CoVe已经证明了它在各种任务(包括问答和文本生成)中减少幻觉。
3、Fast Feedforward Networks
快速前馈网络(FFF)是一种以较小的神经网络作为叶子的二叉树结构,与mix -of- experts网络相比,它的性能要快得多。尽管还有一些问题,比如树过深而导致的碎片化,但是FFF网络在需要快速推理和小细节编码的场景中具有很大的前景。
4、Contrastive Decoding
对比解码提高了大型语言模型的推理能力。LLM中的对比解码是一种强大的推理方法。它超越了贪婪解码和核采样,在HellaSwag和GSM8K等基准测试中表现出色。
5、PDFTriage
研究人员开发了PDFTriage,这是一种提高基于语言模型的结构化文档(如pdf)问答系统性能的解决方案。通过合并文档结构和内容,PDFTriage在回答各种类别的复杂问题方面优于现有模型。
6、CulturaX
CulturaX是一个精心策划的用于167种语言的大型语言模型的多语言数据集,包含6T标记,专为167种语言的语言模型而设计。数据集经过彻底的清理阶段,以确保人工智能语言模型的高质量训练数据。
7、An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models
研究人员发现,在训练过程中提高图像分辨率和混合多模态语言数据可以提高LLaVA和MiniGPT-4等多模态模型的性能。此外调整视觉指令可以进一步提高这些模型的语言能力。
8、EvoPrompt
EvoPrompt是一个使用进化算法的新框架,它优化了GPT-3.5和Alpaca等语言模型的提示生成。它超越了人类设计的提示和当前的方法,证明了它在语言任务中的有效性。
9、Scaling Laws for Sparsely-Connected Foundation Models.
研究人员发现了一个独特的标度定律,它显示了基础模型中权重稀疏度、非零参数和训练数据量之间的关系。性能的最佳稀疏级别随着数据的增加而增加。
值得关注的项目
1、vllm
vLLM是一个为llm提供了卓越的速度和改进效率的开源引擎,它与hug Face无缝集成,支持高吞吐量服务与先进的算法。vLLM在吞吐量方面优于hug Face transformer和Text Generation Inference。
2、目标检测排行榜
huggingface又发布了目标检测排行榜,目前以基于DETA和DETR架构的模型得分最高
3、DALL·e3
OpenAI正在推出DALL·E 3
4、adobe的Firefly要收费了
Adobe今天宣布,测试版发布的176天后,Firefly现在可以在其Creative Cloud, Adobe Express和Adobe Experience Cloud中使用。
还会将Firefly作为一款独立的web应用程序推出,然后就是收费:
每次点击“生成”来创建一个图像,你就会消耗一个积分,付费Adobe计划的人都将获得相当多生成积分,有人做了对比,大概是一张图片5美分,Dalle便宜大概是13美分。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
发表新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
扶劳沈vnc
注册会员
0
关注
0
粉丝
18
帖子
Ta的主页
发布
加好友
最近发表
中国民用无人机物美价廉,乌克兰三方购得,外交部:责任不在中方
泽连斯基等到了?上千架中国无人机到货,乌方暗渡陈仓,要坏大事
智能穿戴概念23日主力净流入1.25亿元,力源信息、劲拓股份居前
智能穿戴围城:先驱Fitbit停产,Keep们正强势入局
为了健康,你可能越来越难离开你的智能穿戴设备
智能家居、国货“潮品”卖得好!今年我国消费市场平稳增长
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们