加载中...

地址发布 老王说明书 宣传中心
楼主: 15267158147
收起左侧

[Windows] [已失效] [自行打包] 本地酒馆语音对话 [1+15G][百度盘]

  [复制链接]
发表于 2024-4-6 03:07:26 手机版 | 显示全部楼层
楼主,能发一些角色卡吗?贵点没事,实在不懂怎么弄,可以打赏,十分感谢
回复 支持 反对

使用道具 举报

发表于 2024-4-6 15:31:57 手机版 | 显示全部楼层
这是什么情况?好几个模型都这样

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?免费注册

x
回复 支持 1 反对 0

使用道具 举报

 楼主| 发表于 2024-4-6 17:07:48 | 显示全部楼层
灲雨 发表于 2024-4-6 03:076 J, R  _( c5 R8 B2 H' l( t( ^(欢迎访问老王论坛:laowang.vip)
楼主,能发一些角色卡吗?贵点没事,实在不懂怎么弄,可以打赏,十分感谢 ...

4 A0 ]6 ?2 ?- [5 `+ `7 e角色卡这个东西你哪里都能找,也不用打赏,这是角色卡网站https://www.chub.ai/?search=&first=50&topics=&excludetopics=&page=1&sort=default&venus=false&min_tokens=50&first=50&page=1
# t8 o& D1 v0 N1 J. w
回复 支持 1 反对 0

使用道具 举报

发表于 2024-4-6 22:05:11 | 显示全部楼层
问一下,网页里面显示模型加载成功,但是llm启动器里显示加载失败是怎么回事?怎么解?
0 b6 {9 V) _$ T% G  R2 CERROR:The model could not be loaded because its checkpoint file in .bin/.pt/.safetensors format could not be located.
3 Y* C! Q. y' c7 R这个是启动器里的失败提示
回复 支持 3 反对 1

使用道具 举报

发表于 2024-4-7 04:09:11 | 显示全部楼层

你可以看看

本帖最后由 28791798851 于 2024-4-7 04:38 编辑
7 N- k) \' P' B+ F
dacunge520 发表于 2024-4-2 23:11; ~$ X7 [" S' t( q6 G% R(欢迎访问老王论坛:laowang.vip)
唉,放弃了,按照你说的能打开了,但是对话都是空白,我也去频道看了看,说是内存爆了,但我看内存显存都 ...
& u2 O7 j4 X+ ~3 [/ ]; A7 U(欢迎访问老王论坛:laowang.vip)
A卡有个解决方案是把CUDA代码转换为HIP代码就可以跑,不过很麻烦,可以借张卡就借吧
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:12:03 | 显示全部楼层

你看看我吧

本帖最后由 28791798851 于 2024-4-7 04:59 编辑 2 G: \( F. J& f1 ?3 e6 T# @: \(欢迎访问老王论坛:laowang.vip)
kkgreed 发表于 2024-4-6 22:05! T# N3 B- y; ?7 d1 v(欢迎访问老王论坛:laowang.vip)
问一下,网页里面显示模型加载成功,但是llm启动器里显示加载失败是怎么回事?怎么解?
$ x; [, q  }) l0 u$ `ERROR:The model co ...

! R! d% F4 p7 ^+ T我也是这样的问题。这里说的是文件格式或者是下载过程中有损失,不知道问题出在哪里,同时发现我显存不够,换了低模型后可以用,下了个3b的1 h: l5 p+ Y  _$ {(欢迎访问老王论坛:laowang.vip)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:27:39 | 显示全部楼层
本贴模型配置大致如下:
" H$ C! d8 E8 o5 }- L( J24G以上内存- J( g3 `0 M6 r(欢迎访问老王论坛:laowang.vip)
16G可以运行,但是加载7B模型时会爆内存,需要你用阳寿、运气和虚拟内存帮你顶过去,或者使用预量化模型  {1 c8 }" J7 q* R. O9 [(欢迎访问老王论坛:laowang.vip)
8-16G显存的显卡; B% u/ m" g. T3 a3 ~$ q(欢迎访问老王论坛:laowang.vip)
7B模型以FP16+INT8混合模式运行需要接近8G显存
$ P' I+ R0 l7 L7B模型以FP16模式运行需要15G显存【可以用两张8G显卡拼凑使用】
, w. {2 |9 T$ G7 R% h* m3 C8 ^$ V最好是N卡9系以后产品,A卡需要折腾且有一定能力,小白可以直接放弃打出GG
1 X! g1 _' Q! \  O- q不低于 E3 v2 或者 2-3代 i5 水平的CPU/ b+ }3 F# S" R# ](欢迎访问老王论坛:laowang.vip)
至少能放下完整一个 RWKV 7B 模型的硬盘空间* E6 Q  c) l3 L(欢迎访问老王论坛:laowang.vip)
一个RWKV 7B模型 一般14G
回复 支持 反对

使用道具 举报

发表于 2024-4-7 04:57:28 | 显示全部楼层
逛了大半天,有点晕头转向的,大致明白了一些,本贴的这个模型对显卡要求有点高,选择低模型对应自己的显卡这点很重要,压缩包内有个下载一些模型的链接,最后还是从github上自己学习了一下,从头部署环境,用大佬的代码和数据集训练模型,得到模型后还要有相应的知识库然后再破甲,整了快五个小时,这个压缩包没有找到具体的出处,用起来有些问题实在不知道怎么解决
回复 支持 反对

使用道具 举报

发表于 2024-4-7 05:35:51 | 显示全部楼层
现在用这个压缩包不管怎么换模型都显示Exception: 系统找不到指定的文件。 (os error 2)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 07:57:06 手机版 | 显示全部楼层
28791798851 发表于 2024-4-7 04:12. S' F4 C$ V; |(欢迎访问老王论坛:laowang.vip)
我也是这样的问题。这里说的是文件格式或者是下载过程中有损失,不知道问题出在哪里,同时发现我显存不够 ...

" Z4 ?7 K0 V1 e& \低版本模型在哪里下载?能和我说说怎么用么?
回复 支持 反对

使用道具 举报

发表于 2024-4-7 14:42:08 | 显示全部楼层
kkgreed 发表于 2024-4-7 07:571 ~) ?2 F, a+ M2 s' ~- j; I(欢迎访问老王论坛:laowang.vip)
低版本模型在哪里下载?能和我说说怎么用么?
& C  h+ o" ]' g! K3 M" t( i(欢迎访问老王论坛:laowang.vip)
模型有一个链接的,你在压缩包解压了里面找一找,里面有个酒馆使用教程>模型下载和使用>模型下载网址,然后到网址之后你就找文本里告诉你的三种格式RWKV,GGML,GPTQ,然后选择3B的模型或者1B5的模型,7B的模型我的电脑跑不起来。* a3 w! C8 Y+ C2 X( f3 y6 Q9 x(欢迎访问老王论坛:laowang.vip)
回复 支持 反对

使用道具 举报

发表于 2024-4-7 18:05:08 | 显示全部楼层
你的教程没人看得懂,你觉得我说错了就在你自己贴子里找一个成功运行的人出来.
回复 支持 2 反对 0

使用道具 举报

 楼主| 发表于 2024-4-8 01:55:01 手机版 | 显示全部楼层
28791798851 发表于 2024-4-7 04:27; ^- k% O( u  G4 r/ f(欢迎访问老王论坛:laowang.vip)
本贴模型配置大致如下:
5 {0 A. N+ v) ~6 Z24G以上内存
' j. Y3 Z. [  i16G可以运行,但是加载7B模型时会爆内存,需要你用阳寿、运气和虚拟内 ...

4 x7 J6 B; h' |5 Z2 g还是有人懂,那些电脑配置不够的,又想玩大模型,我真的服了
回复 支持 0 反对 1

使用道具 举报

发表于 2024-4-8 21:54:17 手机版 | 显示全部楼层
15267158147 发表于 2024-4-8 01:55
) F2 H& f1 T: `% b$ c. w8 p/ N' m还是有人懂,那些电脑配置不够的,又想玩大模型,我真的服了

( \$ r$ H8 a2 M1 {' v0 R. x不是哥们,你看看人家上面都说了啥,用了五个小时,还是从其他地方找的攻略,之后压缩包有问题还没找到解决办法。大家吐槽的是你发的攻略看不懂,没别的意思,就是觉得你的回复有点抽象!
回复 支持 5 反对 0

使用道具 举报

 楼主| 发表于 2024-4-9 19:00:38 手机版 | 显示全部楼层
摘星种树 发表于 2024-4-8 21:54
* n6 {# ^1 {  J" _# y) M不是哥们,你看看人家上面都说了啥,用了五个小时,还是从其他地方找的攻略,之后压缩包有问题还没找到解 ...

) Y9 i5 i$ l7 h5 t+ v  e攻略看不懂?跟着我的图走很难吗,你看了那个攻略了吗,他们说什么打不开的主要问题就是选了不适合自己的模型,我也不知道谁抽象
回复 支持 反对

使用道具 举报

发表于 2024-4-11 02:39:19 手机版 | 显示全部楼层
15267158147 发表于 2024-4-9 19:00; E! p1 \4 m" o9 O/ j0 A(欢迎访问老王论坛:laowang.vip)
攻略看不懂?跟着我的图走很难吗,你看了那个攻略了吗,他们说什么打不开的主要问题就是选了不适合自己的 ...

7 U. H) E& f1 ~$ f跟着你的图走我也能做到你发的图那样,但是那是角色卡的初始回答。另外你说的模型我下了好几个,最小的一个模型仅仅1.9g,而且是你自己介绍的说6g就可以用,还有我的模型加载出来了,显示成功了,是ai不回复。说你抽象的原因是因为前面很多回复你失败的人你都没有回答,挑了一个说更换模型的你倒是回复了,而且他说的模型加载不出来的问题你自动忽略了。随着ai宇宙崩溃,加上a社大量封杀账号,现在很多ai难民,我也希望你能搞出更牛逼的东西。
回复 支持 反对

使用道具 举报

发表于 2024-4-11 08:05:50 手机版 | 显示全部楼层
聊天记录会被别人看到吗?
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:28:40 手机版 | 显示全部楼层
摘星种树 发表于 2024-4-11 02:39
$ F! R9 D5 _+ s4 |跟着你的图走我也能做到你发的图那样,但是那是角色卡的初始回答。另外你说的模型我下了好几个,最小的一 ...

  P8 K# X* r) q' V9 u# ~他们的原因我是不是一开始就说了,是内存不够,但是他们还是要玩大模型,他们自己不看,还有,我也给他们QQ频道让他们去问了,你是一点不看啊,难道我还要一个一个解释过去吗,我说6g就能运行难道不对吗,6g是最低模型运行啊,你想玩大模型你得看看你的运行怎么样啊,这个也怪我吗,我觉得你挺抽象的
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:32:03 手机版 | 显示全部楼层
870078725 发表于 2024-4-11 08:05& f" u& F9 Z& b/ V! E! Z1 [, C) p& K! u(欢迎访问老王论坛:laowang.vip)
聊天记录会被别人看到吗?

8 Z; `0 n, S4 e$ L不会的,这是本地部署,你就算断网也能用
回复 支持 反对

使用道具 举报

 楼主| 发表于 2024-4-12 00:35:32 手机版 | 显示全部楼层

你可以看看

本帖最后由 15267158147 于 2024-4-12 13:01 编辑
; J/ S  H) M: ~. G5 F+ R+ a
28791798851 发表于 2024-4-7 04:57: g. |/ L, y0 ]8 D(欢迎访问老王论坛:laowang.vip)
逛了大半天,有点晕头转向的,大致明白了一些,本贴的这个模型对显卡要求有点高,选择低模型对应自己的显卡 ...
& n1 {5 x8 {3 q" z(欢迎访问老王论坛:laowang.vip)
这个在b站的mega会玩有教程,关键词是ai对话,你可以搜搜看
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 免费注册
点击进行验证

本版积分规则

我们不生产资源,只做资源的搬运工。

tags标签-春满四合院-AvGood-Archiver-小黑屋- |网站地图