tags
type
status
date
slug
summary
category
password
icon
网络深度增加带来反馈回传的问题
循环神经网络(RNN, Recurrent Neural Networks)，把输出结果再传递到输入端进行迭代
Long Short-Term Memory(LSTM) 引入遗忘机制
Large Language Model(LLM)大语言模型
输入到大语言模型的是什么？
一个向量，但词语之间的距离不能很好地表达（如 水杯、水瓶和世界）
随后生成矩阵，每个元素是对应的词语同时出现的频率
降维化处理之后（因为矩阵中大部分元素都是0，很稀疏）
随后word→vector
Attention机制：基于词语预测后面的词
谷歌公司：BERT
预训练模型：再加工一下（fine-tuning）就可以执行下游任务
GPT2.0：基于前面的语段输出下一个词
inline learning
“Let’s solve the problem step by step.”直接输出数学问题的答案是错的，但加上这一句话就能让答案变对
用Chat玩Diploma外交游戏
某一部落的语言中没有时态
ChatGPT可以被“越狱”
价值对齐：用已经训练好的一个或多个AI通过博弈训练
目前ChatGPT只能通过语言处理来预测，但无法通过自身训练来验证。这一点需要通过具身体验得到补偿，演化出镜像神经元的功能，拥有感同身受的能力（从具身认知embodied cognition演化而来）
新版ChatGPT可以进行视觉处理
- 作者:XiaoTianyao
- 链接:https://www.xty27.top/article/jushenzhinengyuai
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。