运维开发网

多模型不仅是不同的初始化值会得到不同状态(多态微调结构网络)

运维开发网 https://www.qedev.com 2021-04-23 15:29 出处:51CTO 作者:东方佑
https://editor.csdn.net/md/?articleId=112869440比如说人工智能写诗这一块,每反向传播一次都是一个风格一个状态一个性格的诗人的某一时刻所以说一个模型是一种状态,一个人某个时期的所有知识或则一个方面知识的排列组合

https://editor.csdn.net/md/?articleId=112869440

比如说人工智能写诗这一块,每反向传播一次都是一个风格一个状态一个性格的诗人的某一时刻

所以说一个模型是一种状态,一个人某个时期的所有知识或则一个方面知识的排列组合。模型是一种将所有知识合理的排列组合后的数据进行压缩处理而已。

不同的网络存储量存储结构不同,合理的能力就不同。所以说不同的网络,不同的网络结构是可以改变模型的存储能力

网络相当于人类的所有状态的集合,不同时期激活不同的状态,得到不同的模型,也就是训练。

人每次输入信息都在训练,调整模型,只有长期的训练不怎么变化的知识才会固定一个状态,如果长期的不使用,恢复训练状态。

所以人的整个交互过程,都是在训练。而不是我们单纯的只保存一个模型。

所以如果我们能的每次预测,模型直接使用学习率超小的进行反向传播即可

这样我们的神经网络就能和人一样短时间内不会有变化,但是长时间的使用会对模型进行改变这就是成长。

成长之后还会对网络结构进行优化,这就是总结

所以创造一个可以随时的改变或者删除一个节点,只是对网络的一个微调,不会对网路造成影响的这样的神经网络才符合人类的整个学习过程

按照目前的神经网络来说,这有多个相同的输出输出 横向 相加或者相减法

每层有n个或者m个这样的微小结构,比如10000个不如9999个

这样随意删掉几个也是很好的,每个都有一个网络层控制这些数之间的加减法的选择其实可以使用lstm 这样 每次输入的一个就会出来一个但是下次出入同样的取决于你之前的输入这样就不会输出相同的值。且长度只要不小于1既可以得到值

这样便可以随意的裁剪微小结构,也就是逻辑删除,只要控制输入lstm的长度即可。

也就是说每次微调lstm输入同

0

精彩评论

暂无评论...
验证码 换一张
取 消