使用深度神经网络是否需要考虑特征工程?为什么?
1个回答
关注
![]()
展开全部
咨询记录 · 回答于2022-12-23
使用深度神经网络是否需要考虑特征工程?为什么?
~~亲
您好
使用深度神经网络是否需要考虑特征工程。首先人工特征具有很强的可解释性，对于一些行业比如金融、医疗会很看着；其次，神经网络训练需要大量数据，不然其表现可能不如人工特征；最后，二者都有各自的优势和缺点，应根据实际场景选择。干掉人工特征工程的不是神经网络, 而是自动化特征工程. 我更喜欢把这个叫做DSP (domain-specific pipeline), 即根据需要解决问题的领域 (比如CTR, 推荐, fraud), 以及数据本身的特性, 快速自动构建一套特征处理的pipeline, 并且能加入domain knowledge. 这才是特征工程正确的进化方式.我们常常会觉得有神经网络之后, 所有东西都能端到端学习. 至少从目前的研究进展来看, 端到端更多发生在Vision, NLP这些领域. 而这些领域都有大量的有效数据, 而且格式一般比较标准, 才能有效地进行端到端学习. 举个反例, 对于机械设备的故障诊断, 我们也有着大量振动信号的数据 (每秒几个GB), 但里面的故障数据(有效数据)很少. 同时, 这些振动信号通过信号处理之后, 几个GB可以用几个简单的特征来表达 在这种情况下, 直接上神经网络意义不大. 更有效的方法, 是构建一个pipeline, 用不同信号处理的办法来提取特征, 然后筛选出有效的特征. 这也是我说的domain specific pipeline.
您好使用深度神经网络是否需要考虑特征工程。首先人工特征具有很强的可解释性，对于一些行业比如金融、医疗会很看着；其次，神经网络训练需要大量数据，不然其表现可能不如人工特征；最后，二者都有各自的优势和缺点，应根据实际场景选择。干掉人工特征工程的不是神经网络, 而是自动化特征工程. 我更喜欢把这个叫做DSP (domain-specific pipeline), 即根据需要解决问题的领域 (比如CTR, 推荐, fraud), 以及数据本身的特性, 快速自动构建一套特征处理的pipeline, 并且能加入domain knowledge. 这才是特征工程正确的进化方式.我们常常会觉得有神经网络之后, 所有东西都能端到端学习. 至少从目前的研究进展来看, 端到端更多发生在Vision, NLP这些领域. 而这些领域都有大量的有效数据, 而且格式一般比较标准, 才能有效地进行端到端学习. 举个反例, 对于机械设备的故障诊断, 我们也有着大量振动信号的数据 (每秒几个GB), 但里面的故障数据(有效数据)很少. 同时, 这些振动信号通过信号处理之后, 几个GB可以用几个简单的特征来表达 在这种情况下, 直接上神经网络意义不大. 更有效的方法, 是构建一个pipeline, 用不同信号处理的办法来提取特征, 然后筛选出有效的特征. 这也是我说的domain specific pipeline.
已赞过
评论
收起
你对这个回答的评价是？