近期，浙江数字经济百人会在未来科技城国际会议中心举办“AI进化论——如何推动DeepSeek赋能千行百业”圆桌会。浙江大学人工智能研究所副所长、杭州金智塔首席科学家郑小林作了题为《新一代人工智能趋势与挑战》的主旨演讲。他表示，生成式人工智能（GAI）是实现认知智能的重要途径。人工智能（AI）的发展历程可划分为三个主要阶段，依次为计算智能、感知智能和认知智能。计算智能主要解决存储与计算能力的问题，感知智能则致力于提升听觉与语言表达能力，而认知智能则旨在实现理解与思考的能力。

　　DeepSeek-R1在今年年初取得了显著成就，其在复杂数学问题的推理与解答、大规模多任务语言理解、软件工程等方面相较于其他模型展现出压倒性的优势。

　　人工智能最初旨在使机器能够具备与人类相似的认知、思考和学习能力。郑小林表示，目前，AI已在多个领域取得显著进展，但在自我反省和人际交互等方面仍存在不足。“尽管如此，AI在模仿人类智能方面已取得重大进展，其发展潜力依然巨大。”郑小林说。

　　在人工智能的发展历程中，众多技术路径各具特色。然而，该领域在可解释性、幻觉问题、多模态交互、价值一致性、隐私保护、攻防对抗以及合规伦理等方面，依然面临诸多挑战。第一个挑战是创造力与幻觉率是否构成悖论。郑小林谈到，在最近的R1测试中，AI推理能力得到了显著提升，然而与此同时，幻觉率亦有所上升。根据OpenAI之前的观点，推理能力的增强理应导致幻觉率的降低。分析R1幻觉率增高现象，原因有两个：其一，为了强化推理机制，推理过程被过度扩展，特别强调了推理的重要性；其二，选择过程中的数据通过强化学习进行训练时，存在奖励偏差的问题。目前，科研界和政府正在推动高质量数据集的建设，这被视为解决该问题的一个有效途径。

　　第二个挑战是大模型安全与隐私保护。一是隐私泄露问题。例如，大模型在训练过程中可能泄露隐私信息，且在对外提供服务时也可能导致隐私信息的泄露。在此过程中，多个环节均可能引发安全与隐私方面的风险。二是数据投毒问题，即在模型训练阶段被投入含有污染的数据样本，导致原始数据污染进而影响模型的纯净度。不仅限于模型训练的源头，数据投毒还可能发生在模型交互过程中。三是对抗攻击问题，包括在文本输入阶段故意插入特定关键词以诱导模型产生错误解读。四是模型窃取问题，即第三方在模型发布后通过与模型的交互尝试窃取模型参数，或对模型进行篡改。

　　第三个挑战是价值对齐问题。如何确保大型人工智能模型的能力和行为与人类的价值观、真实意图以及伦理原则保持一致，从而保障人类与人工智能合作过程中的安全性和信任度。这一问题亦被称为“价值对齐”或“人机对齐”。为应对价值对齐的挑战，可采取的措施包括基于人类反馈的强化学习、可扩展监督、增强模型可解释性和加强政策治理。

　　郑小林发布了人工智能五大未来发展趋势。一是AI算法创新与算力需求逐步均衡。DeepSeek通过优化算法架构，显著提升了算力利用效率，打破了算力至上的传统认知。“算法创新+合理算力”发展模式是突破AI“卡脖子”限制的关键。二是可信数据与可信模型相互促进。在人工智能领域，安全与隐私问题始终是一个重大挑战。因此，构建一个可信数据空间，实现对人工智能训练的数据可信和训练环境可信，以及对AI生成的合成内容进行可信标识，是可信AI的重要支撑。可信数据与可信模型如何相互促进，将成为未来发展的又一关键方向。三是人机智能协作的深入发展。人机智能协作正逐步深化，从最初人工智能仅作为辅助工具，扮演着小助理的角色，到今天人工智能的功能日益增多。未来随着AI推理能力的增强，将进入Agent模式，在此模式下，人工智能将承担人类大部分工作，人类仅需设定目标、提供必要资源，并最终对结果进行监督。四是人工智能融入社会生活与千行百业。目前，Deep-Seek所引领的技术趋势使得许多大型人工智能模型无需依赖图形处理单元，甚至中央处理器也能运行较小的模型。未来，智能设备将成为承载大型或小型人工智能模型的载体。这些模型将深入社会生活和各行各业，在第一、二、三产业都拥有广阔的应用前景。五是人工智能迈向高阶AGI。迈向高阶AGI，意味着从智能语言对话到逻辑推理，再到当前备受关注的Agent技术，在这一过程中，人工智能将扮演创新者的角色，甚至成为社会工作的组织者。　（林文）

　　文章摘自：浙江数字经济百人会