CSYS5030 Week 04 What is Information? II 讲课总结
CSYS5030 Module 4 讲课总结。整理条件互信息的推导与性质、条件化为何可能「增加」互信息(协同 synergy 与冗余 redundancy)、XOR 经典例子、互信息链式法则(信息回归),以及 Seinfeld 文本中条件互信息揭示的协同效应与剪刀石头布时序样本配对的坑。
CSYS5030 Module 4 讲课总结。整理条件互信息的推导与性质、条件化为何可能「增加」互信息(协同 synergy 与冗余 redundancy)、XOR 经典例子、互信息链式法则(信息回归),以及 Seinfeld 文本中条件互信息揭示的协同效应与剪刀石头布时序样本配对的坑。
CSYS5030 Module 3 讲课总结。整理 Scissors-Paper-Rock 数据分析中「样本混池」的陷阱、cross-entropy 与 KL divergence、互信息的定义与六种解读、pointwise mutual information 及其可为负的 misinformation,以及 Seinfeld 英文文本中相邻字符互信息的实测结果。
COMP5318 Week 04 讲课总结,整理贝叶斯定理与先验/后验/似然、朴素贝叶斯的两条假设与完整算例、零频问题与 Laplace 平滑、缺失值处理、数值属性的高斯朴素贝叶斯,以及模型评估的 holdout / 分层 / 重复 holdout / 十折交叉验证 / 留一法、网格搜索调参,与混淆矩阵、accuracy、precision、recall、F1。