师资力量
澳洲国立大学COMP2610信息论研究了信息表达和传输的基本限制。课程介绍了信息论的基本概念，如概率、信息和熵，及其在数据压缩、编码、通信、模式识别和概率推理领域的应用。为了便于同学考前复习，我们针对这门课的考点进行了梳理和总结，详情如下。
一、COMP2610 Final Exam知识重点
1、概率论和贝叶斯法则；贝叶斯推理；概率分布
2、熵；KL散度和互信息
3、基本不等式；概率不等式及应用
4、系综、典型性和AEP
5、压缩；统一编码
6、信源编码定理
7、无损压缩的符号代码
8、符号码的信源编码定理
9、区间和算术编码
10、Lempel-Ziv编码
11、噪声信道；噪声信道编码定理
12、计算信道容量；汉明码
二、COMP2610 Final Exam评估重点
考试将重点评估同学的以下知识和技能：
1、理解并应用信息论中的基本概念，如概率、熵、信息量及其相互关系。
2、了解数据压缩的原理。
3、计算随机变量的熵和互信息。
4、实现和分析基本的编码和压缩算法。
5、理解信息理论原理和贝叶斯推理在数据建模和模式识别中的关系。
6、理解一些量化压缩、通信和推理的基本限制的关键定理和不等式。
7、了解噪声信道通信的基本概念。
完成澳洲国立大学COMP2610课程后，同学将具备理解数据压缩、存储和通信问题所需的背景知识，并能进一步学习统计推断、机器学习和信息工程方面的高级课程。
