成书于西汉末、东汉初的《九章算术》用分离系数法表示线性方程组，自然地得到了其增广矩阵。在消元过程中，使用的把某行乘以某一非零实数、从某行中减去另一行等运算技巧，相当于矩阵的初等变换。但当时并没有现在理解的矩阵概念，虽然它与现在的矩阵形式上相同，但在当时只是作为线性方程组的标准表示与处理方式。

矩阵的现代概念在19世纪逐渐形成。1801年，德国数学家高斯（F.Gauss，1777-1855)把一个线性变换的全部系数作为一个整体。1844年，德国数学家艾森斯坦(F.Eisenstein,1823-1852)讨论了“变换”（矩阵）极其乘积。1850年，英国数学家西尔维斯特（James Joseph Sylvester,1814-1897)首先使用了矩阵一词。

西尔维斯特是犹太人，当他在取得剑桥大学数学荣誉会考1等第2名的优异成绩时，仍被禁止在剑桥大学任教。从1841年时他接受过一些较低的职位，做过书记官和律师。经过若干年的努力，他终于成为霍普金斯（Hopkins)大学的教授，并于1884年重返英格兰，成为牛津大学教授。他开创了美国的纯数学研究，创办了《美国数学杂志》。他的主要贡献是组合的思想和从较具体的发展中进行抽象。

1858年，英国数学家凯莱(A.Gayley,1821-1895)发表了《关于矩阵理论的研究报告》。他首先将矩阵作为一个独立的数学对象加以研究，并在这个主题上首先发表了一系列文章，因而被认为是矩阵论的创立者。他给出了现在通用的一系列定义，如两个矩阵的相等、零矩阵、单位矩阵、两个矩阵的和、一个数与一个矩阵的数量积、两个矩阵的积、矩阵的逆、转置矩阵等。凯莱注意到矩阵乘法是可结合的，但一般不可交换，而且m×n矩阵只能用n×p矩阵去右乘。

1854年，法国数学家埃尔米特(C.Hermite,1822-1901) 使用了“正交矩阵”这一术语，但它的正式定义直到1878年才由德国数学家费罗贝尼乌斯(F.G.Frobenius，1849-1917)发表。1879年，费罗贝尼乌斯引入了矩阵的秩的概念。

至此，矩阵的体系基本上建立起来了。