Al kayak se le atribuye un origen esquimal, más concretamente inuit. La palabra significaría "bote-de-hombre" o "pedazo de madera flotante" ya que se construía a la medida del palista. En la sociedad esquimal, los menores no podían utilizar estas embarcaciones y sólo al alcanzar la mayoría de edad, en un acto ritual, la familia le construía su propio kayak. Se decía que si un esquimal salía a cazar y no regresaba era porque había usado un bote prestado.
En su origen, en el Ártico, el kayak fue concebido originalmente como un bote unipersonal consistente en una armazón de madera revestida de pieles. Tiene una antigüedad de al menos 4000 años.1 Los más antiguos kayaks recuperados se muestran hoy en día en el departamento de Norte América del museo etnológico de Múnich. Los esquimales crearon también prendas específicas para esta actividad como el anorak o el denominado cubrebañeras, que en su caso sólo dejaba al descubierto la cara del palista.
El escocés John McGregor, explorador, deportista y filántropo del siglo XIX, introdujo y popularizó el kayak y el piragüismo en Europa, donde rápidamente alcanzó popularidad hasta el punto de llegar a ser deporte de exhibición en los Juegos Olímpicos de París de 1924 y parte del programa oficial en los Juegos de Berlín de 1936. Los kayaks modernos se construyeron mayoritariamente en madera hasta los años 50, cuando aparecieron en EEUU los primeros kayaks de fibra de vidrio. Los primeros kayaks de material plástico rotomoldeado se introdujeron en 1973. Hoy en día los materiales de construcción varían; sigue construyéndose en madera pero también en fibra de vidrio, carbono, kevlar, y materiales plásticos, dependiendo del uso que se le vaya a dar al bote.