Né à New York en 1947 de parents d'origine juive russe Charlemagne Palestine chante dès l'âge de huit ans dans la chorale d'une synagogue à Brooklyn. Cette première expérience, qui durera plusieurs années, l'oriente définitivement vers une approche spirituelle de la musique. A 13 ans il suit des cours au Collège des Arts et de la Musique de Manhattan. Durant cette même période naît aussi son intérêt pour les sons générés par des machines (moteurs électriques, réfrigérateurs...), de divers engins qui apparaissent sur l'écran de cinéma (courses automobiles, motos, avions, missiles...). Il découvre par la suite la musique électronique de Tod Dockstader, la musique concrète de Pierre Henry et Pierre Schaeffer, le fameux Poème électronique d'Edgar Varèse, Iannis Xenakis, Gesang der Junglinge de Karlheinz Stockhausen. Il se procure alors des magnétophones à bandes avec lesquels il expérimente l'enregistrement et le collage. De 1963 à 1969 il occupe la place de carillonneur à l'église Saint-Thomas située près du Musée d'Art Moderne à New York. Cette proximité du Musée lui permet de découvrir l'avant-garde new-yorkaise, les peintres minimalistes Mark Rothko, Barnett Newman et Clyford Still, des musiciens tels que John Cage, Tony Conrad, Morton Feldman, le maître du raga indien Pandit Pran Nath qui enseigne le chant à Terry Riley et La Monte Young...
Il rencontre Morton Subotnick, le co-fondateur en 1961 du San Francisco Tape Music Center, au University Intermedia Center de New York qui lui donne accès aux oscillateurs électroniques. Morton Subotnick le présente également à Don Buchla et Serge Tcherepnin. A cette époque, Charlemagne Palestine se lance dans l'exploration des drones, ces sons continus ou bourdons. "Comme Rothko et Still l'avaient trouvé en peinture, je voulais trouver dans le son un champ baigné de couleur, un temple de la couleur, un sanctuaire de la couleur, un son sans fin" (Revue et Corrigée n°28).
Il s'investit alors dans cette quête du "Son d'Or", selon ses propres termes, explorant les oscillateurs, les synthétiseurs analogiques, tard dans la nuit dans les locaux vides du University Intermedia Center. Ses premiers travaux sont publiés plus de 30 ans plus tard par le label Alga Marghen dans une collection intitulée "Golden Research". In-Mid-Air (Alga Marghen, 2003) contient 5 pièces de cette période : Sine Tone Study (1967), Open Closing (1968), Seven Organism Study (1968), Negative Sound Study (1969) et Timbral for Pran Nath (1970). Pendant ses recherches nocturnes Charlemagne Palestine sculpte obstinément le son, oscillateur par oscillateur, poussant le son à un volume très élevé dans une pièce insonorisée où tous les objets se mettent à vibrer. Il enregistre ainsi Holy 1 et Holy 2 en 1967. Ces deux pièces sont utilisées comme matériaux sonores subissant divers variations de vitesse pour Open Closing en 1968. Holy 1 et Holy 2 sont également utilisés en 1969 pour Alloy (Alga Marghen, 2000), une musique créée suite à une demande de Tony Conrad pour son film Coming Attractions et sur laquelle interviennent le saxophoniste Bob Feldman, la chanteuse soprano Deborah Glaser, Tony Conrad lui-même sur un instrument de son invention, le Long String Drone, tandis que Charlemagne Palestine est à la voix, aux carillons et aux percussions.
Dès le début des années 70 Charlemagne Palestine oriente ses recherches vers des sonorités plus acoustiques, mais toujours dans une même but : percée le "secret" des continuum sonores. Il enregistre Piano Drone (1972), Duo Strumming for 2 Harpsichord (1978), deux pièces publiées sur Continuous Sound Forms (Alga Marghen, 2000). Il joue sur orgue d'église (Spectral Continuum Drones, Schlingen Bangen en 1978-79), ou encore sur piano Bosendörfer au cours de longues performances. Lors de certaines performances au piano, Charlemagne Palestine martèle les touches pendant plusieurs heures jusqu'à la souffrance, créant un magma sonore continue... Comme La Monte Young et Terry Riley il a étudié la musique du nord de l'Inde auprès du grand maître du drupad Pandit Pran Nath. Charlemagne Palestine trouve dans ces chants indiens, qu'il pratique parfois lors de ses performances, des éléments nourrissant sa quête du "Son d'or". En 1971, il entreprend également un voyage en Indonésie avec le compositeur Ingram Marshall, partageant avec lui le même intérêt pour les tonalités et les rythmes des gamelans.
A la fin des années 1970, la tendance minimaliste répétitive (Steve Reich, Philip Glass), plus accessible, trouve un succès qui éclipse les plus radicaux. Charlemagne Palestine vit assez mal cette situation, jugeant cette tendance comme trop commerciale et dénuée de spiritualité. En 1981 il déclara même vouloir abandonner la musique pour se consacrer exclusivement aux arts visuels. Il continuera cependant à se produire par intermittence, le plus souvent pour accompagner ses expositions de sculptures, installations et vidéos. En 1987 il réalisa pour la Documenta 7 à Kassel, Good Bear un ours en peluche à 3 têtes et 2 corps de 6 mètres de haut, reprenant là l'un des éléments centraux de son œuvre visuelle : les animaux en peluches, également présents sur scène lors de ses performances musicales. Dans les années 1980 il fonde l'Ethnology Cinema Project, un centre d'archives préservant et diffusant les films portant sur les modes de vie traditionnelles dans le monde entier.
En 1991, le label NewTone publie Strumming Music, une longue performance pour piano enregistrée en 1988, sans doute le première œuvre de Charlemagne Palestine éditée sur CD. C'est toutefois en 1996, avec la publication de Four Manifestations on Six Elements par le label Baaroni que Charlemagne Palestine connaît un véritable nouveau départ dans sa carrière musicale. Four Manifestations on Six Elements rassemble divers performances enregistrées dans les années 1970 et 1980. Ce disque arrive à point nommé alors que le minimalisme en musique connaît un regain d'intérêt auprès du public. Ce disque contient notamment l'enregistrement d'un concert de carillon donné par Charlemagne Palestine en 1982 au New Music America Festival. Preuve de l'intérêt de la nouvelle génération pour ces "early gurus" l'enregistrement est remasterisé par Lee Ranaldo de Sonic Youth. Depuis Charlemagne Palestine n'aura jamais autant publié de disques. Jamaica Heinekens In Brooklyn (Barooni) mélange de drones électroniques et de sons de la foule enregistré lors de la Jamaica Day parade, rassemblant des gens de Jamaïque, Cuba, Guyane, Haïti, dans les rues de Brooklyn. Une nouvelle création de Charlemagne Palestine, Karenina, est publié sur le label de Current'93, Durtro, en 1997. Schlingen-Blängen (New World, 2002) propose une performance sur orgue enregistrée en 1988 (10 ans après la première à Farsnum en Hollande en 1978). Ses "Early Works", abordés plus haut, ont été publiés par Alga Marghen. Alga Marghen a aussi édité Charlemagne at Sonnabend, en 2003, qui contient des performances de Charlemagne Palestine enregistrées en 2000 et 2001.
Alga Marghen est aussi à l'origine de la publication, fin 2004, de Bordel Sacré / Sacred Bordello, un ouvrage de 192 pages et 160 photos conçu par Daniel Perrier, consacré à Charlemagne Palestine. Ce livre comprend des analyses Guy de Bièvre, Antonio Guzman, Arnaud Labelle-Rojoux et Edwin Pouncey. Une édition limitée accompagnée d'un CD, aujourd'hui épuisée, a également été publiée. Le CD contient March 7, 1975, une conférence donnée par Charlemagne Palestine après une exécution de Strumming music au ArtNow Centre, au Canada, et Voice study enregistré dans les années 60.