Merkistöt ja merkkikoodaukset

Oikein – ASCII käyttää 7 bittiä ja sisältää 128 mahdollista merkkiä.

Oikein – character set tarkoittaa suomeksi merkistöä.

Väärin – ASCII sisältää vain 128 merkkiä eikä €-merkkiä.

Väärin – encoding tarkoittaa merkkien koodaustapaa. Merkistö määrittelee merkit ja niiden koodipisteet.

65 desimaalina, 0x41 heksadesimaalina ja 01000001 binäärinä.

€ on Windows-1252:ssa tavuarvolla 0x80 eli binäärinä 10000000.

Ä = U+00C4 → UTF-8: C3 84 → binäärinä 11000011 10000100. € = U+20AC → UTF-8: E2 82 AC → binäärinä 11100010 10000010 10101100. UTF-8 muodostaa tavut Unicode-koodipisteen bittien perusteella UTF-8:n määrittelemän bittikaavan avulla.

Väärin – tarkasti ottaen Windows-1252 on merkkikoodaus/koodisivu.

Väärin – ANSI on epämääräinen nimitys, jota Windowsissa on käytetty paikallisesta 8-bittisestä koodauksesta. Se ei teknisesti tarkoita aina Windows-1252:ta.

Väärin – ANSI ei ole sama asia kuin ISO-8859-1.

Väärin – BOM liittyy Unicode-koodauksiin, kuten UTF-8, UTF-16 ja UTF-32.

Windows-1252:ssa näille merkeille on määritelty yhden tavun arvot. UTF-8:ssa merkit perustuvat Unicode-koodipisteisiin ja käyttävät muuttuvan pituista koodausta. ASCII-merkit vievät yhden tavun, mutta monet muut merkit tarvitsevat 2–4 tavua.

Väärin – UTF-8 on Unicode-merkkien koodaustapa eli encoding.

Oikein – Unicode määrittelee suuren joukon merkkejä ja niiden koodipisteet.

Väärin – tiedostojärjestelmä ei yleensä tallenna tekstin koodausta omana automaattisena attribuuttinaan.

Väärin – UTF-8 käyttää merkistä riippuen 1–4 tavua.

Väärin – ISO-8859-1 ja Windows-1252 ovat hyvin lähellä toisiaan, mutta eivät täysin samoja.

Väärin – 8 bitillä voidaan esittää 2^8 = 256 eri arvoa.

Koodausta voi selvittää tekstieditorin asetuksista tai esimerkiksi komentorivin file-työkalulla. Myös tiedoston alussa oleva BOM voi antaa tietoa koodauksesta. Lisäksi tiedoston tavujen perusteella voidaan tarkistaa, onko sisältö kelvollista UTF-8:aa.

Skandimerkit näkyvät väärin, jos teksti on tallennettu yhdellä merkkikoodauksella mutta tulkittu toisella. Esimerkiksi UTF-8-teksti voidaan tulkita Windows-1252-koodauksena, jolloin ä voi muuttua muotoon ä. Korjaamisessa pitää käyttää samaa koodausta koko ketjussa. Jos teksti on oikeasti JPG-kuvan sisällä, ongelma on voinut syntyä jo kuvaa muodostettaessa.