Windows Inventory don't return correctly non-ascii characters

[ncharles]

If there are Windows softwares with non-ascii characters, they show up as ??? ???? in the inventory

To reproduce, you may create dummy entries with cyrilic characters

$baseReg = "HKLM:\SOFTWARE\Microsoft\Windows\CurrentVersion\Uninstall"
$softwares = @(
     @{ Path = "${baseReg}\{90150000-001F-0403-1000-0000000FF1CE}"; Name = "Microsoft Office Proofing Tools 2013 – български"; Version = "15.0.4569.1506"}
)
for ($i=0; $i -lt $softwares.length; $i++) {
  $current = $softwares[$i]
  write-output "Adding dummy software $($current.Name)"
  New-Item -Path $current.Path -Force
  New-ItemProperty -Path $current.Path -Name "DisplayName" -Value $current.Name -Type "String"
  New-ItemProperty -Path $current.Path -Name "DisplayVersion" -Value $current.Version -Type "String"
}

esulting inventory will return
<NAME>Microsoft Office Proofing Tools 2013 <C3><82><C2><96> ?????????</NAME>

I've tried to

• force codepage to 65001 in fusioninventory.bat
• remove encoding in encodeFromRegistry in file Agent/Tool/Win32.pm
• change the perl version
• agent version 2.4 and 2.6
• add use feature 'unicode_strings'; all around the code

And i'm a bit stuck there... do you know what I could do ?

[ddurieux]

Hello,
I will try with your entries

[ddurieux]

The problem is that we use the operating system for convert (source) to utf-8.
I'm trying a method to identify the encoding of string, will require couple days before have answer

[ncharles]

I've been trying to remove the convertion without success
Apparently TieRegistry only uses Ansi methods rather than Unicode (and it goes a long way of being like that https://www.perlmonks.org/?node_id=456194 )

[ddurieux]

My idea is to detect the encoding with https://metacpan.org/pod/Encode::Detect::Detector, the complete string or perhaps for each character. Not sure it can works, but perhaps :D

[ncharles]

Hi,
Is there anything I can do to help on this issue?

[ddurieux]

Hi, I tried my idea and not fix the problem, but have part of interessing information. Need a little more time to find a solution ^_^

[ddurieux]

Bon ça a l'air de venir de la récupération des données, car elles sont remplacées par des ??? directement. Le support des charsets est vraiment mal foutu dans Windows.

Je cherche des possibilités de contourner ces problèmes pour avoir des données fiables. Je te tiens au courant ;)

[ncharles]

Les charsets ne sont pas supportés par les méthodes sous-jacentes dans TieRegistry qui appellent Win32API::Registry en mode ANSI, donc les infos sont perdus à ce moment là

[ddurieux]

Oui c'est ce que j'ai vu, donc la seule solution serait de changer de lib et pas mal de code :(

[ncharles]

Comment peut-on aider ?

[ddurieux]

En première étape : identifier une lib perl qui permettrai d'interroger le registre sans altération de l'encodage.

[ncharles]

A priori, juste retirer la lib pour utiliser les methodes sous-jacentes devrait fonctionner

[ddurieux]

Oui j'ai regardé ce matin, je vais faire un test avec la lib de bas niveau utilisé par tieregistry,
Je te fait un retour ce soir certainement ;)

[ddurieux]

J'ai pris quelques heures pour lire la doc et faire des tests.
Il y a des avancées, j'arrive à récupérer la valeur; alors elle est encore encodée, je dois la décoder de la bonne façon (mais c'est toujours mieux que les ???? :p)

je continuerai vendredi mes tests.

[ddurieux]

Merci à @peckpeck / Normation pour l'aide sur la problématique d'encodage. La correction est fonctionnelle, je dois modifier le code pour utiliser la nouvele fonction ;)