先週２月１５日にスキー場で測定したデータ、とりあえず要用の部分だけは、EXCEL手作業で求めてみて、結果オーライだったので、次に、手作業で２－３時間かかっていたデータの欠陥修理をプログラム化することで１０万行のデータを数秒で補修することができました。RTKの生データは、必ずなんらかの欠陥を含んでログされるので、補修作業が大変面倒です。
目的は、滑ったら即グラフをみて、自分の今したターンがどうだったのか、見られるようにするためです。急いで作らないと雪が解けてしまうのですが、いかんせん、プログラムがへたくそで
試行錯誤しているうちに１週間かかって、ようやくデータの修正、補正してグラフ用に整頓する
プログラムまで作りました。この調子だと２月末までになんとかその場でグラフがみられるプログラムを作って、左足のシステムが３月第一週にずれこむかもしれません。

●ログの内容
RTK23では、2重にログをとってます。①マイコンSDカード保存　②モニター用BlueToothSPPでWIN10タブレット保存
①SDログ：１つは、マイコンのSDカードにバイナリーデータ保存します。周期120msecで、F9P２個分のNAV-PVT＋RELPOSNED(172Byte*2=344Byte)+M9N3周期 PVT(100Byte*3=300Byte)、BNO055のQuartenionとEuler角3周期(36Byte*3=108Byte)合計752Byteが120msec周期でSDカードにバイナリーログしてます。バイナリーエディターでSDログしたデータを確認。黒い部分がf9P１個分のNAV-PVTとNAV-RELPOSENED　１７２Byteです。

②モニターログ：BlueTooth経由でWIN10タブレットでログします。リアルタイムでシステムの状態を把握するためのデータ群でASCIIで送信されるので、サイズはばらつきますが、文字数で２３０Byte前後になります。ヘッダに[m:],[s],[p][Base][Rover]{BNO]と種類が区別がつくようになってます。内容は下記で、モニターログだけで、主要な結果が得られるようになってます。今回はM9N測定は省いてます。次回左足システムで実施します。
同期は、tp0がF9Pのタイムパルスの割り込み時刻なのでそれ基準でtpがBNOサンプリング時刻
itowB,itowRで、GPSデータの時刻も同期してます。

モニターデータは、Doubleで処理します。+文字は、SDにデータを書き込んだ時に発生するので
確実にSD書き込みされた証拠になります。モニター側で[s]指令を送ってもマイコンが確実に動作しているかをモニターで確認するためのものです。

今回は、モニターログの処理についての課題とプログラミングを大変だったので、
備忘録しておきます。ASCIIだと見やすいけど、逆に手間取ります。

●RTK生ログデータでみられるエラー
エラー１：欠落してデータ順が狂って、あるべき場所にあるべき数値がない。
＝＞数値と文字が混在して送ってきているので、数値が文字になってしまってエラーになる。
（Digit Errorと呼んでます）

エラー２：データ空っぽで、NUllになっている　(Null Errorと呼んでいる）

エラー３：１周期抜けてしまう　（itow Errorと呼んでいる）

●原因
エラー１，エラー２＝＞BlueTooth無線の遅延で、データが尻切れになって次のデータと混じってしまい
順序がバラバラになった状態で発生します。頻度は、非常に少ないですが、４０分測定していると３回くらい発生してます。率で言えば、0.02%程度ですが、プログラム上では、エラーになるので、完全に排除して、穴埋めしないといけないので、このためのプログラムが手間です。無線の場合、距離とデータ量が増えるほど、どんどんロス率が悪化していきますので、無線ログだけでは、データ失うリスクがあります。私の場合は、SDカードにログしてあるので
後から、F9PのBinaryデータを再現できるようにしてあります。

エラー３＝＞F9Pの周期が変動して、遅延した場合にマイコン側のバッファと同期がとれなくて
一瞬の差で１周期が落ちてログされてしまう現象です。これは、マイコン側のプログラムとハードの性能が効いてきます。M5Atomで実測ログした場合数％抜けましたが、Teensy4.1で実測すると0.55%以下に収まってましたので、未だ悪いですが、使えないほど悪くはありません。

●プログラム備忘録
BlueTooth SPPの受信は、WINDOWS１０が自動的にやってくれて、Teratermなどの既成のアプリで安全にログできるので、そのログしたCSVファイルを読み込むプログラムを作ってます。
　自作プログラムもシリアル受信機能もついているのですが、マルチタスクが安定動作しなくて、信頼性が劣るので、当面は、TeraTermで受信ログすることにしてます。
コードはGISTにあります。
https://gist.github.com/dj1711572002/4747e1022893534ed4050e2f21a0160d

■Null Digitエラーチェック修正結果

■itow抜け　補間　挿入
今回のファイルは、６ＭＢで１０万行のデータをまとめて２２０００行にして
３つのブロックになっていてそれぞれの抜け率が0.5-0.37％

●データチェック構造体

struct dgvchk
{
public int maxrow;//Row.Count
public int startrow;//
public int endrow;//
public int maxrn;//data エポック数
public int startrn;//有効スタートrn
public int endrn;//有効エンドrn
public int miss;//itow飛び個数
public double missper;//miss%
public int[] fmiss;//smode[]範囲内でのflag 67未満の個数
public double[] fmissper;//fmiss%

// mode
public int[] smode_startNo;//=new int[10];//s] modeの開始番号　配列
public int[] smode_endNo;//=new int[10];//s] modeの終了番号　配列
public int smodeN;//測定ファイル内のsmode範囲の個数
// digit error
public string [,] digit_err;//itow+err.string
public int[] digit_errN;//[smodeN]
//itow error
public string[,] itow_error;// 足りないitow.Tostring()
public int[] itow_errN;//[smodeN]
public double[] itow_errper;//% err
};