ソフトとパーフォマンスの関係

[三郎]

　「　ぼ・や・き　　　　つ・ぶ・や・き　」

前からこちらのサイトも時々見ながらソフトを造ってみています。投稿には慣れていません。
私はレベルが低くて、恥ずかしくて質問も出来ず悶々としていました。

現在のソフトは、組み込み系の監視、データベース用に製作途上です。
ソフトは２４時間、年中動かしている停止させないソフトです。

ＰＣは　Ｗｉｎ　ＶＩＳＴＡ　　　　　　　　ＶＣ＋＋（２００８　Ｓｔａｎｄａｒｄ）　でのコンソールアプリです。

ソフトを動かしているとパソコンの動きが段々落ちてきたような気がしているのでタスクマネージャーを起動して確認してみました。
その数値は　　ＣＰＵ使用率　ほとんど１００％時々　ハードデスクが動いている。
　　　　　　　　　物理メモリー　　　　合計１０１３ＭＢ　
　　　　　　　　　キャッシュ済み　　　　　３７１
　　　　　　　　　空きメモリー　　　　　　　　　８
　　　　　　　　　カーネルメモリ　　　合計１２５　ＭＢ
　　　　　　　　　ページ　　　　　　　　７２　　　　　　
　　　　　　　　　非ページ　　　　　　　５２　　　・・・・・・・

　　　　　　　　　システム
　　　　　　　　　ハンドル　　　　　　　２０４４１
　　　　　　　　　スレッド　　　　　　　　　　８０６　　
　　　　　　　　　プロセス　　　　　　　　　　７６
　　　　　　　　　ページファイル　　１３３２Ｍ／２２９０Ｍ
リソースモニターを見てもＣＰＵが１００％近くである事以外何の事かよく分りません。
　
プログラムのソースで気になるのは配列に大きいものが設けてあります。

　　　　　　　　　ｆｌｏａｔ　ＸＸＸ　［８］［２１６００］；

これより大きな配列を設けると、スタックオーバフロー・・・とか訳の分らないメーっセージがてしまいます。
その為、配列にデータを書き終えると内容をハードデスクに移し再度書き換えています。

皆さんはパソコンを、どの様な環境、ＣＰＵ負荷でお使いでしょうか。
メモリーの増設もしたくないと思いますし効果の程も分りません。

[xxx]

関数内に書くとスタック領域に格納されるのでそんなに大きい配列は確保できません
動的確保、staticを付けるかグローバル変数にしてみるといいでしょう

[あたっしゅ]

ハードディスク( harddisk )が正しい。デスクトップ( desktop )と混ざってませんか ?

[tk-xleader]

Windows環境において、自動変数はスタック領域に配置されますが、スタック領域に670KiBもの領域を確保しようとしても、足りないと思います。
roxion1377さんの仰るとおり、静的変数,グローバル変数,or 動的確保(malloc)を使えばいいと思いますが、メモリリークには気をつけてください。
ソフトのパフォーマンス低下の原因は、もしかするとリソースリークである可能性があります。常時起動しているソフトであるならば、できる限りこまめにリソースを解放するようにしないと、リーク量がどんどん増えていきます。

[三郎]

皆さんの言われることは参考にします。
ハードデイスクでしたね。カナ変換が・・・

ｆｌｏａｔ　ＸＸＸ　［８］［２１６００］；　これは本当は
ｆｌｏａｔ　ＸＸＸ　［８］［８６４００］；　としたかった。
要するに一秒間に一回のデータを９チャンネル一日分（６０＊６０＊２４）をハードデイスクに毎日落とすつもりでした。
フロートでなく、バイナリーで自動的に落す手もありますが何れにしても、問題があります。
配列の宣言は関数の中ではなく外部にしてもエラーがでました。
もっと、こまめに自動で落せば配列を小さく出来ますが、他の作業に遅れがでるので問題です。
そしてハードデイスクの耐久性も疑問があります。

＞メモリリークには気をつけてください。
発見など難しいですね。
私の場合、リソースの開放が出来ない状況？です。

[dic]

ここは主にゲーム関係なんで他の専門的なところで質問したほうがいいような気がします
もちろん、ここの方のレベルが低いということではなく
適切なアドバイスがいただけるのではないのかなと思っています

ハードウェアからみもあるようで
いろいろ検証用ツールなども導入する必要があるのでは？と思いますが
三郎さんの予算や時間しだいかなと思ってます

別にここでやるなといってるわけではないです（私の掲示板ではないので）

ソフトとパフォーマンスの問題となると
ハードウェアの性能、対応している命令群や、並列処理の対応、ＣＰＵの数、メモリの種類
プログラムの組み方の問題などなど、考慮することがとても多いです

[softya（ソフト屋)]

ｆｌｏａｔ　ＸＸＸ　［８］［２１６００］
であっても600KB程度で
ｆｌｏａｔ　ＸＸＸ　［８］［８６４００］；
でも2.7MB程度です。
なので、staticに確保すれば足らないメモリではありません。
別の問題ではないでしょうか？

それよりも、実メモリがどのぐらい使われているかが気になります。
パフォーマンスタブの実際に使われている物理メモリの使用量（グラフの横に表示）とリソースモニタで問題のアプリが使用しているコミットメモリ量はいくつなのでしょうか？

「タスク・マネージャのパフォーマンス・タブの見方（Windows Vista／Windows Server 2008編） － ＠IT」
http://www.atmarkit.co.jp/fwin2k/win2kt ... taskv.html

「リソース・モニタでメモリの利用状況をモニタする － ＠IT」
http://www.atmarkit.co.jp/fwin2k/win2kt ... smonp.html

[三郎]

ソフト屋さん情報有難うございました助かりました。
今までパーフォマンスモニターを只、呆然と見ていました。どうせ専門家以外の、我々には分らないものと諦めていました。
貴殿の情報のリンクを辿ってみると詳しく解説が載っておりました。
原因を追究すべく調べてみます。何せ恥ずかしながら独学、あやふやな知識、最高齢ですが挑戦してみます。

物理メモリーの空きメモリーが少なく、ソフトを動かしてみましたら殆ど無くなってしまいます。
いつの間に、何にこんなにメモリーを使っていたのだろうと唖然としました。

＞なので、staticに確保すれば足らないメモリではありません。

私は今まで関数の外で配列を宣言すればそれでよいと思っていました。

貴殿の指摘どうり　頭にstaticの６文字を付け加えるだけで全て解決しました。
このために何年間苦しんだか分りません！。

貴殿には重ねて感謝を申し上げます。
一旦解決とさせていただきます。

[ISLe]

サンプリングデータをファイルに書き出しているあいだ、サンプリングが中断しないようにマルチスレッドを使っていたりはしないですか？
その場合、内部変数にstaticを付けたらファイルに書き出される前にデータが上書きされてしまうと思います。
杞憂であれば良いですが。

あとウインドウズが頻繁にページファイルを読み書きするほうがハードディスクを酷使することになると思います。

[三郎]

ＩＳＬｅさんの言われるハードデイスクに書き出している間の処理について、とりあえずその間、数秒？くらいデータが欠落するようにしようと思います。
そしてソフトが使用できるようになってから、この問題を考えようと思います。
昼間のデータは重要ですから、夜間０時頃にデイスクに落そうと思っています。
データはＡ／Ｄ変換器で１チャンネルの変換速度は３０μｓｅｃですからかなり余裕があります。
その為ＳＮ比を改善するする為に移動平均法、若しくは単純平均でデータ採取数を増やそうとも思っています。

調査してみましたら現在物理メモリの空きが１０ＭＢほどしかなくこのソフトで大半を使うので空きを増やす事を考えています。

環境をタスクマネージャで調べると実行中のプロセスがいつの間にか９７に達っしていました。
そしてスタートアップに組み込まれているものが２８もありました。
これを機会に、これらを整理して環境を改善してみようと思いました。そうすればハードデイスクの酷使も避けられるかと。

よい勉強をさせてもらいました。

[softya（ソフト屋)]

素朴な疑問ですが、
ｆｌｏａｔ　ＸＸＸ　［８］［８６４００］；
程度のワークメモリしか必要のないアプリが一体何MBのメモリを占有しているのでしょうか？
実行プログラムの専有メモリが１０MB以上なのであれば、それはそれでなにか問題があります。
【追記】コンソールアプリですから５MBもあれば十分大きいと思います（大きなメモリを必要とするライブラリを使用していれば別ですが）。
もし、他にも大きなワークメモリがあるのなら、そこから見直された方が良いと思います。

それと書き出しにスレッドを使用すればデータのサンプリングを中断する必要もないと思うのですが使用されていないのでしょうか？

[三郎]

やっと、タスクマネージャとリソースモニターの見方が分りつつあるので今見ると。
ソフトを動かした状態でメモリーは８２６ＭＢで合計の１０１３ＭＢに比べて未だ余裕があるみたいです。
そしてリソースを見ると、アプリのコミットの値は８７６ＫＢです。
それ程メモリーを使っていないように思いますが、このアプリを動かすとＣＰＵの使用率が１００％に達して下がりません。
ソースコードは現在８００行ぐらいで、アプリの大きさは２０ＫＢぐらいの小さいものですが。
ＣＰＵの負荷はハードのＡ／Ｄ変換器が大半食っていると思います。Ａ／Ｄ変換器の部分はメーカのソフトを流用し私の作っているものと合体し完成させるつもりです。
　
現在、デバッカーの使い方も熟知しておらず、田舎ではソフトについて聞く人も見つからず大変なのです。
マルチスレッドの技術など全く経験がありません。

２５年位前にＭＳＤＯＳでＭＳＣを使い、似たようなソフトを造った経験はありますがＷｉｎの経験は全くありません。

そのときはシーケンシャルファイルとランダムアクセスファイルの経験はありますが、今回のような２次元配列を渡すのは初めてで、その部分の作成の準備中ですが早くも暗雲がたれて来ています。

なおメモリーは今後の事もありプラス、１ＧＢ増設しようかとも考えています。

[softya（ソフト屋)]

それ程メモリーを使っていないように思いますが、このアプリを動かすとＣＰＵの使用率が１００％に達して下がりません。
ソースコードは現在８００行ぐらいで、アプリの大きさは２０ＫＢぐらいの小さいものですが。
ＣＰＵの負荷はハードのＡ／Ｄ変換器が大半食っていると思います。Ａ／Ｄ変換器の部分はメーカのソフトを流用し私の作っているものと合体し完成させるつもりです。

Ａ／Ｄ変換自体はハードウェアでしょうから、ソフト側でこんなに負荷が必要な理由にはならないと思います。
データサンプリング周期などは分からないですが、全力でタイミング待ちループなんかしていませんか？
・SleepでCPUの解放などはしているか？
・イベント待ちなどでCPUを解放しているか？
・データ・サンプリング周期は、どのぐらいですか？
なにか無駄に負荷をかけている気がしてなりません。

現在、デバッカーの使い方も熟知しておらず、田舎ではソフトについて聞く人も見つからず大変なのです。
マルチスレッドの技術など全く経験がありません。

プロでも大半の事は聞くことに恵まれる機会などまず有りませんよ。
書籍やサイトを調べて自力で解決するのが普通です。

マルチスレッドを使わなくても非同期ファイルアクセスで解決する可能性もあります。

２５年位前にＭＳＤＯＳでＭＳＣを使い、似たようなソフトを造った経験はありますがＷｉｎの経験は全くありません。
そのときはシーケンシャルファイルとランダムアクセスファイルの経験はありますが、今回のような２次元配列を渡すのは初めてで、その部分の作成の準備中ですが早くも暗雲がたれて来ています。

ループの回し方の問題で、１次元でも２次元でも大差はありませんよ。
特にこのデータの場合、構造体配列でもないので難度はさほどでもありません。

なおメモリーは今後の事もありプラス、１ＧＢ増設しようかとも考えています。

Vistaですので１GB増やすことには賛成ですが、今回の問題は別件なので解決しないと思います。
実際のところサンプリングしているパソコンは別にしてサンプリング専用にした方が確実だと思います。

[三郎]

ソフト屋さん。漸く原因が分りましたが、、、しかし私にとって、対策は簡単ではありません。
私は今まで、データベースですから時間が命です。そのため年間一秒も狂ってはならない。
その為昔からパソコンの時計を使っていた。その時計が狂っても、インタネット接続しておれば自動修正が効くからと。

次のような（何処にでもある）リストを用いループで廻していた。

time(&mytime);
jtime = localtime(&mytime);
sprintf(buf0,"%2d時 %2d分 %2d秒",
jtime->tm_hour,
jtime->tm_min,
jtime->tm_sec
);

そして　jtime->tm_sec　の数値が変わるか無限ループで見て（検出）いた。
数値が変われば正確に一秒経過と云うことになる。
そして、ループを抜けるコードを記述する。
今までこれで何の不自由も感じられなかった。

実験のため時間関数を使わなくても無限ループを試しに造り、ＣＰＵ使用率をモニターで調べた。
モニターは１００％を示した。
私は、マサカ１００％まで行かないと思っていた（先入観）。

しかし、他のソフトも平気な顔をして問題なく動いてはいる。

私の無知以外の何者でもありません。私の実力とはそんなモンです。

確かこのような時に割り込みを使うと聞いているが、やってみた事も私にはスキルもありません。

[softya（ソフト屋)]

一秒単位の時刻で良いのなら、次の時刻が来るまで監視している部分でSleep(100);で100msほどCPUを他のプロセスに明け渡してみてはどうでしょうか？
そうすれば激烈にCPU使用率は下がると思います。
Sleepを使う場合は"Windows.h"をインクルードしてください。
問題となるような遅延も発生しないと思います。

ファイル書き込み中に停止する問題は、ファイルを非同期書き込みかスレッドで操作します。
どちらも色々とややこしいのですが、どうされますか？