CSVの読み込みについて

[山口]

勉強として独自のCSVの読み込みをする処理を記載しております。
かなり近い部分まで来ていると思うのですが、上手く動作させることが出来ません。

それっぽい数値がとれているのですがずれてしまうのと、
vector型に代入する時にピラミッドみたいな形になってしまします。

サイズの取得は出来たのですが、whileで回してる部分がおかしいのですが、どうしても直すことが出来ません。
宜しければで構いませんのでアドバイスを頂けないでしょうか・・・。

■参考サイト

http://scitex.hateblo.jp/entry/2013/02/23/231640

■map_01.csv
※最初の１行目はCSVのサイズを指定しております。２行目からCSVとして格納したいです。

Map[5][3]
0,1,2,3,4
10,11,12,13,14
20,21,22,23,24

■読み込みクラス

コード:

#include <iostream>
#include <fstream>
#include <ostream>
#include <string>
#include <vector>

class MAP_SET{

public:
    unsigned int MAP_X;
    unsigned int MAP_Y;
    
    std::vector< std::vector<int> > values;
    void LoadMapCSV( const char* filename );
};

void MAP_SET::LoadMapCSV( const char* filename ){
    
    NSString* data = [NSString stringWithCString:filename encoding:NSUTF8StringEncoding];
    NSString* path = [[NSBundle mainBundle] pathForResource:data ofType:nil];
    
    const char* mainfest_path = [path fileSystemRepresentation];
    std::fstream ifs;
    
    ifs.open( mainfest_path, std::fstream::in );
    if ( !ifs.is_open() ) {
        return;
    }
    
    std::string is_data;
    bool x_y = false;
    
    // サイズを取得
    while ( is_data != "\n" ) {
        is_data = ifs.get();
        
        if( is_data == "[" ){
            std::string numdata;

            while ( !ifs.eof() ) {
                is_data = ifs.get();
                if(is_data == "]"){
                    break;
                }
                numdata += is_data;
            }
            
            if( !x_y ){
                this->MAP_X = (unsigned int)atoi( numdata.c_str() );
                x_y = true;
            }else{
                this->MAP_Y = (unsigned int)atoi( numdata.c_str() );
            }
        }
    }
    
    std::string numdata;
    int p;
    
    printf( "%d %d", this->MAP_X, this->MAP_Y );
    
    while( getline(ifs, numdata) ){
        
        if( ( p = numdata.find("//")) != numdata.npos ) continue;
        std::vector<int> inner;
        
        while( (p = numdata.find(",")) != numdata.npos ){

            //printf( "%s,",  numdata.substr(0, p).c_str() );
            
            numdata = numdata.substr(p+2);
            inner.push_back((int)atoi(numdata.substr(0, p).c_str()));
            
            this->values.push_back( inner );
        }
        
        //printf( "\n" );
        
    }
    
    for( unsigned int y = 0; y < values.size(); y++ ){
        for( unsigned int x = 0; x < values[y].size(); x++ ){
            printf( "%d,",  this->values[y][x] );
        }
        printf( "\n" );
    }

        
    ifs.close();
}



//// 出力結果

0,
0,0,
0,0,0,
0,0,0,0,
1,
1,2,
1,2,3,
1,2,3,4,
1,
1,2,
1,2,3,
1,2,3,4,

[みけCAT]

74行目の

コード:

this->values.push_back( inner );

を下に移動し、内側のwhile文の外、外側のwhile文の中に置いてください。

[山口]

凄い早いアドバイスありがとうございます！！
ピラミッドになるのはそこがおかしかったのですね。

確かにコンマまでの分をどんどん減らして行ってたので、
それでピラミッドのように見えていたのですか。

かなり近い所まできてるとは思うのですが、
現在のソースではCSVの値とずれが生じてしまっております。

２個目のwhile文のどこかがおかしいと思うのですが、お分かりになりませんでしょうか。

■出力結果

0,0,0,0,
10,1,2,3,
20,1,2,3,

コード:

 while( getline(ifs, numdata) ){
        
        if( ( p = numdata.find("//")) != numdata.npos ) continue;
        std::vector<int> inner;
        
        while( (p = numdata.find(",")) != numdata.npos ){

            //printf( "%s,",  numdata.substr(0, p).c_str() );
            
            inner.push_back((int)atoi(numdata.substr(0, p).c_str()));
            numdata = numdata.substr(p+2);
            
            
        }
        
        //inner.push_back((int)atoi(numdata.c_str()));
        this->values.push_back( inner );

        //printf( "\n" );
        
    }

[かずま]

かなり近い所まできてるとは思うのですが、
現在のソースではCSVの値とずれが生じてしまっております。

',' を見つけてから atoi() ですか？
それでは、行の先頭の数値は読み取れません。
',' を見つけて、2文字先から atoi() ですか？
それでは、正しい数値は読み取れません。

以下はおまけ。

コード:

void MAP_SET::LoadMapCSV(const char* filename)
{
    std::fstream ifs(filename);;
    if (!ifs) return;
    
    std::string line;
    if (!getline(ifs, line)) return; 

    size_t pos = line.find('[');
    MAP_X = atoi(line.c_str() + pos + 1);
    pos = line.find('[', pos + 1);
    MAP_Y = atoi(line.c_str() + pos + 1);
    
    while (getline(ifs, line)) {
        std::vector<int> inner;
        for (pos = 0; ; pos++) {
            inner.push_back(atoi(line.c_str() + pos));
            pos = line.find(',', pos + 1);
            if (pos == std::string::npos) break;
        }
        this->values.push_back(inner);
    }
    
    printf("%d %d\n---\n", MAP_X, MAP_Y);
    for (size_t y = 0; y < values.size(); y++) {
        for (size_t x = 0; x < values[y].size(); x++)
            printf("%d,",  this->values[y][x]);
        printf("\n");
    }
}

[山口]

ありがとうございます！！
ヒントと言うより答えまで助かります（汗）

わからない変数の型が出てきたので、解析させて下さい。
上手くいかなかった原因も知りたいので、自分でも直せるように頑張ってみます。

[かずま]

',' を見つけてから atoi() ですか？
それでは、行の先頭の数値は読み取れません。
',' を見つけて、2文字先から atoi() ですか？
それでは、正しい数値は読み取れません。

すみません。これは、山口さんの最初のプログラムに関するコメントでした。
2つめのプログラムだと、次のようになります。

',' を見つけて、そこまでの atoi() ですか？
それでは、行の最後の数値は読み取れません。
',' を見つけて、2文字先から atoi() ですか？
それでは、各数の先頭の数字 1文字が欠けます。

また、次のようにしたほうが、効率がよいでしょう。

コード:

    while (getline(ifs, line)) {
        values.push_back(std::vector<int>()); // 空の vector<int> を追加
        std::vector<int>& inner = values[values.size() - 1];
          // inner は今、追加したばかりの空の vector<int> で、values の中にある
        for (pos = 0; ; pos++) {
            inner.push_back(atoi(line.c_str() + pos));
            pos = line.find(',', pos + 1);
            if (pos == line.npos) break;
        }
        // ここで values.push_back(inner); をしなくてよい。(配列のコピーが不要)
    }

[zeek]

コード:

    while (getline(ifs, line)) {
        values.push_back(std::vector<int>()); // 空の vector<int> を追加
        std::vector<int>& inner = values[values.size() - 1];
          // inner は今、追加したばかりの空の vector<int> で、values の中にある
        for (pos = 0; ; pos++) {
            inner.push_back(atoi(line.c_str() + pos));
            pos = line.find(',', pos + 1);
            if (pos == line.npos) break;
        }
        // ここで values.push_back(inner); をしなくてよい。(配列のコピーが不要)
    }

widen 使った方がスマートかな?

コード:

    while (getline(ifs, line)) {
        values.push_back(std::vector<int>());
        std::istringstream iss(line);
        std::string item;
        while (getline(iss, item, iss.widen(','))) {
            values.rbegin()->push_back(atoi(item.c_str()));
        }
    }

[かずま]

widen 使った方がスマートかな?

単に ',' で済むのに iss.widen(',') を使うのはどうしてですか？
setlocale() は要らないのですか？

istringstream を使うのなら、こんな風にも書けます。

コード:

    while (getline(ifs, line)) {
        values.push_back(std::vector<int>());
        std::istringstream iss(line);
        int val;
        while (iss >> val) {
            values.rbegin()->push_back(val);
            char c; iss >> c;  // skip comma
        }
    }

[山口]

色々とありがとうございます！！
理解できない処理が何個かあるのですが、
とりあえず動いて欲しいというのと違い効率を求めるのは凄いですね（汗）
尊敬します。。。

CSVの読み込みだけでもここまで色々なやり方があると思うと
プログラムが楽しくなってきました。
この度はありがとうございました。

[zeek]

質問されたので回答です。

単に ',' で済むのに iss.widen(',') を使うのはどうしてですか？

string を wstring に変更する場合にアルゴリズム部分を変更しなくて済むからです。
いつもは私はこんな感じで書いています。
string と wstring とを切り替える（istringstream と wistringstream 等の切り替えも含む）ヘッダを用意してできるだけ共通の code にしています。

コード:

template<class T>
T toValue(const tstring &obj)
{
    tistringstream iss(obj);
    T val;
    iss >> val;
    return val;
}

    while (getline(ifs, line)) {
        values.push_back(vector<int>());
        tistringstream iss(line);
        tstring item;
        while (getline(iss, item, iss.widen(','))) {
            values.rbegin()->push_back(toValue<int>(item));
        }
    }

setlocale() は要らないのですか？

規格では setlocale() を実行しなくても "C" locale が設定された状態でプログラムは起動されるとなっていたと思います。
つまり setlocale(LC_ALL,"C"); を実行した状態と同じだったと思います。

[zeek]

CSVの読み込みだけでもここまで色々なやり方があると思うと
プログラムが楽しくなってきました。

ご参考までに csv は RFC4180 で規定されています。
http://www.7key.jp/rfc/rfc4180.html
この仕様で読み込むには、もう少し処理が必要になります。
（ここに書かれている code では、RFC4180 を満足できてはいないのでご注意ください）