X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Требуется решение для работы с CSV файлами, Собрать из csv файлов в папке строки в новый файл
ilyalink
ilyalink
Topic Starter сообщение 10.5.2013, 12:32; Ответить: ilyalink
Сообщение #1


Участник
***

Группа: User
Сообщений: 129
Регистрация: 28.1.2011
Из: Владивосток
Поблагодарили: 40 раз
Репутация:   6  


Приветствую!

Требуется решение для работы с csv файлами.

Есть папка, в ней 40-50 CSV одинакового формата, файлы до 60 000 строк. Общий вес - больше 500 мб

Необходимо выбрать из всех файлах все строки, содержащие определенный текст (например, "строительство") и поместить их в новый файл.

Соответственно, выборок будет много, так что необходимо готовое решение (консольное или с интерфейсом).

Оперативной памяти 2 гигабайта. Просьба это учитывать, необходимо такое решение, которое не будет "виснуть".

Пример файла: http://yadi.sk/d/3GMWXYe54h8UU

Готов заплатить 500 рублей.

Пишите сюда или в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sergej_g
sergej_g
сообщение 10.5.2013, 12:46; Ответить: sergej_g
Сообщение #2


Новичок
*

Группа: User
Сообщений: 42
Регистрация: 13.1.2013
Поблагодарили: 5 раз
Репутация:   0  


Так вроде Excel это может делать. И еще Notepad++

Сообщение отредактировал sergej_g - 10.5.2013, 12:53


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 8:52; Ответить: ilyalink
Сообщение #3


Участник
***

Группа: User
Сообщений: 129
Регистрация: 28.1.2011
Из: Владивосток
Поблагодарили: 40 раз
Репутация:   6  


К сожалению, поиск информации на форумах по Excel'ю результатов не дал. Нужен скрипт для него в любом случае и инструкция по запуску, поэтому предложение о работе до сих пор актуально.

Решение для notepad++ так же подошло бы.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 10:15; Ответить: webpavilion
Сообщение #4


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


в консоли на почти любом линуксе:
find . -name "*.csv" -print0 | xargs -0 recode windows1251...utf8
cat *.csv | grep "рекламное агентство" > tmp.csv


выслать wmr кошелек?

первая строчка перекодирует все файлы в utf8 её нужно выполнять один раз.
вторая собственно поиск по файлам и запись в результирующий файл.

из grep можно стоить цепочки или использовать регулярные выражения через egrep

Сообщение отредактировал webpavilion - 11.5.2013, 10:18


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Pavlik
Pavlik
сообщение 11.5.2013, 10:25; Ответить: Pavlik
Сообщение #5


кидала
***

Группа: Banned
Сообщений: 161
Регистрация: 20.5.2012
Поблагодарили: 25 раз
Репутация:   10  


в POSIX окружении одной строкой решается:
cat *.csv | grep 'строительство' > новый_файл
Cygwin под Windows даст вам это.


--------------------
кидала
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 12:50; Ответить: ilyalink
Сообщение #6


Участник
***

Группа: User
Сообщений: 129
Регистрация: 28.1.2011
Из: Владивосток
Поблагодарили: 40 раз
Репутация:   6  


webpavilion, Pavlik,
Спасибо, что откликнулись!

Решение подошло, однако файлы в винде файлы пришлось переводить в другую кодировку с помощью UTFCast

Думаю, справедливо было бы разделить 500 рублей пополам между webpavilion и Pavlik, так как первый подсказал решение, а второй решил вопрос с его реализацией под Windows.

Скиньте, пожалуйста, WMR кошельки в личку - переведу деньги.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 13:22; Ответить: webpavilion
Сообщение #7


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


ilyalink, я на вознаграждение не претендую.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Сервис для массовой проверки числа обратных ссылок (backlinks)?
0 Telnor 213 Сегодня, 11:39
автор: Telnor
Горячая тема (нет новых ответов) Виртуальные номера для приема смс
Автоматическая смс активация аккаунтов
34 SmskaAssistant 3261 Сегодня, 9:01
автор: SmskaAssistant
Горячая тема (нет новых ответов) Leongram - бесплатная программа для продвижения в Instagram
90 DeOne 18086 Сегодня, 0:06
автор: DeOne
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
8 komarik_vlad 949 Вчера, 23:24
автор: komarik_vlad
Открытая тема (нет новых ответов) Куплю домен для склейки
3 Natali2110 612 Вчера, 21:35
автор: Natali2110


 



RSS Текстовая версия Сейчас: 13.12.2017, 13:24
Дизайн