sprintf-related integer and memory overflow issues.

* doprnt.c (doprnt): Support printing ptrdiff_t and intmax_t values.
(esprintf, esnprintf, exprintf, evxprintf): New functions.
* keyboard.c (command_loop_level): Now EMACS_INT, not int.
(cmd_error): kbd macro iterations count is now EMACS_INT, not int.
(modify_event_symbol): Do not assume that the length of
name_alist_or_stem is safe to alloca and fits in int.
(Fexecute_extended_command): Likewise for function name and binding.
(Frecursion_depth): Wrap around reliably on integer overflow.
* keymap.c (push_key_description): First arg is now EMACS_INT, not int,
since some callers pass EMACS_INT values.
(Fsingle_key_description): Don't crash if symbol name contains more
than MAX_ALLOCA bytes.
* minibuf.c (minibuf_level): Now EMACS_INT, not int.
(get_minibuffer): Arg is now EMACS_INT, not int.
* lisp.h (get_minibuffer, push_key_description): Reflect API changes.
(esprintf, esnprintf, exprintf, evxprintf): New decls.
* window.h (command_loop_level, minibuf_level): Reflect API changes.

Add Bug#.

* update-game-score.c: Include <limits.h>

(get_user_id): Do not assume uid fits in 'int'.  Simplify.

* movemail.c (main): Do not use sprintf when its result might not fit

in 'int'.  Instead, put the possibly-long file name into the
output of pfatal_with_name.

* etags.c (xmalloc, xrealloc): Accept size_t, not unsigned int,

to avoid potential buffer overflow issues on typical 64-bit hosts.
(whatlen_max): New static var.
(main): Avoid buffer overflow if subsidiary command length is
greater than BUFSIZ or 2*BUFSIZ + 20. Do not use sprintf when its
result might not fit in 'int'.

Integer and memory overflow issues.

* emacsclient.c (xmalloc): Accept size_t, not unsigned int, to
avoid potential buffer overflow issues on typical 64-bit hosts.
Return void *, not long *.
(get_current_dir_name): Report a failure, instead of looping
forever, if buffer size calculation overflows.  Treat malloc
failures like realloc failures, as that has better behavior and is
more consistent.  Do not check whether xmalloc returns NULL, as
that's not possible.
(message): Do not arbitrarily truncate message to 2048 bytes when
sending it to stderr; use vfprintf instead.
(get_server_config, set_local_socket)
(start_daemon_and_retry_set_socket): Do not alloca
arbitrarily-large buffers; that's not safe.
(get_server_config, set_local_socket): Do not use sprintf when its
result might not fit in 'int'.
(set_local_socket): Do not assume uid fits in 'int'.

Merge from trunk.

* package.el (package-install): Call package-initialize if called interactively.

Document package manager in Emacs manual.

* doc/emacs/package.texi: New file, documenting the package manager.

* doc/emacs/emacs.texi: Include it.

* doc/emacs/help.texi (Help Summary): Add describe-package.

Auto-commit of generated files.

Fix bug #9324 with unwarranted repositioning of point.

 src/xdisp.c (redisplay_window): Don't force window start if point
 will be invisible in the resulting window.

Fix format bug in defstruct

http://debbugs.gnu.org/9357

mailcap.el (mailcap-mime-data): Regexp-quote MIME subtype.

* configure.in: Add -MP to DEPFLAGS.

Fixes: debbugs:9372

Merge from trunk.

gnus-msg.el (gnus-setup-message): Remove extra apostrophe.

Merge from trunk.

* lisp/isearch.el (isearch-occur): Let-bind `search-spaces-regexp' to
`search-whitespace-regexp'.

Fixes: debbugs:9364

* lisp/isearch.el (isearch-edit-string): Let-bind `search-ring' and
`regexp-search-ring' to their global values to protect from
updating by `read-from-minibuffer'.

Fixes: debbugs:9185

* lisp/textmodes/ispell.el (ispell-command-loop): Add newline
at the end of the "Use option `i'..." line.

* lisp/battery.el (display-battery-mode): If `battery-status-function'
or `battery-mode-line-format' is nil, display the message and set
`display-battery-mode' to nil.

Fixes: debbugs:9363

Merge from trunk.

Fix last change for text terminals.

 src/xdisp.c (try_cursor_movement): Don't advance `row' beyond the
 last row of the window.

Fix cursor motion with long continued lines near window bottom.

 src/xdisp.c (try_cursor_movement): Check for the need to scroll more
 accurately, and prefer exact match for point under bidi.

Fix Emacs manual chapter numbers in last change.

Relocate some additional Emacs manual nodes.

* doc/emacs/display.texi (Narrowing): Move into display chapter.

* doc/emacs/picture-xtra.texi (Picture Mode): Group with Editing Binary
Files section.  Convert from chapter into section.

* doc/emacs/text.texi (Two-Column): Move into Text chapter.

Rearrange manual chapters to group mail, rmail, and gnus together.

* sending.texi (Sending Mail):
* rmail.texi (Rmail):
* misc.texi (Gnus, Document View):
* dired.texi (Dired):
* emacs.texi: Group the mail, rmail, and gnus chapters together.

Cosmetic fixes.

Handle `(space ...)' display spec as paragraph separator.

 src/xdisp.c (compute_display_string_pos): Return 2 in DISP_PROP when
 the display spec is of the form `(space ...)'.
 (handle_display_spec): Return the value returned by
 handle_single_display_spec, not just 1 or zero.
 (handle_single_display_spec): If the display spec is of the form
 `(space ...)', and specifies display in the text area, return 2
 rather than 1.
 src/dispextern.h (struct bidi_it): Rename the disp_prop_p member
 into disp_prop; all users changed.
 src/bidi.c (bidi_fetch_char): If compute_display_string_pos returns
 DISP_PROP = 2, substitute the u+2029 PARAGRAPH SEPARATOR character
 for the text covered by the display property.
 lisp/buff-menu.el (Buffer-menu-buffer+size): Remove calls to
 bidi-string-mark-left-to-right; they are unnecessary now.
 doc/lispref/display.texi (Specified Space): Mention that `space' specs
 influence bidi reordering.
 (Bidirectional Display): Explain how to use `(space . PROPS)' for
 separating fields with bidirectional content.

* lisp/net/quickurl.el: Documentation typo fixes.

* lisp/emacs-lisp/derived.el (define-derived-mode): Doc fix.

Delete record-buffer, and rename unrecord-buffer to bury-buffer-internal.

* lisp/window.el (bury-buffer, quit-window): Use bury-buffer-internal.

* src/buffer.c (Fbury_buffer_internal): Rename from Funrecord_buffer.
Change return value to nil.
(Frecord_buffer): Delete unused function.

Minor smtpmail.el fixes.

* lisp/mail/smtpmail.el (smtpmail-smtp-user): Add version: tag.
(smtpmail-via-smtp): Handle nil response from smtp.

Merge from trunk.

More uses of `error' and `warning' faces.

* lisp/battery.el (battery-update): Use the face `error' instead of
`font-lock-warning-face'.

* lisp/ibuffer.el (ibuffer-marked-face): Change default face from
`font-lock-warning-face' to `warning'.
(ibuffer-deletion-face): Change default face from
`font-lock-type-face' to `error'.

* lisp/proced.el (proced-marked): Inherit from `error' instead of
`font-lock-warning-face'.

Fixes: debbugs:6117

* lisp/faces.el (success): Change face color from "Green3" to
"ForestGreen" on light background.

Fixes: debbugs:9353

Rename quit-restore-window into quit-window.

* lisp/window.el (quit-window): Renamed from quit-restore-window.  Use
same arglist as old quit-window.
(frame-auto-delete): Doc fix.

* lisp/view.el (view-mode-exit): Use quit-window.

Fix cursor movement in R2L text within L2R paragraphs.

 src/xdisp.c (set_cursor_from_row): Consider candidate row a win if its
 glyph represents a newline and point is on that newline.  Fixes cursor
 positioning on the newline at EOL of R2L text within L2R
 paragraph, and vice versa.
 (try_cursor_movement): Check continued rows, in addition to
 continuation rows.  Fixes unwarranted scroll when point enters a
 continued line of R2L text within an L2R paragraph, or vice versa.
 (cursor_row_p): Consider the case of point being equal to
 MATRIX_ROW_END_CHARPOS.  Prevents cursor being stuck when moving
 from the end of a short line to the beginning of a continued line
 of R2L text within L2R paragraph.
 (RECORD_MAX_MIN_POS): For max_pos, use IT_CHARPOS even for
 composed characters.

Fix current-bidi-paragraph-direction and its doc.

 src/xdisp.c (Fcurrent_bidi_paragraph_direction): For unibyte
 buffers, return left-to-right.
 doc/lispref/display.texi (Bidirectional Display): Document return value in
 buffers that are not bidi-reordered for display, and in unibyte
 buffers.

"C-s M-p" brings the tip of the search ring.

* lisp/isearch.el (isearch-ring-adjust1): Start visiting previous
search strings from the index 0 (-1 + 1) instead of 1 (0 + 1).
(isearch-repeat, isearch-edit-string): Call `isearch-ring-adjust1'
for empty search string (when the last search string is reused
automatically) to adjust the isearch ring to the last element and
prepare the correct index for further M-p commands.

Fixes: debbugs:9185

Minor changes in bidi.c.

 src/bidi.c (bidi_check_type): Use xassert.
 (bidi_cache_iterator_state): Update the disp_pos and disp_prop_p
 members.

merge trunk

international/ucs-normalize.el: If decomposition property of CHAR is the default one (i.e. a list of CHAR itself), treat it as nil.

* etc/refcards/refcard.tex: Add a few more commands.  (tiny change)

Fixes: debbugs:9343

* lisp/mpc.el (mpc--proc-filter): Don't signal mpc-proc-error since signals
from process filters aren't reliably transmitted to the surrounding
accept-process-output.
(mpc-proc-check): New function.
(mpc-proc-sync): Use it

Fixes: debbugs:8293

* lisp/emacs-lisp/eieio.el (eieio-defmethod, eieio-defgeneric):
Add compatibility functions.

Fixes: debbugs:9313

cus-start.el: Add :version tag to bidi-paragraph-direction.

cus-start.el: Add entry for bidi-paragraph-direction.

Followup for character properties in 2011-08-23T11:48:07Z!handa@m17n.org.

 src/bidi.c (bidi_get_type): Abort if we get zero as the bidi type of
 a character.
 admin/unidata/unidata-gen.el (unidata-prop-alist): Update the default
 values of bidi-class according to DerivedBidiClass.txt from the
 latest UCD.
 lisp/international/uni-bidi.el: Regenerated.
 doc/lispref/nonascii.texi (Character Properties): Document the values for
 unassigned codepoints.

* src/nsfont.m (ns_otf_to_script): Fix typo.

merge trunk

Fix default values of character properties.

Fix bug #8874 with recentering and header line under scroll-conservatively.

 src/xdisp.c (redisplay_window): When computing centering_position,
 account for the height of the header line.

Fix message in help-window-setup (Bug#9341).

* help.el (help-window-setup): Fix message displayed when other
window is reused.  (Bug#9341)

Fix crashes with completion and composed characters.

 src/dispnew.c (buffer_posn_from_coords): Use buf_charpos_to_bytepos
 instead of CHAR_TO_BYTE.  Fixes a crash when a completion
 candidate is selected by the mouse, and that candidate has a
 composed character under the mouse.

Fix pos-visible-in-window-p for zero-column composed character.

 src/xdisp.c (x_produce_glyphs): Set it->nglyphs to 1.  Fixes pixel
 coordinates reported by pos-visible-in-window-p for a composed
 character in column zero.

* lisp/shell.el (shell-completion-vars): Set pcomplete-arg-quote-list.
* lisp/pcomplete.el (pcomplete-quote-argument): Fix thinko.

Fixes: debbugs:9161

* lisp/pcomplete.el (pcomplete-parse-comint-arguments): Fix inf-loop.
Mark obsolete.
* lisp/shell.el (shell-parse-pcomplete-arguments): New function.
(shell-completion-vars): Use it instead.

Fixes: debbugs:9160

* src/cmds.c (Fself_insert_command): Mention post-self-insert-hook.

* lisp/progmodes/sh-script.el (sh-maybe-here-document): Disable magic in
strings and comments.

Fixes: debbugs:9333

* lisp/emacs-lisp/debug.el (debug-arglist): New function.
(debug-convert-byte-code): Use it.  Handle lexical byte-codes.
(debug-on-entry-1): Handle interpreted closures.

Fixes: debbugs:9120

Fix vertical cursor motion under bidi on auto-composed characters.

 src/xdisp.c (BUFFER_POS_REACHED_P): If this is a composition,
 consider it a hit if to_charpos is anywhere in the range of the
 composed buffer positions.

* etc/compilation.txt: Add more samples of output and non-output switches (bug#9319).

Back out inadvertent changes in minibuffer.el.

* lisp/progmodes/compile.el (compilation-mode-font-lock-keywords):
Revert regexp that highlights output switches to its old
pre-2010-10-28 value and remove one `?' from it (bug#9319).

* lisp/progmodes/grep.el (grep-process-setup): Use `buffer-modified-p'
to check for empty output.

Fixes: debbugs:9226

Fix some word/symbol classifications in scheme-mode's syntax table.

* lisp/progmodes/scheme.el (scheme-mode-syntax-table): Don't use
symbol-constituent as the default, as that stops font-lock from
working properly.

Fixes: debbugs:8843

Fix animated gif segfault and frame clearing bug.

* src/image.c (gif_load): Don't assume that each subimage has the same
dimensions as the base image.  Handle disposal method that is
"undefined" by the gif spec.

Fixes: debbugs:9335

Merge changes made in Gnus trunk.

nnmail.el (nnmail-get-new-mail-1): If one mail source bugs out, continue on and do the clean-up phase (bug#9188).
gnus-sum.el (gnus-summary-expire-articles): When expiring articles, just ignore groups that can't be opened instead of erroring out (bug#9225).
gnus-art.el (gnus-article-update-date-headers): Flip the default to nil since some many people are fuddy-duddies.
gnus-html.el (gnus-html-image-fetched): Don't cache zero-length images.

(smtpmail-query-smtp-server): Allow `quit'-ing out in case the probe hangs.

(smtpmail-try-auth-methods): Expand the secret password.

Only bind `coding-system-for-*' around the process open call to avoid auth-source side effects.

* lisp/term.el (term-mouse-paste): Yank primary selection (Bug#6845).

Improve Edebug error for attempting to instrument built-in functions.

* lisp/emacs-lisp/edebug.el (edebug-instrument-function): Use it to
signal an error for built-in functions.

* lisp/emacs-lisp/find-func.el (find-function-noselect): New arg
lisp-only.

Fixes: debbugs:6664

Merge changes made in Gnus trunk.

nntp.el (nntp-authinfo-file): Mark as obsolete -- use auth-source instead.
pop3.el (pop3-wait-for-messages): Don't use Gnus functions here.
gnus-util.el (gnus-process-live-p): Copy over compat function.
pop3.el (pop3-wait-for-messages): If the pop3 process dies, stop processing.
nntp.el (nntp-kill-buffer): Kill the process before killing the buffer to avoid warnings.
gnus-agent.el (gnus-agent-expire-done-message): Use %.f as format specified to reduce precision.

Introduce a new variable to allow controlling the SMTP user name

* mail/smtpmail.el (smtpmail-smtp-user): New variable.
(smtpmail-try-auth-methods): Use it.

Minor fix to last change.

Add some docstrings to font-lock.el.

* font-lock.el (font-lock-fontify-region)
(font-lock-unfontify-region, font-lock-default-fontify-buffer)
(font-lock-default-unfontify-buffer)
(font-lock-default-fontify-region)
(font-lock-default-unfontify-region): Add docstrings (Bug#8624).

Fix to `ant' compile regexp.

* lisp/progmodes/compile.el (compilation-error-regexp-alist-alist):
  Fix 2011-05-09 change to `ant' regexp.

Fix error in compilation-error-properties.

* lisp/progmodes/compile.el (compilation-error-properties): Fix
confusion between file struct and message struct (Bug#9319).

Fix for browse-url-firefox on Windows.

* lisp/net/browse-url.el (browse-url-firefox): Don't call
browse-url-firefox-sentinel unless using -remote.

Fixes: debbugs:9328

* lisp/tutorial.el (help-with-tutorial): Avoid an error on short screens.

Update some tutorial key bindings; ref bug#8739.

* lisp/tutorial.el (tutorial--default-keys): Update some default bindings.

* etc/NEWS: delete-forward-char is not bound to C-d.

* lisp/bindings.el, lisp/windows.el: Comments.

* lisp/files.el (hack-local-variables): Fully ignore case for "mode:".

Add missing file to leim/Makefile.

* leim/Makefile.in (OTHERS):
* leim/makefile.w32-in (MISC): Add ipa-praat.elc.

Resolve invalid use of a regexp in regexp-opt.

cc-fonts.el (c-complex-decl-matchers): Add in special detection for a
java annotation.

cc-engine.el (c-forward-decl-or-cast-1): Add in special detection for a
java annotation.

cc-langs.el (c-prefix-spec-kwds-re): Remove the special handling for
java.
(c-modifier-kwds): Remove the regexp "@[A-za-z0-9]+".

* eval.c (Fcondition_case): Document `debug' symbol in error handler.

* src/eval.c (Fsignal): Handle `debug' symbol in error handler.

Fixes: debbugs:9329

* startup.el (normal-top-level-add-subdirs-to-load-path): Doc fix (Bug#9274).

Fontify CPP expressions correctly when starting in the middle of such a
construct.  Mainly for when jit-lock etc. starts a chunk here.

cc-fonts.el (c-font-lock-context): new buffer local variable.
(c-make-font-lock-search-form): new function, extracted from
c-make-font-lock-search-function.
(c-make-font-lock-search-function): Use the above function.
(c-make-font-lock-context-search-function): New function.
(c-cpp-matchers): Enhance the preprocessor expression case with the above
function
(c-font-lock-complex-decl-prepare):  Test for being in a CPP form which
takes an expression.

cc-langs.el (c-cpp-expr-intro-re): New lang-variable.

Fontify CPP expressions correctly when starting in the middle of such a
construct.  Mainly for when jit-lock etc. starts a chunk here.

cc-fonts.el (c-font-lock-context): new buffer local variable.
(c-make-font-lock-search-form): new function, extracted from
c-make-font-lock-search-function.
(c-make-font-lock-search-function): Use the above function.
(c-make-font-lock-context-search-function): New function.
(c-cpp-matchers): Enhance the preprocessor expression case with the above
function
(c-font-lock-complex-decl-prepare):  Test for being in a CPP form which
takes an expression.

cc-langs.el (c-cpp-expr-intro-re): New lang-variable.

Remove some commented-out obsoletion declarations from window.el.

When displaying a buffer don't use or split a side window unless explicitly requested.

* window.el (display-buffer-reuse-window)
(display-buffer-pop-up-window): Don't reuse or split a side
window.

lisp/gnus/ChangeLog: Fix last change.

Merge changes made in Gnus trunk.

nnimap.el (nnimap-transform-headers): Protect against (NIL ...) bodystructures (bug#9314).
starttls.el (starttls-any-program-available): Define as obsolete function.
gnus-util.el (gnus-y-or-n-p): Reinstate the message-clearing y-or-n-p versions which Gnus use when appropriate.
gnus-group.el (gnus-group-clear-data): Add a y-or-n query, since it's a pretty destructive command.
nnmail.el (nnmail-extra-headers): Clarify slightly (bug#9302).
message.el (message-fix-before-sending): Make a different warning about NUL characters (bug#9270).
gnus-sum.el (gnus-auto-select-subject): Allow specifying a function from custom (bug#9260).

files.el fix for bug#9331

* lisp/files.el (hack-local-variables-prop-line, hack-local-variables):
Downcase "Mode:".

Merge from trunk.

Avoid a crash in mouse-highlight of Speedbar frames.

 src/xfaces.c (face_at_buffer_position): Avoid repeated evaluation of
 face ID by FACE_FROM_ID, and avoid a crash when mouse is moved
 from an Org mode buffer to a Speedbar frame.

Fix bidi cursor motion when a line begins with a composed character.

 src/xdisp.c (RECORD_MAX_MIN_POS): If the display element comes from
 a composition, take its buffer position from IT->cmp_it.charpos.

gnus-art.el (gnus-insert-mime-button, gnus-mime-display-alternative): Make button keymap non-sticky after buttons.